特開 2023-21937 パーソナライズされた表情分類のための画像合成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023021937

(43)【公開日】2023-02-14

(54)【発明の名称】パーソナライズされた表情分類のための画像合成

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230207BHJP

   G06T 7/00 20170101ALI20230207BHJP

   G06T 1/00 20060101ALI20230207BHJP

【ＦＩ】

G06T7/20 300B

G06T7/00 350B

G06T7/00 660A

G06T1/00 340A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022117978

(22)【出願日】2022-07-25

(31)【優先権主張番号】17/392077

(32)【優先日】2021-08-02

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】591236068

【氏名又は名称】カーネギー－メロン ユニバーシティ

【氏名又は名称原語表記】ＣＡＲＮＥＧＩＥ－ＭＥＬＬＯＮ ＵＮＩＶＥＲＳＩＴＹ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】新沼 厚一郎

(72)【発明者】

【氏名】コーン・ジェフリー エフ

(72)【発明者】

【氏名】ジェニ・ラズロ エイ

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA12

5B057CA16

5B057CB12

5B057CB16

5B057CE08

5B057DA07

5B057DB02

5B057DC05

5B057DC40

5L096BA18

5L096CA04

5L096DA01

5L096EA14

5L096FA09

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】パーソナライズされた表情分類のための画像合成を提供する。
【解決手段】方法は、被写体の顔画像を取得することと、ターゲットＡＵの組み合わせおよび強度のカテゴリを用いて合成される数の新規画像を識別することとを含んでもよい。方法はまた、基本画像として被写体の顔画像を使用してその数の新規画像を、その数のターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成することを含み、ある数の新規画像は、被写体の顔画像をとは異なるＡＵ組み合わせを有する。方法は、追加的に、その数の新規画像をデータセットに追加することと、データセットを使用して機械学習システムを訓練して、被写体の表情を識別することを含んでもよい。
【選択図】図３

【特許請求の範囲】

【請求項1】

方法であって、
被写体の顔画像を取得することと、
ターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される新規画像の数を識別することと、
前記合成における基本画像として前記被写体の前記顔画像を使用して前記数の新規画像を合成することであって、前記数の新規画像のうちの２つ以上は、前記被写体の前記顔画像とは異なるＡＵの組み合わせを有する、合成することと、
データセットが前記被写体の画像のみを含むように、前記数の新規画像を前記データセットに追加することと、
前記データセットを使用して機械学習システムを訓練することであって、前記機械学習システムは、前記被写体の表情を識別するために訓練される、訓練することと、を含む、方法。

【請求項2】

前記データセットは、前記被写体の前記顔画像と、前記被写体の前記顔画像から合成された前記数の新規画像のみを含む、請求項１に記載の方法。

【請求項3】

前記被写体の前記顔画像が無表情を含む、請求項１に記載の方法。

【請求項4】

前記被写体の前記顔画像を捕捉することは、前記被写体の２つ以上の画像を捕捉することを含む、請求項１に記載の方法。

【請求項5】

前記数のターゲットＡＵの組み合せおよび強度のカテゴリを伴って合成される前記数の新規画像を識別することは、少なくとも１つの画像が各ＡＵに対する各強度のカテゴリを示すことを検証することを含む、請求項１に記載の方法。

【請求項6】

前記被写体の前記顔画像における少なくとも１つのＡＵの組み合わせおよび少なくとも１つの強度のカテゴリを識別することと、
前記被写体の前記顔画像に基づいて、ターゲットＡＵの組み合わせおよび強度のカテゴリのセットを決定することと、をさらに含む、請求項１に記載の方法。

【請求項7】

前記被写体を識別することと、
前記機械学習システムを使用して、各ＡＵの組み合わせおよび強度のカテゴリを識別することにより、前記被写体の前記表情を分類することと、をさらに含む、請求項１に記載の方法。

【請求項8】

１つ以上の命令を記憶するように構成されている１つ以上の非一時的なコンピュータ可読媒体であって、前記１つ以上の命令は、１つ以上のプログラムによって実行されることに応答して、システムに動作を実行させ、前記動作は、
被写体の顔画像を取得することと、
ターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される新規画像の数を識別することと、
基本画像として前記被写体の前記顔画像を使用して前記数の新規画像を合成することであって、前記数の新規画像のうちの２つ以上は、前記被写体の前記顔画像とは異なるＡＵの組み合わせを有する、合成することと、
前記数の新規画像をデータセットに追加することと、
前記データセットを使用して機械学習システムを訓練することであって、前記機械学習システムは、前記被写体の表情を識別するために訓練される、訓練することと、を含む、１つ以上のコンピュータ可読媒体。

【請求項9】

システムであって、
１つ以上のプロセッサと、
１つ以上の命令を記憶するように構成されている１つ以上の非一時的なコンピュータ可読媒体と、を含み、前記１つ以上の命令は、１つ以上のプログラムによって実行されることに応答して、システムに動作を実行させ、前記動作は、
被写体の顔画像を取得することと、
ターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される新規画像の数を識別することと、
前記数のターゲットＡＵ組み合わせおよび強度のカテゴリを伴って、基本画像として前記被写体の前記顔画像を使用して前記数の新規画像を合成することであって、前記数の新規画像のうちの２つ以上は、前記被写体の前記顔画像とは異なるＡＵの組み合わせを有する、合成することと、
前記数の新規画像をデータセットに追加することと、
前記データセットを使用して機械学習システムを訓練することであって、前記機械学習システムは、前記被写体の表情を識別するために訓練される、訓練することと、を含む、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、パーソナライズされた表情分類のための画像合成に関する。

【背景技術】

【0002】

画像分析が、どの表情をしているのかを識別するために顔画像に対して実行されることがある。表情は、感情、意図、痛みを伝達することができ、対人関係の行動に使用されることがある。しばしば、これらの表情は、ＡＵ（動作ユニット、Ａｃｔｉｏｎ Ｕｎｉｔ）を使用したＦＡＣＳ（顔面動作符号化システム、Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）に基づいて特徴付けられ、各ＡＵが特定の筋肉または筋肉群の弛緩または収縮に対応してもよい。各ＡＵは、しばしば、０およびＡ～Ｅにラベル付けされる強度のカテゴリによってさらに特徴づけられてもよく、０は、強度のカテゴリなしを示すか、またはＡＵが存在しないことを示し、Ａ～Ｅはそれぞれトレースから最大強度までの範囲に及ぶ。所与の感情は、ＡＵの組み合わせとして特徴付けられてもよく、これは、ＡＵ ６Ｂ＋１２Ｂ（各々が軽レベルの強度における頬の上がり、口尻の引き上げ）など、強度のばらつきを含んでもよい。

【発明の概要】

【0003】

本開示の１つ以上の実施形態は、被写体の顔画像を取得することと、ターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される新規画像の数を識別することと、を含む方法を含んでもよい。方法はまた、基本画像として被写体の顔画像を使用してその数の新規画像を、その数のターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成することを含み、ある数の新規画像は、被写体の顔画像をとは異なるＡＵ組み合わせを有する。方法は、追加的に、その数の新規画像をデータセットに追加することと、データセットを使用して機械学習システムを訓練して、被写体の表情を識別することを含んでもよい。

【0004】

本実施形態の目的および利点は、少なくとも特許請求の範囲において特に指摘された要素、特徴、および組み合わせによって実現され、達成される。

【0005】

上述の一般的説明および下記の発明を実施するための形態は両方とも、例であり説明的なものにすぎず、限定するものではないと理解されたい。

【図面の簡単な説明】

【0006】

例示的な実施形態は、添付の図面を使用することを通して、追加の具体性および詳細と共に記載および説明される。

【0007】

【図1】顔画像に対する画像分析に使用され得る例示的な環境を示す図である。

【0008】

【図2A】異なる合成技術を使用して合成顔画像を含む顔画像の例を示す。

【図2B】異なる合成技術を使用して合成顔画像を含む顔画像の例を示す。

【0009】

【図3】パーソナライズされた表情分類の例示的な方法の例示的なフローチャートを示す。

【0010】

【図4】パーソナライズされたデータセットを使用して表情を分類する例示的な図を示す。

【0011】

【図5】例示的なコンピューティングシステムを示す。

【発明を実施するための形態】

【0012】

本開示は、訓練画像におけるＡＵの組み合わせおよび／またはそれらの強度のカテゴリに基づいて機械学習システムを訓練するために使用され得る、パーソナライズされたデータセットの生成に関係する。パーソナライズされたデータセットに基づいて訓練された機械学習システムを使用して、入力画像の表情を分類してもよい。一部の潜在的な訓練データセットでは、データセットを訓練するために使用される画像は、全ての顔にわたって一般的であり、これは、正確ではないことがある。本開示は、機械学習システムを訓練して、個人の表情をより正確に分類するためにパーソナライズされたデータセットを提供する。画像という用語が使用されるが、それは顔の他の表現にも等しく適用可能であることが理解されるであろう。

【0013】

いくつかの実施形態では、個人の入力画像を分析して、入力画像に存在するＡＵの組み合わせおよび強度のカテゴリを判定し、判定に基づいて、機械学習システムを訓練するのに十分な数の画像を提供するために合成される追加の画像を識別（例えば、訓練データセットにおける画像に対する多様なＡＵの組み合わせおよび強度のカテゴリを提供するために画像を識別）してもよい。すべて個人に基づいており、したがって「パーソナライズ」されたと呼ばれることがある画像を使用して、パーソナライズされた訓練データセットが、画像分類のための機械学習システムを訓練するために使用されてもよい。そうするために、機械学習システムは、最初に、任意の人に適用可能であるように一般的に訓練されてもよく、その後、パーソナライズされる特定の個人の画像に基づいて調整されるか、または、さらに訓練されてもよい。

【0014】

訓練後、機械学習システムは、同じ個人の入力画像を、入力画像におけるＡＵの組み合わせおよび／またはカテゴリの強度を伴ってラベル付けするために使用されてもよい。例えば、機械学習システムは、どのＡＵが存在するか（例えば、バイナリ決定）および／または存在するＡＵの強度のカテゴリ（例えば、複数の潜在的な強度レベル）を識別してもよい。次いで、識別されたＡＵの組み合わせおよび／または強度のカテゴリを使用して、入力画像における被写体の顔の表情を分類してもよい。例えば、入力画像が訓練された機械学習システムによって６＋１２のＡＵの組み合わせを有するものとして識別される場合、入力画像の表情は、笑顔として分類されるか、または笑顔を含んでいるとしてもよい。

【0015】

本開示の特定の実施形態は、顔画像分析のための機械学習システムの以前の反復に対して改善を提供してもよい。例えば、本開示の実施形態は、訓練のためのよりパーソナライズされたデータセットを提供することができ、機械学習システムが、様々な個人の様々な画像を使用して一般的に訓練されるのではなく、個人の画像に基づいて訓練されているため、機械学習システムに対する入力画像の表情をより良く識別および分類することができる。追加的に、本開示は特定の画像を合成するため、特定の実施形態は、機械学習システムがより少ない初期入力画像を有する訓練セットを伴って動作することを可能にし、より大きな訓練データセットを準備する（計算上および経済上の両方の）コストを低減する。追加的に、本開示は機械学習システムに優れた訓練セットを提供することができるため、機械学習システム自体が、より効率的に動作し、より迅速に判定に到達することができ、こうして、本開示と比較してより長い分析に費やされる計算リソースおよび時間を節約する。

【0016】

１つ以上の例示的な実施形態は、添付の図面を参照して説明される。

【0017】

図１は、本開示の少なくとも１つの実施形態による、顔画像に対する画像分析に使用され得る例示的な環境１００を示す図である。図１に示すように、環境１００は、機械学習システム１３０を訓練するために使用され得る画像のデータセット１１０を含んでもよい。訓練された後、機械学習システム１３０は、画像１２０を分析し、ラベル１４５を伴うラベル付き画像１４０を生成してもよい。例えば、ラベル１４５が画像１２０に適用されて、ラベル付き画像１４０を生成してもよい。

【0018】

データセット１１０は、１つ以上のラベル付き画像を含んでもよい。例えば、データセット１１０は、画像においてどのＡＵが発現されているか、および／または画像におけるＡＵの強度のカテゴリを識別するためにラベル付けされ得る個人の顔画像を含んでもよい。いくつかの実施形態では、データセット１１０における画像のうちの１つ以上は、カメラまたは他の画像センサによって捕捉された画像のようなネイティブ画像ではなく、人為的に合成されたものでもよい。いくつかの実施形態では、データセット１１０の画像は、手動でラベル付けされてもよいし、自動的にラベル付けされてもよい。これらの実施形態および他の実施形態では、データセット１１０の画像は、すべての同じ個人のものであってもよく、機械学習システム１３０がデータセット１１０を使用して訓練されるときに、それがその個人のためにパーソナライズされるようにする。

【0019】

画像１２０は、顔を含む任意の画像であってもよい。画像１２０は、機械学習システム１３０への入力として提供されてもよい。

【0020】

機械学習システム１３０は、データセット１１０に基づいて訓練されるように構成されている任意のシステム、デバイス、ネットワークなどを含んでもよく、機械学習システム１３０が、画像１２０におけるＡＵおよび／またはそれらのそれぞれの強度のカテゴリを識別することができるようにする。いくつかの実施形態では、機械学習システム１３０は、ディープニューラルネットワーク、人工ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）などのディープラーニングアーキテクチャを含んでもよい。機械学習システム１３０は、画像１２０におけるＡＵのうちの１つ以上のＡＵおよび／またはそれらのそれぞれの強度のカテゴリを識別するラベル１４５を出力してもよい。例えば、機械学習システム１３０は、どのＡＵが存在するか（例えば、バイナリ決定）および／または存在するＡＵの強度（例えば、複数の潜在的な強度レベル）を識別してもよい。追加的または代替的に、機械学習システム１３０は、どのＡＵおよび／または強度のカテゴリが存在しないか（例えば、組み合わせ６＋１２の欠如）を識別してもよい。

【0021】

いくつかの実施形態では、機械学習システム１３０は、一般的に、任意の顔の画像にわたって画像ラベル付けを実行するように訓練されてもよい。そのような訓練の例は、米国特許出願第１６／９９４，５３０号（「ＩＭＡＧＥ ＳＹＮＴＨＥＳＩＳ ＦＯＲ ＢＡＬＡＮＣＥＤ ＤＡＴＡＳＥＴＳ」）に記載されてもよく、その開示全体が全体として参照により本明細書に組み込まれる。任意の顔に対して一般的に訓練された後、機械学習システム１３０は、単一の個人の画像を使用して、さらに訓練されること、調整されることなどが行われてもよく、一般的に訓練された機械学習システムの性能と比較して、その人に関する機械学習システム１３０の性能が改善されるようにする。

【0022】

ラベル付き画像１４０は、機械学習システム１３０によって判定されるＡＵおよび／またはそれらのそれぞれの強度のカテゴリを示すラベル１４５を伴ってラベル付けされたときに、画像１２０を表してもよい。

【0023】

本開示の範囲から逸脱することなく、環境１００に修正、追加、または省略が行われてもよい。例えば、記載の方法における異なる要素の指定は、本明細書に記載の概念の説明を助けることを意図し、限定するものではない。さらに、環境１００は、任意の数の他の要素を含んでもよいし、記載のもの以外の他のシステムまたは環境と共に実装されてもよい。

【0024】

図２Ａおよび２Ｂは、本開示の１つ以上の実施形態による、異なる合成技術を使用する合成顔画像２３０ａおよび２３０ｂを含む顔画像２００ａおよび２００ｂの例を示す。図２Ａの合成画像２３０ａは、入力画像２１０ａの二次元（２Ｄ）レジストレーションに基づいて合成され、図２Ｂの合成画像２３０ｂは、入力画像２１０ｂの三次元（３Ｄ）レジストレーションに基づいて合成される。

【0025】

図２Ａの顔画像２００ａは、入力画像２１０ａ、ターゲット画像２２０ａ、および合成画像２３０ａを含む。入力画像２１０ａは、合成画像の基礎となる画像として選択されてもよい。いくつかの実施態様では、入力画像２１０ａは、わずかなしわしかないか、またはまったくしわのない、および／または無表情を有する顔画像を含んでもよい。入力画像２１０ａは、ほぼまっすぐ向いている顔を含んでもよい。

【0026】

いくつかの実施態様では、入力画像２１０ａには、入力画像２１０ａの２Ｄレジストレーションが実行されてもよい。例えば、２Ｄレジストレーションは、２Ｄ画像のポイントを、様々な顔の特徴、ランドマーク、筋肉群などにマッピングしてもよい。いくつかの実施形態では、２Ｄレジストレーションは、入力画像２１０ａの様々な顔の特徴、ランドマーク、筋肉群などをターゲット画像２２０ａにマッピングしてもよい。合成画像２３０ａは、入力画像２１０ａの２Ｄレジストレーションに基づいてもよい。

【0027】

ターゲット画像２２０ａは、所望の表情（例えば、データセットをバランスさせるために合成される所望のＡＵの組み合わせおよび強度のカテゴリを示す顔画像）を表してもよい。入力画像２１０ａは、ターゲット画像２２０ａと同じアイデンティティ（例えば、同じ人を示す）であってもなくてもよい。

【0028】

図２Ａを参照すると、合成画像２３０ａは、２Ｄレジストレーションに基づいた様々なアーチファクトを有することがある。例えば、顔に穴またはギャップが生じ、所定の顔の特徴が歪んでいるか、またはそうでなければ非人間的な外観を有することがある。

【0029】

図２Ｂでは、入力画像２１０ｂおよびターゲット画像２２０ｂは、図２Ａの入力画像２１０ａおよびターゲット画像２２０ａと同様であってもよい。入力画像２１０ｂおよび／またはターゲット画像２２０ｂの３Ｄレジストレーションが実行されてもよい。例えば、２Ｄ画像ではなく、入力画像２１０ｂおよびターゲット画像２２０ｂに示される顔の３Ｄ投影が生成されてもよい。そうすることによって、入力画像２１０ｂとターゲット画像２２０ｂとの間のより完全でロバストな、および／または正確なマッピングが取得されてもよい。

【0030】

３Ｄレジストレーションに基づき、入力画像２１０ｂを基礎として使用して合成画像２３０ｂが実行されてもよい。観察されるように、図２Ｂの合成画像２３０ｂは、図２Ａの合成画像２３０ａよりも高品質である。例えば、アーチファクトが少なく、顔の特徴が、ターゲット画像２２０ｂにより近い。

【0031】

本開示の範囲から逸脱することなく顔画像２００ａ／２００ｂに修正、追加、または省略が行われてもよい。例えば、記載の方法における異なる要素の指定は、本明細書に記載の概念の説明を助けることを意図し、限定するものではない。さらに、顔画像２００ａ／２００ｂは、任意の数の他の要素を含んでもよいし、記載のもの以外の他のシステムまたは環境と共に実装されてもよい。例えば、任意の数の入力画像、ターゲット画像、および／または合成画像が使用されてもよい。

【0032】

図３は、本開示の１つ以上の実施形態による、パーソナライズされた顔の表情分類のための画像合成の例示的な方法３００の例示的なフローチャートを示す。例えば、方法３００は、（例えば、ＡＵの組み合わせおよびそれぞれの強度のカテゴリを識別することによって）所与の被写体の入力画像に対する表情を識別すべく機械学習システムを訓練するために、パーソナライズされたデータセットを生成するように実行されてもよい。方法３００の１つ以上の動作は、図１および／または図４の環境１００または４００の任意の構成要素をホストする任意の計算デバイス、例えば訓練データセット１１０をホストする計算デバイス、機械学習システム１３０などのような、システムもしくはデバイス、またはそれらの組み合わせによって実行されてもよい。離散的なブロックとして示されているが、方法３００の様々なブロックは、所望の実装に応じて、追加のブロックに分割されてもよく、より少ないブロックに組み合わされてもよく、または除去されてもよい。

【0033】

ブロック３１０において、被写体の画像が、少なくとも被写体の顔を含むように取得されてもよい。被写体の画像は、最終結果が少なくとも被写体の顔の２Ｄ画像である任意の方法によって取得されてもよい。例えば、被写体の画像は、被写体の顔の３Ｄレンダリングによって取得され、３Ｄレンダリングは、マッピングされ、その後、２Ｄ画像にラスタ化されてもよい。

【0034】

ブロック３２０において、被写体のためのパーソナライズされたデータセットを生成するべく、異なるＡＵの組み合わせおよび強度のカテゴリを生成するために、合成される新規画像の数に関して識別が行われてもよい。これらおよび他の実施形態では、画像の数は機械学習システムを訓練するのに十分な数であってもよい。例えば、合成される画像の数は、入力画像に対する各ＡＵの組み合わせおよび強度のカテゴリを示すような画像の数であってもよい。いくつかの実施形態では、新規画像の数は、所定のＡＵの組み合わせおよび強度のカテゴリを有する離散的な数であってもよい。追加的または代替的に、新規画像の数は、入力画像ならびに入力画像において既に存在するＡＵの組み合わせおよび強度のカテゴリに依存してもよい。いくつかの実施形態では、新規画像の数は、機械学習システムが適用される目的または用途に基づいて判定されてもよい。例えば、エンドユーザ、アプリケーション、アルゴリズムなどが、個人が笑顔である場合にのみ識別するために使用される場合、合成されるその数の画像は、主として、笑顔に関連するＡＵの組み合わせおよび強度のカテゴリを中心としてもよい。

【0035】

ブロック３３０において、ブロック３２０において識別された数の新規画像が、関連するＡＵの組み合わせおよび強度のカテゴリを伴って合成されてもよい。いくつかの実施態様では、新規画像を合成するときに、無表情を基本画像として使用してもよい。追加的または代替的に、高品質画像の合成を容易にするために、入力画像および／または新規画像（例えば、追加の画像が合成されているＡＵの組み合わせおよび強度のカテゴリを示す画像）の３Ｄレジストレーションが行われ得る。いくつかの実施形態では、高品質画像の生成を容易にするために、画像を合成するときに１つ以上の損失パラメータが利用されてもよい。

【0036】

ブロック３４０において、ブロック３３０において合成された新規画像がデータセットに追加されてもよい。例えば、入力画像ならびにそれらのラベル付きＡＵの組み合わせおよび強度のカテゴリを伴う合成画像が、データセットに追加されてもよく、データセットは、入力画像およびブロック３３０において合成された画像を含む。代替的な実施形態では、データセットは、ＡＵの組み合わせおよび強度のカテゴリを伴ってラベル付けされた、入力画像に関係のない表情の画像を含んでもよい。例えば、被写体のある数の公共顔画像が収集され（例えば、被写体のソーシャルメディアページから、または被写体の電子デバイスから）、被写体の各画像に存在するＡＵの組み合わせおよび強度のカテゴリを伴ってラベル付けされ（例えば、自動的または手動的に）、ブロック３１０、３２０、および３３０からの入力画像およびその数の合成された画像と共にデータセットにグループ化されてもよい。追加的または代替的に、データセットは、ブロック３１０、３２０、および３３０に従って収集および合成された異なるユーザに関連するある数の入力画像を含んでもよい。

【0037】

ブロック３５０において、機械学習システムが、ブロック３４０において生成されたデータセットを使用して訓練されてもよい。例えば、機械学習システムは、被写体の入力画像における被写体の顔の表情を識別するように訓練されてもよい。例えば、ＣＮＮを使用した画像のラベル付けを容易にするために、データセットを使用してＣＮＮが訓練されてもよい。訓練された後、ＣＮＮには、被写体の顔のラベル付けされていない入力画像が提供されてもよい。訓練されたＣＮＮを使用して、入力画像は、識別された顔の表情（例えば、ＡＵの組み合わせおよび／または関連する強度のカテゴリを識別することによって）を伴ってラベル付けされてもよい。いくつかの実施形態では、機械学習システムは、任意の顔に対して既に一般的に訓練されたものであってもよく、ブロック３５０における訓練は、機械学習システムのパーソナライズ化であってもよい。そのような一般的に訓練された機械学習の例は、米国特許出願第１６／９９４，５３０号（「ＩＭＡＧＥ ＳＹＮＴＨＥＳＩＳ ＦＯＲ ＢＡＬＡＮＣＥＤ ＤＡＴＡＳＥＴＳ」）に記載されてもよく、その開示全体が全体として参照により本明細書に組み込まれる。

【0038】

ブロック３６０において、被写体が識別されてもよい。いくつかの実施形態において、被写体の識別および／または検証は、指紋認証、パスワード検証、パスコード検証、指紋検証、虹彩スキャン、または多因子認証などによって行われてもよい。例えば、被写体は、カメラを伴う電子デバイスを使用して、顔識別を使用して方法３００の動作の１つ以上を実行するコンピュータシステム上で動作するアプリケーションにログインしてもよい。追加的または代替的に、機械学習システムは、使用されているデバイスに基づいて被写体のアイデンティティを仮定してもよい。例えば、パスコード、パスワード、顔認識などを提供する代わりに、機械学習システムが、使用されているデバイス（例えば、被写体のモバイルデバイス）のインターネットプロトコル（ＩＰ）アドレスに基づいて、被写体を識別することを被写体が好んでもよい。追加的または代替的に、機械学習システムは、顔全体が実質的に可視である捕捉された画像を介して、被写体の顔を識別してもよい。いくつかの実施形態では、ブロック３１０で取得された同じ画像を使用して、ＡＵの組み合わせおよび関連する強度のカテゴリの識別が発生してもよい。

【0039】

ブロック３７０において、機械学習システムは、被写体（例えば、ブロック３６０においてアイデンティティが識別／検証された人）の入力画像におけるＡＵの組み合わせおよび強度のカテゴリを識別してもよい。例えば、被写体が顔認識を使用してブロック３６０において識別された場合、機械学習システムは、ＡＵの組み合わせおよび強度のカテゴリを識別する入力画像として、顔認証を実行するために収集された画像を使用してもよい。追加的または代替的に、被写体の画像は、被写体のデバイスのカメラまたは被写体を監視するビデオから取得されてもよい。例えば、被写体を識別した後、デバイスは、被写体の表情を分類するために、被写体の画像を収集するように別のカメラまたは被写体を監視する撮像デバイスに指示してもよい。いくつかの実施形態では、ブロック３６０において識別された被写体は、被写体の顔の１つの捕捉された画像または複数の捕捉された画像を有してもよい。例えば、ブロック３１０における少なくとも入力画像とブロック３３０における合成画像から作製されるブロック３４０からのデータセットを用いてブロック３５０において訓練された機械学習システムは、被写体からある数のラベル付けされていない画像を取得し、ラベル付けされていない１つの画像または複数の画像と関連するＡＵの組み合わせと強度のカテゴリを識別してもよい。

【0040】

ブロック３８０では、被写体の表情が分類されてもよい。例えば、機械学習システムが、幸福を表すＡＵの組み合わせ６＋１２（ほほの上り、口尻が引き上げ）を識別する場合、機械学習システムは、被写体の顔の表情を笑顔として分類してもよい。追加的または代替的に、機械学習システムは、ＡＵの組み合わせおよび関連する強度のカテゴリに基づいて、ユーザの感情のレベルを分類してもよい。例えば、ＡＵの組み合わせ６＋１２を再度使用すると、その組み合わせが最大強度Ｅと関連する場合、機械学習システムは、ＡＵの組み合わせが最小強度Ａと関連する場合とは異なるように被写体の笑顔を分類してもよい。

【0041】

いくつかの実施形態では、表情は、笑顔のような記述的な顔の特徴ではなく、（幸福のような）感情として分類されてもよい。いくつかの実施形態では、表情は、別のプロセスに対する代理入力として使用されてもよい。例えば、表情は、ソーシャルメディアポストでの「いいね」、「よくないね」、「ややよいね」、「ややよくないね」に分類されてもよい。例えば、ＴＩＫＴＯＫ（登録商標）ストリームを視聴し、笑顔になると、電子デバイスはストリーム上で自動的に笑顔を「いいね」として処理してもよい。別の例として、医学的な患者の顔の表情を監視して、その患者の痛みレベルまたは不快感の経時的な判定を容易にしてもよい（例えば、表情がますます激しくなる険しい表情に進行すると、患者が不快感を持っている可能性がますます高くなる）。追加的な例として、表情の分類を使用して、被写体が所与の広告に対してどのように受容的であるかを示してもよい。例えば、顔画像の識別された分類が、楽しさ、驚き、注意力などを示している場合、その分類は、被写体が、類似の広告、および／または、広告において提供または表示される製品または類似の製品に対して受容的であり得ることを示してもよい。

【0042】

本開示の範囲から逸脱することなく、環境３００に修正、追加、または省略が行われてもよい。例えば、方法３００の動作のいくつかは、異なる順序で実装されてもよい。追加的または代替的に、２つ以上の動作が同時に実行されてもよい。さらに、概略された動作およびアクションは、例として提供され、操作およびアクションのいくつかは、オプションであってもよく、より少ない動作およびアクションに組み合わされてもよく、または開示された実施形態の本質を損なうことなく、追加の動作およびアクションに拡大されてもよい。

【0043】

図４は、本開示の１つ以上の実施形態による、パーソナライズされた表情分類のための例示的な環境４００を示す。環境４００は、被写体４１０Ａおよび被写体４１０Ａの少なくとも１つの入力画像４２０が撮像され得る撮像システム４１０Ｂを含んでもよい。（ブロック３１０に記載されるような）少なくとも１つの入力画像および被写体４１０Ａの１つ以上の合成画像を含むデータセットを使用して訓練された機械学習システム４３０は、少なくとも１つの入力画像４２０に存在するＡＵの組み合わせおよび強度のカテゴリ４４０を識別する。ＡＵの組み合わせおよび強度のカテゴリ４４０に基づいて、表情は、例えば、しかめ面４５０Ａ、無表情４５０Ｂ、笑顔４５０Ｃ、または他の関連する表情４５０Ｄとして分類されてもよい。

【0044】

環境４００に対する動作の一例として、被写体４１０Ａは、画像システム４１０Ｂ（例えば、スマートフォン）上の広告を視聴してもよく、被写体４１０Ａは、ビデオストリーミングサービス（例えば、Ｈｕｌｕ（登録商標））上の広告を視聴してもよい。撮像システム４１０Ｂは、広告を視聴している間の被写体４１０Ａから少なくとも１つの画像４２０を収集してもよいし、撮像システム４１０Ｂは、広告全体を通じて、被写体４１０Ａの複数の連続画像を収集してもよい。機械学習システム４３０は、少なくとも１つの画像４２０から、ＡＵの組み合わせおよび関連する強度のカテゴリ４４０を識別してもよい。ＡＵの組み合わせおよび関連する強度のカテゴリ４４０が、被写体４１０Ａが、例えば、笑顔の表情４５０Ｃに示されているように笑顔であることを識別する場合、その会社からのもの、または同様の主題を示すもののいずれかの広告に対して被写体４１０Ａが心を開いているという情報が、広告主に渡されてもよい。別の例として、ＡＵの組み合わせおよび関連する強度のカテゴリ４４０が、被写体４１０Ａが、例えば、しかめ面の表情４５０Ａに示されているようにしかめ面であることを識別する場合、広告主は、広告の主題に対して被写体４１０Ａが心を開いていないと推論してもよい。識別されたＡＵの組み合わせおよび関連する強度のカテゴリ４４０から収集された情報から得られる全体的な推論は、例えば、広告の主題、被写体４１０Ａの平均的な表情、少なくとも１つの画像４２０の全体的な明瞭性、被写体４１０Ａが広告の前に視聴していたビデオの主題、広告全体にわたる被写体４１０Ａの表情の変化などに依存してもよい。

【0045】

機械学習システム４３０は、データセット（ブロック３４０において識別されたデータセットなど）に基づいて訓練されるように構成されている任意のシステム、デバイス、ネットワークなどを含んでもよく、機械学習システムが、少なくとも１つ画像４２０におけるＡＵおよび／またはそれらのそれぞれの強度のカテゴリを識別することができるようにする。いくつかの実施形態では、機械学習システム４３０は、被写体４１０Ａの少なくとも入力画像および被写体４１０Ａの合成画像を含むパーソナライズされたデータセットを使用して訓練されてもよい。例えば、方法３００（ブロック３１０～３４０のような）に記載のように、被写体の１つ以上の画像を合成して、機械学習システム４３０を訓練するために使用される訓練セットにおけるＡＵの組み合わせおよび／または強度のよりロバストなスペクトルを提供してもよい。いくつかの実施形態では、機械学習システム４３０のための訓練データセットは、被写体４１０Ａの画像のみを含む。

【0046】

撮像システム４１０Ｂは、画像を捕捉し、画像を記憶し、および／またはネットワークを介して画像を送信し、遠隔サーバに記憶するか、または電子ストレージが可能な他のデバイスまたは場所に記憶するように構成された任意のシステムであってもよい。いくつかの実施形態では、撮像システム４１０Ｂは、機械学習システム４３０を訓練するために画像を合成するために画像が取得される同じ撮像システムであってもよい（例えば、ブロック３１０に関連する撮像システム、および／または、ブロック３６０において被写体が識別される同じ撮像システム）。例えば、被写体４１０Ａは、図３の方法３００の動作のうちの１つ以上を実行することができるモバイルアプリケーションにログインしてもよく、モバイルアプリケーションを開始するプロセスにおいて、デバイスは、顔認識プロセス、パスワード認証、パスコード認証、光彩スキャニングなどを使用して、被写体を識別してもよい。追加的または代替的に、撮像システム４１０Ｂは、識別された被写体４１０Ａの少なくとも１つの画像４２０を捕捉してもよい。いくつかの実施形態では、撮像システム４１０Ｂは、別のデバイスに、被写体を監視し、および／または被写体４１０Ａの少なくとも１つの入力画像４２０を取得するように指示してもよい。いくつかの実施形態では、撮像システム４１０Ｂは、メディアプラットフォームからの広告を再生してもよく、同時に、広告を提示しながら、撮像システム４１０Ｂは、識別された被写体４１０Ａの少なくとも１つの画像４２０を捕捉してもよい。これらの実施形態および他の実施形態では、そのような捕捉画像４２０を使用して、被写体４１０Ａの表情を分類し、それによって被写体４１０Ａの広告に対する反応を解釈してもよい。

【0047】

被写体４１０Ａの少なくとも１つの画像４２０は、被写体４１０Ａの少なくとも顔を含む画像であってもよく、被写体は、顔全体が撮像システム４１０Ｂに対して実質的に視認可能であるように、撮像デバイス４１０Ｂに顔を向けている。いくつかの実施態様では、捕捉画像４２０は、図３の方法３００においてブロック３１０において取得された画像および／またはブロック３６０において被写体を識別するために捕捉された画像であってもよい。

【0048】

ＡＵの組み合わせおよび強度のカテゴリ４４０には、ＡＵの組み合わせのみが含まれる、および／またはＡＵの組み合わせおよび関連する強度のカテゴリが含まれてもよい。いくつかの実施形態では、ＡＵの組み合わせおよび強度のカテゴリ４４０が、少なくとも１つの画像４２０においてその全体で識別されてもよい。例えば、機械学習システム４３０は、ＡＵの各々に対する関連する強度と併せてＡＵの組み合わせ１、１０、２０および２５（「恐ろしく嫌悪されている」ものとして分類され得るもののための原型的なＡＵ）が判定され得るように、ＡＵの組み合わせおよび強度のカテゴリ４４０を識別してもよい。追加的または代替的に、機械学習システム４３０は、ＡＵの組み合わせおよび強度のカテゴリ４４０を生成し、組み合わせにおける所与のＡＵの存在または非存在に基づいて、身体的表情または表情の特性の存在または非存在のみが識別されるようにしてもよい。例えば、ＡＵの組み合わせおよび強度のカテゴリ４４０は、ＡＵ６およびＡＵ１２の有無のみを列挙することができる。

【0049】

表情分類４５０Ａ～Ｄは、記述的な身体的特徴に従って分類されてもよい。例えば、表情は、しかめ面４５０Ａ、無表情４５０Ｂ、笑顔４５０Ｃ、またはＡＵの組み合わせおよび強度のカテゴリ４４０から合理的に推論される任意の他の表情４５０Ｄとして分類されてもよい。いくつかの実施形態では、身体的特徴（例えば、笑顔４５０Ｃ）の分類は、ソーシャルメディアポストでの「いいね」として分類されてもよく、ＡＵの組み合わせおよび強度のカテゴリ４４０に応じて、笑顔４５０Ｃは、広告を受容的であるか、または広告に対して心を開いているとして分類されてもよい。追加的または代替的に、しかめ面４５０Ａは、非受容的であるか、もしくは広告に対して心を閉じているか、医療患者に対する痛み、不快感、心の落ち込み、または悲しみとして分類されてもよい。

【0050】

本開示の範囲から逸脱することなく、環境４００に修正、追加、または省略が行われてもよい。例えば、記載の方法における異なる要素の指定は、本明細書に記載の概念の説明を助けることを意図し、限定するものではない。さらに、環境４００は、任意の数の他の要素を含んでもよいし、記載のもの以外の他のシステムまたは環境と共に実装されてもよい。

【0051】

図５は、本開示の少なくとも１つの実施形態による、例示的な計算システム５００を示す。システム５００は、プロセッサ５１０、メモリ５２０、通信ユニット５３０、データストレージ５３０、および／またはユーザインターフェースユニット５４０を含んでもよく、これらはすべて通信的に結合されてもよい。図１および図４の環境１００および４００のいずれかまたは全て、それらの構成要素、またはそれらの構成要素をホストする計算システムは、計算システム５００と調和する計算システムとして実装されてもよい。

【0052】

一般的に、プロセッサ５１０は、様々なコンピュータハードウェアまたはソフトウェアモジュールを含む、任意の計算エンティティ、または処理デバイスを含んでもよいし、任意の適用可能なコンピュータ可読記憶媒体に記憶された命令を実行するように構成されてもよい。例えば、プロセッサ５１０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラム命令を解釈および／または実行する、および／またはデータを処理するように構成されている任意の他のデジタルもしくはアナログ回路を含んでもよい。

【0053】

図５において単一のプロセッサとして示されているが、プロセッサ５１０は、本開示に記載の任意の数の動作を個別にまたは集合的に実行するように構成されている任意の数のネットワークまたは物理的場所にわたって分散された任意の数のプロセッサを含んでもよいことが理解される。いくつかの実施形態では、プロセッサ５１０は、メモリ５２０、データストレージ５３０、またはメモリ５２０およびデータストレージ５３０に記憶されたプログラム命令を解釈および／または実行する、および／またはデータを処理してもよい。いくつかの実施形態では、プロセッサ５１０は、データストレージ５３０からプログラム命令をフェッチし、メモリ５２０にプログラム命令をロードしてもよい。

【0054】

プログラム命令がメモリ５２０にロードされた後、プロセッサ５１０は、図３の方法３００を実行するための命令のようなプログラム命令を実行してもよい。例えば、プロセッサ５１０は、データセットをパーソナライズするために合成される画像の数を決定することと、画像を合成することとに関する命令を取得してもよい。

【0055】

メモリ５３０およびデータストレージ５３０は、コンピュータ実行可能な命令もしくはデータ構造を搬送するか、またはそれらが記憶されたコンピュータ可読記憶媒体、または１つ以上のコンピュータ可読記憶媒体を含んでもよい。そのようなコンピュータ可読記憶媒体は、プロセッサ５１０のような汎用または専用コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよい。いくつかの実施形態では、計算システム５００は、メモリ５２０およびデータストレージ５３０のいずれかを含んでもよいし、含まなくてもよい。

【0056】

例として、限定するものではないが、そのようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、もしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージ、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、またはコンピュータ実行可能な命令もしくはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用されてもよく、汎用もしくは特殊目的のコンピュータによってアクセスされ得る任意の他の記憶媒体を含む非一時的なコンピュータ可読記憶媒体を含んでもよい。上記の組み合わせもまた、コンピュータ可読記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能な命令は、例えば、プロセッサ５１０に特定の動作または動作のグループを実行させるように構成されている命令およびデータを含んでもよい。

【0057】

通信ユニット５４０は、ネットワークを介して情報を送信または受信するように構成された任意の構成要素、デバイス、システム、またはそれらの組み合わせを含んでもよい。いくつかの実施形態において、通信ユニット５４０は、他の場所、同じ場所での他のデバイス、または同じシステム内の他の構成要素とでさえも通信してもよい。例えば、通信ユニット５４０は、モデム、ネットワークカード（無線または有線）、光学通信デバイス、赤外線通信デバイス、無線通信デバイス（アンテナなど）、および／またはチップセット（Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．６デバイス（例えば、メトロポリタンエリアネットワーク（ＭＡＮ））、ＷｉＦｉ（登録商標）デバイス、ＷｉＭａｘデバイス、セルラ通信設備など）、および／または同様のものを含んでもよい。通信ユニット５４０は、本開示に記載のネットワークおよび／または任意の他のデバイスまたはシステムとでデータが交換されることを許可してもよい。例えば、通信ユニット５４０は、システム５００が、計算デバイスおよび／または他のネットワークなどの他のシステムと通信することを可能にしてもよい。

【0058】

当業者は、本開示を検討した後、本開示の範囲から逸脱することなく、システム５００に修正、追加、または省略が行われてもよいことを認識してもよい。例えば、システム５００は、明示的に図示および記載のものよりも多くの、または少ない構成要素を含んでもよい。

【0059】

前述の開示は、開示された正確な形態または特定の使用分野に本開示を限定することを意図していない。このように、本明細書に明示的に記載されているか暗示されているかにかかわらず、本開示に対する様々な代替的な実施形態および／または修正が、本開示に照らして可能であることが企図されている。このように本開示の実施形態を記載しているが、変更は、本開示の範囲から逸脱することなく、形態および詳細に行われてもよいことが認識されよう。したがって、本開示は、特許請求の範囲によってのみ限定される。

【0060】

いくつかの実施形態において、本明細書に記載された異なる構成要素、モジュール、エンジン、およびサービスは、（例えば、別個のスレッドとして）コンピューティングシステムで実行されるオブジェクトまたはプロセスとして実装されてもよい。本開示に記載のシステムおよびプロセスのいくつかは、一般的に、（汎用ハードウェアに記憶される、および／またはそれによって実行される）ソフトウェアで実装されるものとして記載されているが、特定のハードウェア実装またはソフトウェアと特定のハードウェア実装との組み合わせも可能であり、企図されている。

【0061】

本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語は、一般的に「開放的」な用語として意図されている（例えば、用語「含んでいる」は、「含んでいるが、これに限定されない」と解釈されるべきであり、用語「有する」は、「少なくとも有する」と解釈されるべきであり、用語「含む」は、「含むが、これに限定されない」解釈されるべきであるなど）。

【0062】

さらに、特定の数の導入された請求項の規定が意図されている場合、そのような意図は請求項に明示的に規定され、そのような規定がない場合、そのような意図は存在しない。例えば、理解を助けるために、以下の添付の特許請求の範囲は、請求項の規定を導入するために、「少なくとも１つ」および「１つ以上」の導入語句の使用を含有することがある。しかし、そのような語句の使用は、不定冠詞「ａ」または「ａｎ」による請求項の規定の導入が、そのような導入された請求項の規定を含有する任意の特定の請求項を、ただ１つのそのような規定を含有する実施形態に限定することを示唆するように解釈されるべきではなく、これは、同じ請求項が、導入語句「１つ以上」または「少なくとも１つ」および「ａ」または「ａｎ」（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つ」または「１つ以上」を意味すると解釈されるべきである）などの不定冠詞を含むときでも同様であり、同じことは、請求項の規定を導入するために使用される不定冠詞の使用の場合に当てはまる。

【0063】

追加的に、導入された請求項の規定の特定の数が明示的に規定されている場合であっても、当該技術分野の当業者であれば、そのような規定は、少なくとも規定された数を意味すると解釈されるべきであることを認識するであろう（例えば、「２という規定」の単なる規定では、他の修飾語なしでは、少なくとも２つの規定、または２つ以上の規定を意味する）。さらに、「Ａ、ＢおよびＣのうちの少なくとも１つ」または「Ａ、ＢおよびＣなどのうちの１つ以上」と類似の慣習が使用されている場合、一般的に、そのような構造は、Ａ単独、Ｂ単独、Ｃ単独、ＡとＢ、ＡとＣ、ＢとＣ、またはＡとＢとＣなどを含むことが意図されている。例えば、「および／または」という用語の使用は、このように解釈されることを意図している。

【0064】

さらに、明細書、特許請求の範囲、または図面のいずれかにあるかを問わず、２つ以上の代替的な用語を提示する任意の言葉または語句は、その用語のうちの１つ、用語のうちのいずれか、またはその用語の両方を企図するように理解されるべきである。例えば、語句「ＡまたはＢ」は、「Ａ」もしくは「Ｂ」または「ＡおよびＢ」の可能性を含むように理解されるべきである。

【0065】

しかし、そのような語句の使用は、不定冠詞「ａ」または「ａｎ」による請求項の規定の導入が、そのような導入された請求項の規定を含有する任意の特定の請求項を、ただ１つのそのような規定を含有する実施形態に限定することを示唆するように解釈されるべきではなく、これは、同じ請求項が、導入語句「１つ以上」または「少なくとも１つ」および「ａ」または「ａｎ」（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つ」または「１つ以上」を意味すると解釈されるべきである）などの不定冠詞を含むときでも同様であり、同じことは、請求項の規定を導入するために使用される不定冠詞の使用の場合に当てはまる。

【0066】

追加的に、「第１」、「第２」、「第３」などの用語の使用は、本明細書においては特定の順序を暗示するために必ずしも使用されない。一般的に、「第１」、「第２」、「第３」などの用語は、異なる要素を区別するために使用される。「第１」、「第２」、「第３」などの用語が特定の順序を暗示することを具体的に示すことがなければ、これらの用語が特定の順序を暗示していると理解すべきではない。

【0067】

本明細書に規定されたすべての例および条件付き言語は、本発明および発明者が当該技術分野を促進するために寄与した概念を理解する際に読者を助けるための教育的目的とすることが意図されており、このように具体的に規定された例および条件に限定されるものではないと解釈されるべきである。本開示の実施形態が詳細に記載されているが、これに対して、本開示の精神および範囲から逸脱することなく、様々な変更、置換、および交換が行われ得ると理解されたい。

【0068】

開示された実施形態の前の説明は、当業者が本開示を製造または使用することを可能にするために提供される。これらの実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書において定義される一般的原理は、本開示の精神または範囲から逸脱することなく、他の実施形態に適用されてもよい。したがって、本開示が、本明細書に示された実施形態に限定されることを意図するものではなく、本明細書に開示された原理および新規な特徴と調和する最も広い範囲に付与されるべきである。

【0069】

本開示は以下の発明を含む。
（付記１）
方法であって、
被写体の顔画像を取得することと、
ターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される新規画像の数を識別することと、
前記合成における基本画像として前記被写体の前記顔画像を使用して前記数の新規画像を合成することであって、前記数の新規画像のうちの２つ以上は、前記被写体の前記顔画像とは異なるＡＵの組み合わせを有する、合成することと、
データセットが前記被写体の画像のみを含むように、前記数の新規画像を前記データセットに追加することと、
前記データセットを使用して機械学習システムを訓練することであって、前記機械学習システムは、前記被写体の表情を識別するために訓練される、訓練することと、を含む、方法。
（付記２）
前記データセットは、前記被写体の前記顔画像と、前記被写体の前記顔画像から合成された前記数の新規画像のみを含む、付記１に記載の方法。
（付記３）
前記被写体の前記顔画像が無表情を含む、付記１に記載の方法。
（付記４）
前記被写体の前記顔画像を捕捉することは、前記被写体の２つ以上の画像を捕捉することを含む、付記１に記載の方法。
（付記５）
前記数のターゲットＡＵの組み合せおよび強度のカテゴリを伴って合成される前記数の新規画像を識別することは、少なくとも１つの画像が各ＡＵに対する各強度のカテゴリを示すことを検証することを含む、付記１に記載の方法。
（付記６）
前記被写体の前記顔画像における少なくとも１つのＡＵの組み合わせおよび少なくとも１つの強度のカテゴリを識別することと、
前記被写体の前記顔画像に基づいて、ターゲットＡＵの組み合わせおよび強度のカテゴリのセットを決定することと、をさらに含む、付記１に記載の方法。
（付記７）
前記被写体を識別することと、
前記機械学習システムを使用して、各ＡＵの組み合わせおよび強度のカテゴリを識別することにより、前記被写体の前記表情を分類することと、をさらに含む、付記１に記載の方法。
（付記８）
前記被写体を識別することは、顔認識、パスワード検証、パスコード検証、指紋検証、虹彩スキャン、または多因子認証のうちの少なくとも１つを含む識別技術を介して実行される、付記７に記載の方法。
（付記９）
１つ以上の命令を記憶するように構成されている１つ以上の非一時的なコンピュータ可読媒体であって、前記１つ以上の命令は、１つ以上のプログラムによって実行されることに応答して、システムに動作を実行させ、前記動作は、
被写体の顔画像を取得することと、
ターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される新規画像の数を識別することと、
基本画像として前記被写体の前記顔画像を使用して前記数の新規画像を合成することであって、前記数の新規画像のうちの２つ以上は、前記被写体の前記顔画像とは異なるＡＵの組み合わせを有する、合成することと、
前記数の新規画像をデータセットに追加することと、
前記データセットを使用して機械学習システムを訓練することであって、前記機械学習システムは、前記被写体の表情を識別するために訓練される、訓練することと、を含む、１つ以上のコンピュータ可読媒体。
（付記１０）
前記データセットは、前記被写体の１つ以上の顔画像と、前記被写体の前記顔画像から合成された前記数の新規画像のみを含む、付記９に記載の１つ以上のコンピュータ可読媒体。
（付記１１）
前記数のターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される前記数の新規画像を識別することは、少なくとも１つの画像が各ＡＵに対する各強度のカテゴリを示すことを検証することを含む、付記９に記載の１つ以上のコンピュータ可読媒体。
（付記１２）
前記動作は、
前記被写体の前記顔画像における少なくとも１つのＡＵの組み合わせおよび少なくとも１つの強度のカテゴリを識別することと、
前記被写体の前記顔画像に基づいて、ターゲットＡＵの組み合わせおよび強度のカテゴリのセットを決定することと、をさらに含む、付記９に記載の１つ以上のコンピュータ可読媒体。
（付記１３）
前記動作は、
前記被写体を識別することと、
前記機械学習システムを使用して、各ＡＵの組み合わせおよび強度のカテゴリを識別することにより、前記被写体の前記表情を分類することと、をさらに含む、付記９に記載の１つ以上のコンピュータ可読媒体。
（付記１４）
前記被写体を識別することは、顔認識、パスワード検証、パスコード検証、指紋検証、虹彩スキャン、または多因子認証のうちの少なくとも１つを含む識別技術を介して実行される、付記１３に記載の１つ以上のコンピュータ可読媒体。
（付記１５）
システムであって、
１つ以上のプロセッサと、
１つ以上の命令を記憶するように構成されている１つ以上の非一時的なコンピュータ可読媒体と、を含み、前記１つ以上の命令は、１つ以上のプログラムによって実行されることに応答して、システムに動作を実行させ、前記動作は、
被写体の顔画像を取得することと、
ターゲットＡＵの組み合わせおよび強度のカテゴリを伴って合成される新規画像の数を識別することと、
前記数のターゲットＡＵ組み合わせおよび強度のカテゴリを伴って、基本画像として前記被写体の前記顔画像を使用して前記数の新規画像を合成することであって、前記数の新規画像のうちの２つ以上は、前記被写体の前記顔画像とは異なるＡＵの組み合わせを有する、合成することと、
前記数の新規画像をデータセットに追加することと、
前記データセットを使用して機械学習システムを訓練することであって、前記機械学習システムは、前記被写体の表情を識別するために訓練される、訓練することと、を含む、システム。
（付記１６）
前記データセットは、前記被写体の１つ以上の顔画像と、前記被写体の前記顔画像から合成された前記数の新規画像のみを含む、付記１５に記載のシステム。
（付記１７）
前記数のターゲットＡＵの組み合せおよび強度のカテゴリを伴って合成される前記数の新規画像を識別することは、少なくとも１つの画像が各ＡＵに対する各強度のカテゴリを示すことを検証することを含む、付記１５に記載のシステム。
（付記１８）
前記動作は、
前記被写体の前記顔画像における少なくとも１つのＡＵの組み合わせおよび少なくとも１つの強度のカテゴリを識別することと、
前記被写体の前記顔画像に基づいて、ターゲットＡＵの組み合わせおよび強度のカテゴリのセットを判定することと、をさらに含む、付記１５に記載のシステム。
（付記１９）
前記動作は、
前記被写体を識別することと、
前記機械学習システムを使用して、各ＡＵの組み合わせおよび強度のカテゴリを識別することにより、前記被写体の前記表情を分類することと、をさらに含む、付記１５に記載のシステム。
（付記２０）
前記被写体を識別することは、顔認識、パスワード検証、パスコード検証、指紋検証、虹彩スキャン、または多因子認証のうちの少なくとも１つを含む識別技術を介して実行される、付記１５に記載のシステム。

【符号の説明】

【0070】

１４５ ラベル
５００ システム
５１０ プロセッサ
５２０ メモリ
５３０ データストレージ
５４０ 通信ユニット

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】