知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023129152
(43)【公開日】2023-09-14
(54)【発明の名称】表情分析で使用するデータセットを拡張する方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230907BHJP
G06T 7/55 20170101ALI20230907BHJP
G06T 1/00 20060101ALI20230907BHJP
【ＦＩ】
G06T7/00 660A
G06T7/55
G06T1/00 340A
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022033968
(22)【出願日】2022-03-04
(31)【優先権主張番号】10202202207V
(32)【優先日】2022-03-04
(33)【優先権主張国・地域又は機関】SG
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り １． 刊行物名 モーフセット：フェースモーフィングによる、次元情動ラベルを用いたカテゴリー感情データセットの拡張（ＭＯＲＰＨＳＥＴ： ＡＵＧＭＥＮＴＩＮＧ ＣＡＴＥＧＯＲＩＣＡＬ ＥＭＯＴＩＯＮ ＤＡＴＡＳＥＴＳ ＷＩＴＨ ＤＩＭＥＮＳＩＯＮＡＬ ＡＦＦＥＣＴ ＵＳＩＮＧ ＦＡＣＥ ＭＯＲＰＨＩＮＧ） 投稿日 ２０２１年３月４日 投稿アドレス ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２１０３．０２８５４ｖ１ ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２１０３．０２８５４ｖ１．ｐｄｆ ２． 刊行物名 モーフセット：フェースモーフィングによる、次元情動ラベルを用いたカテゴリー感情データセットの拡張（ＭＯＲＰＨＳＥＴ： ＡＵＧＭＥＮＴＩＮＧ ＣＡＴＥＧＯＲＩＣＡＬ ＥＭＯＴＩＯＮ ＤＡＴＡＳＥＴＳ ＷＩＴＨ ＤＩＭＥＮＳＩＯＮＡＬ ＡＦＦＥＣＴ ＵＳＩＮＧ ＦＡＣＥ ＭＯＲＰＨＩＮＧ） 投稿日 ２０２１年６月１６日 投稿アドレス ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２１０３．０２８５４ｖ２ ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２１０３．０２８５４ｖ２．ｐｄｆ ３． 刊行物名 モーフセット：フェースモーフィングによる、次元情動ラベルを用いたカテゴリー感情データセットの拡張（ＭＯＲＰＨＳＥＴ： ＡＵＧＭＥＮＴＩＮＧ ＣＡＴＥＧＯＲＩＣＡＬ ＥＭＯＴＩＯＮ ＤＡＴＡＳＥＴＳ ＷＩＴＨ ＤＩＭＥＮＳＩＯＮＡＬ ＡＦＦＥＣＴ ＵＳＩＮＧ ＦＡＣＥ ＭＯＲＰＨＩＮＧ） 投稿日 ２０２１年８月２３日 投稿アドレス ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／９５０６５６６ ４． 公開日 ２０２１年９月２０日（開催期間：２０２１年９月１９日～２２日） 学会名 ２０２１ アイトリプルイー インターナショナル カンフェランス オン イメージ（アイシーアイピー）（２０２１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ（ＩＣＩＰ）） 開催場所 オンライン開催 学会の会期が終了したためリンクは削除されている。（学会のＵＲＬ ｈｔｔｐｓ：／／ｗｗｗ．２０２１．ｉｅｅｅｉｃｉｐ．ｏｒｇ／ｗｗｗ．２０２１．ｉｅｅｅｉｃｉｐ．ｏｒｇ／ｄｅｆａｕｌｔ．ｈｔｍｌ）
(71)【出願人】
【識別番号】522087796
【氏名又は名称】オプシス・ピーティイー・リミテッド
【氏名又は名称原語表記】ＯＰＳＩＳ ＰＴＥ． ＬＴＤ．
【住所又は居所原語表記】２７ ＧＲＡＣＥ ＰＡＲＫ， ＧＲＡＣＥ ＰＡＲＫ， ＳＩＮＧＡＰＯＲＥ ５５７７８１， ＲＥＰＵＢＬＩＣ ＯＦ ＳＩＮＧＡＰＯＲＥ
(74)【代理人】
【識別番号】110001818
【氏名又は名称】弁理士法人Ｒ＆Ｃ
(72)【発明者】
【氏名】シュテファン・ヴィンクラー
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE08
5L096DA01
5L096EA33
5L096FA12
5L096FA22
5L096GA34
(57)【要約】
【課題】次元情動の表情分析システムをトレーニングおよびテストするのに適し、注釈を付与した、バランスのとれた画像データセットを、効率的かつ対費用効果の高い方法で生成すること。
【解決手段】表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法である。第１顔画像および第２顔画像を、トレーニング／テスト用データセットに追加し、連続的次元感情空間における、２つの点のそれぞれにマッピングする。連続的次元感情空間において、２つの点の間の第３の点の位置を特定する。ラベリングした顔画像を第１表情および第２表情に対する第３の点の位置から導出して、拡張を実現する。
【選択図】なし
【解決手段】表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法である。第１顔画像および第２顔画像を、トレーニング／テスト用データセットに追加し、連続的次元感情空間における、２つの点のそれぞれにマッピングする。連続的次元感情空間において、２つの点の間の第３の点の位置を特定する。ラベリングした顔画像を第１表情および第２表情に対する第３の点の位置から導出して、拡張を実現する。
【選択図】なし
【特許請求の範囲】
【請求項1】
表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法であって、
データセットに第１顔画像と第２顔画像とを追加する工程と、
前記第１顔画像および前記第２顔画像を、連続的次元感情空間における第１表情点および第２表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間において、前記第１表情点と前記第２表情点との間の第３表情点の位置を特定する工程と、
表情変化画像を生成する工程と、
前記表情変化画像に第１次元ラベルを割り当てる工程と、
前記データセットに前記表情変化画像を追加する工程と、を含み、
前記表情変化画像および前記第１次元ラベルは、前記第１顔画像および前記第２顔画像に対する前記第３表情点の位置から導出する、方法。
データセットに第１顔画像と第２顔画像とを追加する工程と、
前記第１顔画像および前記第２顔画像を、連続的次元感情空間における第１表情点および第２表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間において、前記第１表情点と前記第２表情点との間の第３表情点の位置を特定する工程と、
表情変化画像を生成する工程と、
前記表情変化画像に第１次元ラベルを割り当てる工程と、
前記データセットに前記表情変化画像を追加する工程と、を含み、
前記表情変化画像および前記第１次元ラベルは、前記第１顔画像および前記第２顔画像に対する前記第３表情点の位置から導出する、方法。
【請求項2】
前記第３表情点は、前記第１表情点または前記第２表情点に表情距離を適用することによって特定する、請求項１に記載の方法。
【請求項3】
前記表情距離をあらかじめ選択しておく、請求項２に記載の方法。
【請求項4】
前記第１顔画像および前記第２顔画像は、それぞれに、「うれしい」、「驚いた」、「怖がった」、「怒った」、「むかついた」、又は「悲しい」の表情を含むラベルを割り当て、前記連続的次元感情空間における、前記ラベルに対応する位置にマッピングする、請求項１に記載の方法。
【請求項5】
前記第１顔画像および前記第２顔画像は、頂点表情である、請求項１に記載の方法。
【請求項6】
前記データセットにニュートラル顔画像を追加する工程と、
前記ニュートラル顔画像を前記連続的次元感情空間におけるニュートラルな点にマッピングする工程と、
前記連続的次元感情空間において、前記ニュートラル顔画像と、前記第１顔画像、前記第２顔画像、または前記表情変化画像と、の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
第１変化画像に第２次元ラベルを割り当てる工程と、
前記データセットに前記強度変化画像を追加する工程と、をさらに含み、
前記強度変化画像および前記第２次元ラベルは、前記ニュートラル顔画像と前記第１顔画像との間の、前記第１強度点の相対位置に基づく、請求項１に記載の方法。
前記ニュートラル顔画像を前記連続的次元感情空間におけるニュートラルな点にマッピングする工程と、
前記連続的次元感情空間において、前記ニュートラル顔画像と、前記第１顔画像、前記第２顔画像、または前記表情変化画像と、の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
第１変化画像に第２次元ラベルを割り当てる工程と、
前記データセットに前記強度変化画像を追加する工程と、をさらに含み、
前記強度変化画像および前記第２次元ラベルは、前記ニュートラル顔画像と前記第１顔画像との間の、前記第１強度点の相対位置に基づく、請求項１に記載の方法。
【請求項7】
前記第１強度点は、ニュートラル表情点または前記第１顔画像に強度距離を適用することによって特定する、請求項６に記載の方法。
【請求項8】
強度距離をあらかじめ選択しておく、請求項６に記載の方法。
【請求項9】
前記表情変化画像は、第１モーフィング関数を適用して前記第１顔画像および前記第２顔画像を補間することによって取得し、
強度変化画像は、第２モーフィング関数を適用してニュートラル顔画像および前記第１顔画像を補間することによって取得する、請求項１又は６に記載の方法。
強度変化画像は、第２モーフィング関数を適用してニュートラル顔画像および前記第１顔画像を補間することによって取得する、請求項１又は６に記載の方法。
【請求項10】
表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法であって、
データセットにニュートラル顔画像と第１顔画像とを追加する工程と、
前記ニュートラル顔画像および前記第１顔画像を、連続的次元感情空間におけるニュートラルな点および第１表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間の強度平面上で、前記ニュートラル顔画像および第１表情の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
前記強度変化画像に次元ラベルを割り当てる工程と、を含み、
前記強度変化画像および前記次元ラベルは、前記ニュートラル顔画像と前記第１顔画像との間の、前記第１強度点の相対位置に基づく、方法。
データセットにニュートラル顔画像と第１顔画像とを追加する工程と、
前記ニュートラル顔画像および前記第１顔画像を、連続的次元感情空間におけるニュートラルな点および第１表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間の強度平面上で、前記ニュートラル顔画像および第１表情の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
前記強度変化画像に次元ラベルを割り当てる工程と、を含み、
前記強度変化画像および前記次元ラベルは、前記ニュートラル顔画像と前記第１顔画像との間の、前記第１強度点の相対位置に基づく、方法。
【請求項11】
前記強度変化画像は、第２モーフィング関数を適用して前記ニュートラル顔画像および前記第１顔画像を補間することによって取得する、請求項１０に記載の方法。
【請求項12】
前記連続的次元感情空間は、感情価－覚醒度円環である、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
機械読み取り可能な命令を記憶する記憶媒体であって、
前記命令は、請求項１～１２のいずれか一項に記載の方法をコンピュータシステムに実行させるための命令である、記憶媒体。
前記命令は、請求項１～１２のいずれか一項に記載の方法をコンピュータシステムに実行させるための命令である、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表情分析システムのためのトレーニング用またはテスト用データセットを拡張する、コンピュータによって実行される方法に関する。
【背景技術】
【0002】
基本的かつ原型的な高強度の表情を分類することは、広範に研究されているテーマである。初めにエクマンの発展性のある研究［１］に刺激を受けて、近年著しい進歩を遂げている［２，３］。しかしながら、そのような手法は、実生活での利用可能性は限定的である。人々は、高強度の原型的な表情を見せることは稀であり、日常では、控えめの、非原型的な表情を見せることの方が、はるかに多い。結果として、研究者たちは、代替的な手法を探究し始めた。例えば、顔の動き単位の強度［４，５］、複合表情［６］、および顔の表情の次元モデル［７－９］である。しかし、これらの代替的な手法は、カテゴリーモデルと比較して、コンピュータビジョン業界においてそれほど注目されていない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
次元モデルの広汎な使用を妨害する主要な問題の１つは、データセットの利用可能性が限られていることである。この原因は、数多くの対象者および表情を含む大きな画像セットの収集が困難であることにある。教師あり学習のための、信頼できる感情注釈を取得することは、より困難である。例えば感情価および覚醒度などの連続的次元感情ラベルは、素人の使用者にとっては評価および割り当てが困難であり、経験が豊富な注釈者を雇って大きな画像コーパスをラベリングするのは、ひどく高価で時間のかかることである。経験が豊富な注釈者であっても、これらのラベルについては意見が分かれる可能性があるため、画像ごとに複数の注釈が必要となり、これによって、作業の費用および複雑さがさらに増す。それにもかかわらず、可能性のある表情および強度をすべて網羅できる保証はどこにもなく、データセットは不均衡なものになってしまう。結果として、数多くの対象者の広範囲の表情変化および表情強度を網羅し、かつ高品質な注釈を有する、バランスのとれた大きな感情データセットは、不足している。
【0004】
したがって、次元情動の表情分析システムをトレーニングおよびテストするのに適し、注釈を付与した、バランスのとれた画像データセットを、効率的かつ対費用効果の高い方法で生成するという要求は、満たされていない。
【課題を解決するための手段】
【0005】
発明の概要
本発明の第１の実施形態は、
表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法であって、
データセットに第１顔画像と第２顔画像とを追加する工程と、
第１および第２顔画像を、連続的次元感情空間における第１表情点および第２表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間において、第１表情点と第２表情点との間の第３表情点の位置を特定する工程と、
表情変化画像を生成する工程と、
前記表情変化画像に第１次元ラベルを割り当てる工程と、
任意で、前記データセットに前記表情変化画像を追加する工程と、を含み、
前記表情変化画像および前記第１次元ラベルは、第１顔画像および第２顔画像に対する第３表情点の位置から導出する、方法、である。
本発明の第１の実施形態は、
表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法であって、
データセットに第１顔画像と第２顔画像とを追加する工程と、
第１および第２顔画像を、連続的次元感情空間における第１表情点および第２表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間において、第１表情点と第２表情点との間の第３表情点の位置を特定する工程と、
表情変化画像を生成する工程と、
前記表情変化画像に第１次元ラベルを割り当てる工程と、
任意で、前記データセットに前記表情変化画像を追加する工程と、を含み、
前記表情変化画像および前記第１次元ラベルは、第１顔画像および第２顔画像に対する第３表情点の位置から導出する、方法、である。
【0006】
任意で、第３表情点は、第１表情点または第２表情点に表情距離を適用することによって特定する。任意で、前記表情距離をあらかじめ選択しておく。
【0007】
任意で、第１および第２顔画像は、それぞれに、「うれしい」、「驚いた」、「怖がった」、「怒った」、「むかついた」、および「悲しい」の表情を含むラベルを割り当て、前記連続的次元感情空間における、前記ラベルに対応する位置にマッピングする。任意で、第１および第２顔画像は、頂点表情である。
【0008】
任意で、第１の実施形態は、
前記データセットにニュートラル顔画像を追加する工程と、
前記ニュートラル顔画像を前記連続的次元感情空間におけるニュートラルな点にマッピングする工程と、
前記連続的次元感情空間において、前記ニュートラル顔画像と、第１顔画像、第２顔画像、または前記表情変化画像と、の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
第１変化画像に第２次元ラベルを割り当てる工程と、
任意で、前記データセットに前記強度変化画像を追加する工程と、をさらに含み、
前記強度変化画像および第２次元ラベルは、前記ニュートラル顔画像と第１顔画像との間の、第１強度点の相対位置に基づく。
前記データセットにニュートラル顔画像を追加する工程と、
前記ニュートラル顔画像を前記連続的次元感情空間におけるニュートラルな点にマッピングする工程と、
前記連続的次元感情空間において、前記ニュートラル顔画像と、第１顔画像、第２顔画像、または前記表情変化画像と、の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
第１変化画像に第２次元ラベルを割り当てる工程と、
任意で、前記データセットに前記強度変化画像を追加する工程と、をさらに含み、
前記強度変化画像および第２次元ラベルは、前記ニュートラル顔画像と第１顔画像との間の、第１強度点の相対位置に基づく。
【0009】
任意で、第１強度点は、前記ニュートラル表情点または第１顔画像に強度距離を適用することによって特定する。任意で、前記強度距離をあらかじめ選択しておく。任意で、前記表情変化画像は、第１モーフィング関数を適用して第１顔画像および第２顔画像を補間することによって取得し、前記強度変化画像は、第２モーフィング関数を適用して前記ニュートラル画像および第１顔画像を補間することによって取得する。
【0010】
第１の実施形態の代替的な形態は、
表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法であって、
データセットにニュートラル顔画像と第１顔画像とを追加する工程と、
前記ニュートラル顔画像および第１顔画像を、連続的次元感情空間におけるニュートラルな点および第１表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間の強度平面上で、前記ニュートラル顔画像および第１表情の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
前記強度変化画像に次元ラベルを割り当てる工程と、を含み、
前記強度変化画像および前記次元ラベルは、前記ニュートラル顔画像と第１顔画像との間の、第１強度点の相対位置に基づく、方法、である。
表情分析で使用するデータセットを拡張する、コンピュータによって実行される方法であって、
データセットにニュートラル顔画像と第１顔画像とを追加する工程と、
前記ニュートラル顔画像および第１顔画像を、連続的次元感情空間におけるニュートラルな点および第１表情点のそれぞれにマッピングする工程と、
前記連続的次元感情空間の強度平面上で、前記ニュートラル顔画像および第１表情の間の第１強度点を特定する工程と、
強度変化画像を生成する工程と、
前記強度変化画像に次元ラベルを割り当てる工程と、を含み、
前記強度変化画像および前記次元ラベルは、前記ニュートラル顔画像と第１顔画像との間の、第１強度点の相対位置に基づく、方法、である。
【0011】
任意で、前記強度変化画像は、第２モーフィング関数を適用して前記ニュートラル顔画像および第１顔画像を補間することによって取得する。
【0012】
任意で、前記連続的次元感情空間は、感情価－覚醒度円環である。
【0013】
第１の実施形態の代替的な形態は、
機械読み取り可能な命令を記憶する記憶媒体であって、
前記命令は、前記方法をコンピュータシステムに実行させるための命令である、記憶媒体、である。
機械読み取り可能な命令を記憶する記憶媒体であって、
前記命令は、前記方法をコンピュータシステムに実行させるための命令である、記憶媒体、である。
【図面の簡単な説明】
【0014】
【図1】本発明に係る、表情分析で使用するデータセットを拡張する方法を示す。
【図2】円環モデルの感情価－覚醒度空間における、本発明に係る拡張の枠組みの描写である。
【図3】表情変化および強度変化を生成するのに使用する２種類のモーフィングを描写する。
【発明を実施するための形態】
【0015】
以下の詳細な記載では、その一部を構成する添付図面を参照する。詳細な記載、図面、および請求項に記載する実例としての各実施形態は、本発明を限定することを意図してはいない。本願で提示する主題の精神または範囲から逸脱することなく、他の実施形態を実現可能であり、他の変更を加えることが可能である。
【0016】
本発明は、表情分析システムで使用するデータセットを拡張する方法１００を提供し、これは、具体的には、カテゴリーデータセット中の既存の利用可能な画像同士の間の高品質なモーフィング画像を生成することによって数多くの表情変化に近づけることができるという所見を前提とする。典型的には、表情分析で使用する機械学習モデルをトレーニングする目的で使用するトレーニング用データセットを拡張するために採用されることを想定するが、本方法は、同様に、テスト用データセットを拡張するために使用することもできる。
【0017】
図１を参照すると、本発明の第１の実施形態において、第１顔画像および第２顔画像をデータセットに追加する（１０１）。データセットに追加する顔画像は、典型的には、７つの表情、すなわち、「ニュートラルな」（ＮＥ）、「うれしい」（ＨＡ）、「驚いた」（ＳＵ）、「怖がった」（ＡＦ）、「怒った」（ＡＮ）、「むかついた」（ＤＩ）、および「悲しい」（ＳＡ）のうちの１つを描写し、すでにその旨の注釈が付与されている／ラベリングがされている。一例として、典型的なカテゴリーデータセットは、対象者ごとに７つの表情のそれぞれを含むものと想定する。しかしながら、第１および第２顔画像は、例えば、これらには限定されないが、「大いに喜んで」、「興奮した」などの他の表情であってもよいことは、当業者は容易に理解するであろう。表情を拡張する目的で、第１および第２顔画像は、「ニュートラルな」を描写することはできない。
【0018】
一実施形態において、第１顔画像および第２顔画像は、ともに頂点表情を描写する。つまり、表情がピーク強度を有する。
【0019】
図２に、２次元極性情動空間を描写する。これは、円環モデルの覚醒度－感情価（ＡＶ）空間と同様であり、「ニュートラルな」が中心にある。中心からの距離（すなわち、ニュートラルからの偏差）は、表情の強度を表す。高強度の表情（例えば、「非常にうれしい」）は、情動空間の外周に位置する一方、控えめの表情（例えば、「少しうれしい」）は、空間の中心近傍の、「ニュートラルな」の近くに位置する。覚醒度および感情価の範囲は、［－１，１］である。感情は、間隔［０°，３６０°］の角度によって定義される。表情の強度は、中心（「ニュートラルな」）からの距離によって定義され、間隔は［０，１］である。また、以下のように仮定する。第１に、情動座標は、顔変形と１対１で対応する。第２に、顔変形空間は、連続性を有する。第３に、隣接する情動座標は、同様の顔変形を示す。情動座標における小さな変化は、顔変形空間における小さな変化をもたらす。最後に、次元的情動空間は、連続性を有する。
【0020】
第１および第２顔画像は、連続的次元感情空間における第１および第２表情点にそれぞれマッピングする（１０２）。連続的２次元感情空間の非限定的な例は、円環モデルの感情価－覚醒度空間であり、これについては、以下で非限定的な例としてさらに述べる。
【0021】
第１および第２顔画像はすでにラベリングしてあるので、第１および第２表情点は、円環モデルの感情価－覚醒度空間におけるとても具体的な座標であり得る。図２に、元のデータセット画像を、輪郭を有する円で示す。７つの典型的な表情を描写する顔画像を含む典型的なデータセットをマッピングした後、感情価－覚醒度空間には空の空間がたくさんあることが明らかである。
【0022】
次に、連続的次元感情空間において、第１および第２表情点の間の第３表情点の位置を特定する（１０３）。好ましくは、第３表情点の位置は、第３表情点が第１および第２表情点の間に位置する限り、表情距離を第１または第２表情点に適用することによって特定する。好ましくは、表情距離を第３表情点などに適用して、第１および第２表情点の間の一連の表情点を得ることによって、さらなる表情点を特定することができる。厳密には必要ではないが。より好ましくは、表情距離は、表情の粒度、拡張因子、点間の対称性などの、トレーニング用またはテスト用データセットの具体的な要件に基づいてあらかじめ選択する。好ましくは、表情距離は、第１または第２表情点から始まる１５°の角度増加であり、上述の基準同士の間の釣り合いをとる。好ましくは、表情は、あらかじめ選択する。上述のような方法は、ニュートラルな点および任意の表情画像に適用することもできる。当該表情画像は、第１顔画像および第２顔画像、ならびに、強度変化画像を生成するための下記の表情変化画像などの、拡張の結果として新しく生成される画像を含む。この場合、第３表情点は、マッピングの目的で、第１強度点と類似する。
【0023】
好ましくは、第１および第２顔画像は、連続的次元感情空間にマッピングしたときに互いに直接隣接する点に対応する。一例として、再度図２を参照すると、「怒った」および「怖がった」という感情は、感情価－覚醒度空間において互いに直接隣接する２つの表情の例である。
【0024】
第３表情の位置を特定すると、表情変化画像を生成し、当該表情変化画像に第１次元ラベルを割り当てることができる。表情変化画像および第１次元ラベルは、第１および第２表情に対する第３表情点の位置から導出される（１０４）。非限定的な例において、円環モデルの２次元感情価－覚醒度空間を想定する。
【0025】
表情Ｅを有する対象者ｉの顔の画像を、
とする。カテゴリーデータセットとしては、通常、Ｅ∈｛ＮＥ，ＨＡ，ＳＵ，ＡＦ，ＡＮ，ＤＩ，ＳＡ｝である。感情研究［７，２３］で推定するように、極性感情価－覚醒度空間における各表情の具体的な角度を、θＥ Ｅとする。対象者ｉの表情Ｅの強度を、
とする。ゼロ表情強度Ｉｅ＝０は、ＮＥと一致し（定義上、ＩＮＥ＝０）、可能な限り最も高い表情強度を、ＩＥ＝１で表す。顔の目印ｐに基づく、新しい顔の画像を返すモーフィング関数を、
とする。新しい顔の画像は、比率ｒ∈［０，１］で
を
にモーフィングした結果である。ｒ＝０のとき、モーフ画像は、
と同一となり、ｒ＝１のとき、
と同一となる。このために、現在周知のモーフィング手法を適宜用いることができる。例えば、ドロネー三角形分割に続いて、顔の目印群を局所的に変形させることができる。
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【0026】
本発明に係る拡張方法は、２種類のモーフィングに基づく。新たな表情変化を合成するためには、カテゴリーデータセットにおける所定の頂点表情同士の間で、頂点－頂点（Ａｐｅｘ ｔｏ Ａｐｅｘ）モーフィング（１）を用いる。
【数8】
【0027】
ここで、Ａ、Ａ１、およびＡ２は、親データセットからの頂点表情であり、ｒは、間隔［０，１］の比率である。
【0028】
新たな強度変化を合成するためには、ＮＥ画像と所定の（または補間した）頂点画像との間で、ニュートラル－頂点（Ｎｅｕｔｒａｌ ｔｏ Ａｐｅｘ）モーフィング（２）を用いる。
【数9】
【0029】
図３に、これら２種類のモーフィングの例を描写する。
を有する、所定の、または生成した顔の画像
のそれぞれについて、第１次元ラベルは、以下のように算出することができる。
好ましくは、強度変化画像は、０．１の強度増加である強度距離を適用することによって生成する。任意で、（１）と（２）との両方を適用して、表情と強度との両方における拡張画像を生成することができる。
【数10】
【数11】
【数12】
【0030】
任意で、表情変化画像または表情変化画像は、データセットに追加することができる（１０５）。
【図1】
【図2】
【図3】
【外国語明細書】