特開 2024-28023 表情加工装置、表情加工方法および表情加工プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024028023

(43)【公開日】2024-03-01

(54)【発明の名称】表情加工装置、表情加工方法および表情加工プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240222BHJP

   G06T 7/00 20170101ALI20240222BHJP

   G06T 13/40 20110101ALI20240222BHJP

【ＦＩ】

G06F3/01 510

G06T7/00 660A

G06T7/00 350B

G06T13/40

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022131325

(22)【出願日】2022-08-19

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(72)【発明者】

【氏名】中川 潮美

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050AA08

5B050BA09

5B050BA12

5B050CA07

5B050DA04

5B050FA02

5E555AA48

5E555BA02

5E555BA05

5E555BA06

5E555BA76

5E555BB02

5E555BB05

5E555BB06

5E555BC04

5E555BD01

5E555BD07

5E555CA42

5E555CB65

5E555CB66

5E555CB67

5E555DB32

5E555DC30

5E555EA22

5E555FA00

5L096AA02

5L096CA04

5L096CA22

5L096CA23

5L096DA01

5L096HA02

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】画像におけるユーザの表情を適切に加工する表情加工プログラム、表情加工装置および表情加工方法を提供する。
【解決手段】本開示の表情加工プログラムは、ユーザから感情情報の入力を受け付ける感情入力ステップと、前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理ステップと、を含む表情加工方法をコンピュータに実行させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザから感情情報の入力を受け付ける感情入力ステップと、
前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理ステップと、
を含む表情加工方法をコンピュータに実行させる表情加工プログラム。

【請求項2】

前記第２画像に基づいて、ネットワーク上の仮想空間で前記ユーザの分身として表示するキャラクターであるアバターを生成するアバター生成ステップをさらに備える、請求項１に記載の表情加工プログラム。

【請求項3】

前記アバターの表情は、前記第２画像における前記ユーザの顔の表情と対応するように生成される、請求項２に記載の表情加工プログラム。

【請求項4】

前記画像処理ステップは、前記第１画像中の前記ユーザの顔の表情を、前記感情情報に対応する表情に加工する、請求項１に記載の表情加工プログラム。

【請求項5】

前記画像処理ステップは、人間の顔の表情を含む教師画像を取得して、前記第１画像と前記教師画像とを比較することで、前記第１画像中の前記ユーザの顔の表情を加工する、請求項１に記載の表情加工プログラム。

【請求項6】

前記画像処理ステップは、前記第１画像から前記ユーザの感情を分析し、前記分析の結果と、前記感情情報と、前記比較の結果とに基づいて、前記第１画像中の前記ユーザの顔の表情を加工する、請求項５に記載の表情加工プログラム。

【請求項7】

感情入力ステップ、画像処理ステップ
前記第１画像は、撮像装置によって撮像された画像である、請求項１に記載の表情加工プログラム。

【請求項8】

前記撮像装置は、ＲＧＢ撮像装置またはＲＧＢＩＲ撮像装置である、請求項７に記載の表情加工プログラム。

【請求項9】

前記ユーザから場面情報の入力を受け付ける場面入力ステップをさらに備え、
前記画像処理ステップは、前記第１画像と、前記感情情報と、前記場面情報とを受け付け、前記感情情報と、前記場面情報とに基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から前記第２画像を生成する、請求項１に記載の表情加工プログラム。

【請求項10】

前記ユーザから前記第２画像に関するフィードバックの入力を受け付けるフィードバック入力ステップをさらに備え、
前記フィードバックに基づいて前記画像処理ステップが学習を行う、請求項１に記載の表情加工プログラム。

【請求項11】

前記第２画像は、オンライン会議における出力画像として出力される、請求項１に記載の表情加工プログラム。

【請求項12】

前記第２画像は、前記ユーザの表示装置または相手側ユーザの表示装置に出力される、請求項１に記載の表情加工プログラム。

【請求項13】

前記アバターは、オンライン会議における出力画像として出力される、請求項２に記載の表情加工プログラム。

【請求項14】

前記アバターは、前記ユーザの表示装置または相手側ユーザの表示装置に出力される、請求項２に記載の表情加工プログラム。

【請求項15】

相手側ユーザの感情情報を取得する感情情報取得ステップをさらに備え、
前記画像処理ステップは、前記第１画像と、前記感情情報と、前記相手側ユーザの感情情報とを受け付け、前記感情情報と、前記相手側ユーザの感情情報とに基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から前記第２画像を生成する、請求項１に記載の表情加工プログラム。

【請求項16】

前記感情情報取得ステップは、前記相手側ユーザの顔を含む第３画像を前記相手側ユーザから受信し、前記第３画像に基づいて前記相手側ユーザの感情情報を取得する、請求項１５に記載の表情加工プログラム。

【請求項17】

前記感情情報取得ステップは、前記第３画像から前記相手側ユーザの感情を分析することで、前記相手側ユーザの感情情報を取得する、請求項１６に記載の表情加工プログラム。

【請求項18】

前記第３画像は、撮像装置によって撮像された画像である、請求項１６に記載の表情加工プログラム。

【請求項19】

ユーザから感情情報の入力を受け付ける感情入力部と、
前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理部と、
を備える表情加工装置。

【請求項20】

ユーザから感情情報の入力を受け付ける感情入力ステップと、
前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理ステップと、
を含む表情加工方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表情加工装置、表情加工方法および表情加工プログラムに関する。

【背景技術】

【0002】

コンピュータに内蔵されたカメラや、コンピュータに外付けされたウェブカメラを用いてオンライン会議を行う場合、対面の会議と比較して非言語情報の伝達量が少なくなるため、細かな表情の変化を相手に伝えることは難しい。これは、ストリーミング配信でも同様である。そのため、オンライン会議やストリーミング配信では、自分が意図していないような内容で相手に伝わってしまうことが起こりえる。

【0003】

また、近年、アバターを用いたオンライン会議やストリーミング配信も行われている。上記と同様に、アバターを用いた映像では、非言語情報の伝達量が少なくなるため、細かな表情の変化を相手に伝えることは難しい。

【0004】

また、撮像画像中のユーザの感情状態を向上させることを目的とした情報処理装置が知られている。この情報処理装置では、例えば、撮像画像に含まれるユーザの笑顔レベルを測定し、一つ高い笑顔レベルに撮像画像を加工して出力する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－１８２５９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の情報処理装置は、笑顔という表情に特化し、撮像画像中のユーザの感情状態を向上させることを目的としている。しかし、上記の情報処理装置は、コミュニケーションの向上について十分に着目した装置ではないため、笑顔以外の表情を取り扱うことは考えられていない。

【0007】

そこで、本開示は、画像におけるユーザの表情を適切に加工する表情加工プログラム、表情加工装置および表情加工方法を提供する。

【課題を解決するための手段】

【0008】

本開示の第１の側面の表情加工プログラムは、ユーザから感情情報の入力を受け付ける感情入力ステップと、前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理ステップと、を含む表情加工方法をコンピュータに実行させる。これにより、例えば、ユーザは、自分の足りない感情表現スキルをこのプログラムにより補うことができ、自分が意図しない内容で相手に伝わるのを防ぐことができる。

【0009】

また、この第１の側面において、前記第２画像に基づいて、ネットワーク上の仮想空間で前記ユーザの分身として表示するキャラクターであるアバターを生成するアバター生成ステップをさらに備えてもよい。これにより、例えば、表情が豊かに表現されたアバターを通じてコミュニケーションをとることで、ユーザは、オンライン会議において、齟齬なく意思の疎通を図ることができる。

【0010】

また、この第１の側面において、前記アバターの表情は、前記第２画像における前記ユーザの顔の表情と対応するように生成されてもよい。これにより、例えば、表情が豊かに表現されたアバターを通じてコミュニケーションをとることで、ユーザは、オンライン会議において、齟齬なく意思の疎通を図ることができる。

【0011】

また、この第１の側面において、前記画像処理ステップは、前記第１画像中の前記ユーザの顔の表情を、前記感情情報に対応する表情に加工してもよい。これにより、例えば、例えば、ユーザは、自分の足りない感情表現スキルをこのプログラムにより補うことができ、自分が意図しない内容で相手に伝わるのを防ぐことができる。

【0012】

また、この第１の側面において、前記画像処理ステップは、人間の顔の表情を含む教師画像を取得して、前記第１画像と前記教師画像とを比較することで、前記第１画像中の前記ユーザの顔の表情を加工してもよい。これにより、例えば、感情表現に足りないユーザの顔の動きを分析することができる。

【0013】

また、この第１の側面において、前記画像処理ステップは、前記第１画像から前記ユーザの感情を分析し、前記分析の結果と、前記感情情報と、前記比較の結果とに基づいて、前記第１画像中の前記ユーザの顔の表情を加工してもよい。この比較結果から、画像を加工することで、ユーザは、正しく感情を伝えることができる。

【0014】

また、この第１の側面において、前記第１画像は、撮像装置によって撮像された画像であってもよい。これにより、例えば、正確な視線の検知や感情の分析が可能となる。

【0015】

また、この第１の側面において、前記撮像装置は、ＲＧＢ撮像装置またはＲＧＢＩＲ撮像装置であってもよい。これにより、例えば、正確な視線の検知や感情の分析が可能となる。

【0016】

また、この第１の側面において、前記ユーザから場面情報の入力を受け付ける場面入力ステップをさらに備え、前記画像処理ステップは、前記第１画像と、前記感情情報と、前記場面情報とを受け付け、前記感情情報と、前記場面情報とに基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から前記第２画像を生成してもよい。これにより、例えば、場面の雰囲気に合わせてユーザの顔の表情を加工した画像を出力することができる。そのため、ユーザは、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0017】

また、この第１の側面において、前記ユーザから前記第２画像に関するフィードバックの入力を受け付けるフィードバック入力ステップをさらに備え、前記フィードバックに基づいて前記画像処理ステップが学習を行ってもよい。これにより、例えば、ユーザによるフィードバックの入力により、アバターやユーザの顔の表情を加工して得られた画像について、最適な表現となるように再度加工を行うことで、ユーザは、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0018】

また、この第１の側面において、前記第２画像は、オンライン会議における出力画像として出力されてもよい。これにより、例えば、画面越しでも豊かな表情を感じられるため、ユーザは、相手側ユーザに対してスムーズに発言の交代を促し、コミュニケーションを円滑に進めることができる。

【0019】

また、この第１の側面において、前記第２画像は、前記ユーザの表示装置または相手側ユーザの表示装置に出力されてもよい。これにより、例えば、画面越しでも豊かな表情を感じられるため、ユーザは、相手側ユーザに対してスムーズに発言の交代を促し、コミュニケーションを円滑に進めることができる。

【0020】

また、この第１の側面において、前記アバターは、オンライン会議における出力画像として出力されてもよい。これにより、例えば、ユーザは、感情が伝わるアバターを通じて、相手側ユーザに話しかけることで、相手側ユーザが自分のことを知らない場合でも、親近感を持ってもらうことができる。

【0021】

また、この第１の側面において、前記アバターは、前記ユーザの表示装置または相手側ユーザの表示装置に出力されてもよい。これにより、例えば、ユーザは、感情が伝わるアバターを通じて、相手側ユーザに話しかけることで、相手側ユーザが自分のことを知らない場合でも、親近感を持ってもらうことができる。

【0022】

また、この第１の側面において、相手側ユーザの感情情報を取得する感情情報取得ステップをさらに備え、前記画像処理ステップは、前記第１画像と、前記感情情報と、前記相手側ユーザの感情情報とを受け付け、前記感情情報と、前記相手側ユーザの感情情報とに基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から前記第２画像を生成してもよい。これにより、例えば、ユーザは、相手側ユーザの感情に応じて、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0023】

また、この第１の側面において、前記感情情報取得ステップは、前記相手側ユーザの顔を含む第３画像を前記相手側ユーザから受信し、前記第３画像に基づいて前記相手側ユーザの感情情報を取得してもよい。これにより、例えば、ユーザは、相手側ユーザの感情に応じて、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0024】

また、この第１の側面において、前記感情情報取得ステップは、前記第３画像から前記相手側ユーザの感情を分析することで、前記相手側ユーザの感情情報を取得してもよい。これにより、例えば、ユーザは、相手側ユーザの感情に応じて、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0025】

また、この第１の側面において、前記第３画像は、撮像装置によって撮像された画像であってもよい。これにより、例えば、正確な視線の検知や感情の分析が可能となる。

【0026】

本開示の第２の側面の表情加工装置は、ユーザから感情情報の入力を受け付ける感情入力部と、前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理部とを備える。これにより、例えば、ユーザは、自分の足りない感情表現スキルをこの装置により補うことができ、自分が意図しない内容で相手に伝わるのを防ぐことができる。

【0027】

本開示の第３の側面の表情加工方法は、ユーザから感情情報の入力を受け付ける感情入力ステップと、前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理ステップとを含む。これにより、例えば、ユーザは、自分の足りない感情表現スキルをこの方法により補うことができ、自分が意図しない内容で相手に伝わるのを防ぐことができる。

【図面の簡単な説明】

【0028】

【図1】第１実施形態における表情加工プログラムを用いて、オンライン会議を行う際のシステム構成図の例

【図2】第１実施形態における表情加工プログラムを用いて、ストリーミング配信を行う際のシステム構成図の例

【図3】第１実施形態における表情加工プログラムをインストールした情報処理装置のシステムブロック図

【図4】第１実施形態における表情加工プログラムのフローチャート

【図5】撮像装置２によって撮像したユーザの顔を含む画像を表示装置４’に表示した例

【図6】第１実施形態におけるユーザの表情を加工した画像を表示装置４’に表示した例

【図7】「無表情」のユーザに対応するアバターを表示装置４’に表示した例

【図8】第１実施形態におけるアバターを表示装置４’に表示した例

【図9】第２実施形態における表情加工プログラムをインストールした情報処理装置のシステムブロック図

【図10】第２実施形態における表情加工プログラムのフローチャート

【図11】第２実施形態におけるユーザの表情を加工した画像を表示装置４’に表示した例

【図12】第２実施形態におけるアバターを表示装置４’に表示した例

【図13】第３実施形態における表情加工プログラムをインストールした情報処理装置のシステムブロック図

【図14】第３実施形態における表情加工プログラムのフローチャート

【図15】第４実施形態における表情加工プログラムをインストールした情報処理装置のシステムブロック図

【図16】第４実施形態における表情加工プログラムのフローチャート

【図17】第５実施形態における情報処理装置１のハードウェア構成の一例

【発明を実施するための形態】

【0029】

以下、本開示の実施形態を、図面を参照して説明する。

【0030】

（第１実施形態）
図１は、第１実施形態における表情加工プログラムを用いて、オンライン会議を行う際のシステム構成図の例である。

【0031】

図１は、オンライン会議に参加するユーザが使用する情報処理装置１と、この情報処理装置１の撮像装置２とを示している。オンライン会議に参加するユーザは、例えば、表情加工プログラムを情報処理装置１にインストールして実行することができる。情報処理装置１の例は、ＰＣ（Personal Computer）などのコンピュータ装置である。撮像装置２の例は、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）用の画素を含むＲＧＢ撮像装置や、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）および赤外光（ＩＲ）用の画素を含むＲＧＢＩＲ撮像装置である。撮像装置２は、例えばカメラやイメージセンサである。撮像装置２は、情報処理装置１に接続された外付けの装置であってもよく、または情報処理装置１と一体となった内蔵の装置でもよい。

【0032】

図１はさらに、上記のオンライン会議に参加する相手側ユーザが使用する情報処理装置１’と、この情報処理装置１’の撮像装置２’とを示している。図１では、説明を分かりやすくするため、相手側ユーザの情報処理装置を「情報処理装置１’」と表記し、相手側ユーザの撮像装置を「撮像装置２’」と表記している。情報処理装置１’および撮像装置２’の詳細は、情報処理装置１および撮像装置２と同様である。なお、上記のオンライン会議は、３人以上のユーザが３台以上の情報処理装置を使用して行われてもよい。

【0033】

以下、図１に示す情報処理装置１および撮像装置２のさらなる詳細を説明するが、以下の説明は、情報処理装置１’および撮像装置２’にも適用可能である。

【0034】

表情加工プログラムは、画像中のユーザの顔の表情を加工するためのコンピュータプログラムである。表情加工プログラムは、撮像装置２からユーザの顔を含む画像を受け付け、かつ、ユーザからの入力による感情情報を受け付ける。また、表情加工プログラムは、感情情報に基づいて画像中におけるユーザの顔の表情を加工する。撮像装置２によって撮像された画像は、本開示の第１画像の例である。また、ユーザの顔の表情を加工して得られた画像は、本開示の第２画像の例である。表情の加工の詳細については後述する。また、表情加工プログラムは、オンライン会議を行うユーザ全員が使用する必要はなく、自分の表情を加工したいユーザのみが使用してもよい。例えば、表情加工プログラムは、情報処理装置１と情報処理装置１’の各々にインストールされていてもよいし、情報処理装置１のみにインストールされていてもよい。

【0035】

表情加工プログラムにより作成された画像は、例えば、オンライン会議用のプログラムにおいて、入力画像として使用することができる。オンライン会議用のプログラムは、撮像装置２によって撮像された画像を入力画像として受け付ける代わりに、表情加工プログラムにより生成した画像を入力画像として受け付けることができる。この場合、表情加工プログラムにより生成した画像を各ユーザに出力することで、オンライン会議における表情の加工を実現することができる。また、表情加工プログラムは、オンライン会議用のプログラムの機能の一部として実装されてもよい。例えば、オンライン会議用のプログラムにおいて、ユーザの顔の表情を加工して得られた画像を生成し、各ユーザに出力することが考えられる。

【0036】

このオンライン会議では、情報処理装置１は、顔の表情を加工した画像を、ネットワーク１００を介して情報処理装置１’に送信する。ネットワーク１００は、有線ネットワークおよび無線ネットワークのいずれで構成されていてもよく、表情加工プログラムを使用する目的に応じて、様々なネットワーク１００が構築される。

【0037】

図２は、第１実施形態における表情加工プログラムを用いて、ストリーミング配信を行う際のシステム構成図の例である。図２のシステムについては、図１のシステムとの相違点を中心に説明する。

【0038】

配信者であるユーザは、例えば、表情加工プログラムを情報処理装置１にインストールして実行することができる。図１は、配信者が使用する１台の情報処理装置１と、この情報処理装置１の撮像装置２とを示している。このストリーミング配信では、配信者は顔の表情を加工した画像を、ネットワーク１００を介してストリーミング配信サーバ３００に送信する。ストリーミング配信サーバ３００は、複数の情報処理装置１’を含む情報処理装置群５００にこの画像をストリーミング配信することができる。情報処理装置群５００の各情報処理装置１’は、視聴者であるユーザにより使用される。

【0039】

表情加工プログラムにより作成された画像は、例えば、ストリーミング配信用のプログラムにおいて、入力画像として使用することができる。表情加工プログラムとストリーミング配信用のプログラムとの関係は、上述の表情加工プログラムとオンライン会議用のプログラムとの関係と同様である。

【0040】

第１実施形態におけるシステム構成は、図１または図２に記載した構成に限定されず、表情加工プログラムを使用する目的に応じて様々なシステム構成とすることができる。例えば、通信は１対１に限られず、１対Ｎ（Ｎは１以上の整数）の情報処理装置１で行うことができる。以下、説明を分かりやすくするため、１対１で通信を行う場合の例について説明するが、以下の説明は、１対Ｎで通信を行う場合にも適用可能である。

【0041】

図３は、第１実施形態における表情加工プログラムをインストールした情報処理装置１のシステムブロック図である。

【0042】

図３は、オンライン会議に参加するユーザが使用する情報処理装置１と、この情報処理装置１の撮像装置２、入力装置３、および表示装置４とを示している。図３はさらに、このオンライン会議に参加する相手側ユーザが使用する情報処理装置１’と、この情報処理装置１’の撮像装置２’、入力装置３’、および表示装置４’とを示している。図３では、説明を分かりやすくするため、相手側ユーザの情報処理装置、撮像装置、入力装置、表示装置をそれぞれ「情報処理装置１’」「撮像装置２’」「入力装置３’」「表示装置４’」と表記している。

【0043】

本実施形態では、情報処理装置１内の画像処理部８は、撮像装置２により撮像されたユーザの顔を含む画像を、ユーザにより入力装置３および感情入力部５を介して入力された感情情報に基づいて加工する。画像処理部８はユーザの顔の表情を加工して得られた画像を、表示装置４や表示装置４’に出力することができる。また、画像処理部８は、アバター生成器１１により、この画像からアバターを生成し、表示装置４や表示装置４’に出力することもできる。アバターとは、ネットワーク上の仮想空間でユーザの分身として表示するキャラクターのことである。また、これらの各機能は、表情加工プログラムによって実現することができる。以下、各機能ブロックについて説明する。

【0044】

入力装置３は、例えばマウスである。入力装置３は、マウスのほか、キーボードやマイクなども含む。また、入力装置３は、情報処理装置１に接続された外付けの装置であってもよく、または情報処理装置１と一体となった内蔵の装置でもよい。

【0045】

表示装置４は、例えばディスプレイである。ユーザは、表情加工プログラムにより生成したユーザの顔の表情を加工した画像、またはアバターを表示装置４または４’に出力して表示することができる。例えば、オンライン会議やストリーミング配信を介して、ユーザは、この画像やアバターを表示装置４または４’に出力して表示することが考えられる。表示装置４は、情報処理装置１に接続された外付けの装置であってもよく、または情報処理装置１と一体となった内蔵の装置でもよい。

【0046】

感情入力部５は、例えばプルダウンメニューで表されるユーザインタフェース（不図示）を提供する。感情入力部５は、ユーザから、例えば入力装置３を用いて感情情報の入力を受け付ける。感情情報は例えば、「うれしい」や「悲しい」といった感情に関する情報であり、複数のカテゴリから選択することができる。また、感情入力部５への入力は、プルダウンメニューによる選択に限定されず、マウスによるアイコンの選択、キーボードによる文字入力、マイクによる音声の入力など、様々な入力方法を採用することができる。

【0047】

記憶部６は、感情情報の手本となる人間の顔の表情を含む画像を教師画像７として記憶する。記憶部６は、例えばハードディスクなどの補助記憶装置上に構築される。記憶部６は、情報処理装置１の内部の装置だけでなく、外付けのハードディスクやクラウドサーバといった、外部の装置上に構築されていてもよい。教師画像７は、撮像装置２やデジタルカメラによって撮像された人間の顔の表情を含む画像の他、人間の顔の表情を含むイラストデータまたは３Ｄデータなど様々なデータを採用することができる。

【0048】

画像処理部８は、ＡＩ（Artificial Intelligence）９と、加工器１０と、アバター生成器１１とを備える。画像処理部８は、ユーザの顔を含む画像と、感情情報とを入力として受け付け、感情情報に基づいて、この画像から、ユーザの顔の表情を加工した画像を生成する。加工した画像は、表示装置４または４’に出力することができる。また、ユーザの顔の表情を加工した画像から、アバターを生成することができ、表示装置４または４’に出力することができる。

【0049】

ＡＩ９は、ユーザの顔を含む画像と、感情情報とを入力として受け付ける。また、ＡＩ９は、これらの入力に基づいて、感情表現に足りない顔の動きを分析した結果を出力する。ＡＩ９は、例えば、畳み込みニュ―ラルネットワーク（ＣＮＮ）といったアルゴリズムを利用して、ユーザの顔を含む画像と、感情情報と、感情表現に足りない顔の動きとの関係について、教師画像７を用いて学習することが考えられる。ＡＩ９の処理の一例として、ＡＩ９は、受け付けた画像に対して畳み込み演算を実施することにより、画像に含まれるユーザの顔の特徴を抽出する。ＡＩ９は、抽出した特徴に基づいて、ユーザの顔の表情および目線を検知し、感情を分析する。ここで分析される感情は、何らかの形で数値化したものでもよく、または、「無表情」といった定性的に表現したものでもよい。ＡＩ９は、感情情報と、感情を分析した画像と、教師画像７を比較し、感情表現に足りない顔の動きを分析する。例えば、ＡＩ９は、口元の表情について、感情を分析した画像と、感情情報と対応する教師画像７とを比較して、それぞれの特徴を比較することで、感情表現に足りない顔の動きを数値化してもよい。また、ＡＩ９は、感情表現に足りない顔の動きを確認するために、教師画像７を複数用いて比較してもよい。

【0050】

ＡＩ９は、感情の分析のために、顔の向きや手振り身振りを検知することを含めてもよい。また、ＡＩ９は、受け付けた画像から目線を分析することを含めてもよい。目線を分析する場合、ＡＩ９は、受け付けた画像から、顔と目線の向きを確認する。

【0051】

加工器１０は、感情を分析した画像と、感情情報と、比較の結果とに基づいて、感情表現が正確に伝わるように、ユーザの顔における表情を加工する。例えば、ユーザが感情情報として、「楽しい」と入力した場合、加工器１０は、「楽しい」という感情表現が正確に伝わるように、表情を加工する。これにより、「楽しい」という感情表現が補完されるように、表情を加工することが可能となる。また、表情の加工は既存のアルゴリズムなどを利用することができる。また、加工器１０は、ＡＩ９が確認した顔と目線の向きに基づいて、目線を加工することを含めてもよい。例えば、加工器１０は、目線が正面を向くように合成することや、適切な頻度または時間で相手側ユーザと目線を合わせるように加工することが考えられる。適切な頻度または時間とは、例えば、目が合う長さを２～３秒に設定する、１分間あたりの目線の合う長さは２０～３０秒以内にする、または話し出すタイミングと話し終わるタイミングでアイコンタクトを取るなどの加工が考えられる。

【0052】

アバター生成器１１は、加工器１０により表情を加工した画像から、ユーザのアバターを生成する。アバターの生成には、既存のアルゴリズムなどを利用することができる。アバターの表情は、ユーザの顔を加工した画像と対応する表情となるように生成される。生成するアバターは、２次元または３次元キャラクターいずれであってもよい。また、アバターを生成するかどうかは、ユーザが選択することができる。例えば、ボタンアイコンで表されるユーザインタフェース（不図示）によって、ユーザが表情を加工した画像またはアバターのいずれを出力するか切換えできるようにすることが考えられる。

【0053】

図４は、第１実施形態における表情加工プログラムのフローチャートを示す。ここでは、ユーザの顔を含む画像および感情情報に基づいて、アバターを表示装置４’に出力するフローを説明する。

【0054】

ステップＳ１１では、ユーザが、感情入力部５に入力装置３を用いて感情情報を入力する。

【0055】

ステップＳ１２では、画像処理部８におけるＡＩ９が、撮像装置２からユーザの顔を含む画像を受け付ける。ステップＳ１３では、ＡＩ９が、ステップＳ１２で受け付けた画像から、顔の表情および目線を検知する。ステップＳ１４では、ＡＩ９が、顔の表情および目線を検知した画像から、感情を分析する。

【0056】

ステップＳ１５では、ＡＩ９が、感情を分析した画像と、感情情報と、記憶部６に記憶される教師画像７とを比較し、感情表現に足りない顔の動きを分析する。ステップＳ１６では、加工器１０が、比較の結果から感情情報に対応するようにユーザの顔を含む画像を加工する。ステップＳ１７では、アバター生成器１１が、表情を加工した画像に基づいてユーザのアバターを生成する。ステップＳ１８では、アバター生成器１１が、生成したアバターの画像を表示装置４’に出力する。

【0057】

このフローチャートでは、ステップＳ１２からＳ１４までのフローは、ステップＳ１１のフローの後に行われる記載となっているが、ステップＳ１１のフローの前に行われてもよい。つまり、感情情報の入力の後に感情の分析を行う方法としてもよく、また感情の分析を先に完了させた後、ユーザから感情情報の入力を受け付ける方法としてもよい。

【0058】

次に、図５～図８を参照して、ユーザが、感情入力部５に「楽しい」という感情情報を入力した場合における入出力画像の例を説明する。

【0059】

図５は、撮像装置２によって撮像したユーザの顔を含む画像を表示装置４’に表示した例である。また、図６は、第１実施形態におけるユーザの表情を加工した画像を表示装置４’に表示した例である。図５の画像は、「無表情」であるユーザ２０の例を表している。この例では、ＡＩ９は、図５のユーザの顔を含む画像から、顔の表情および目線を検知し、ユーザの感情について、「無表情」であると分析する。またＡＩ９は、「無表情」と分析された画像と、「楽しい」という感情情報と、手本となる教師画像とを比較し、感情表現に足りない顔の動きを分析する。図５では、感情表現に足りない顔の動きは、口元であると確認され、加工器１０は、図６で示すとおり、口元について、「楽しい」という感情表現になるようにユーザの顔の表情を加工する。加工器１０は、表示装置４’に「無表情」であるユーザ２０を表示する代わりに、「楽しい」という感情情報に対応するユーザ２１を含む画像を出力する。

【0060】

次にアバター生成器１１が、表情を加工したアバターを出力する例を示す。図７は、「無表情」のユーザに対応するアバターを表示装置４’に表示した例である。表情加工プログラムによるユーザの表情の加工を行わずに、「無表情」であるユーザ２０に対してアバターを生成すると、図７のように表される。図７では、「無表情」であるユーザ２０に対応する表情として、「無表情」という顔の表情に対応するアバター２２が出力される。一方で、図８は、第１実施形態におけるアバターを表示装置４’に表示した例である。アバター生成器１１は、図６のように、「楽しい」という感情情報に対応するユーザ２１を含む画像の入力を受け付ける。アバター生成器１１は、図８に示すように「楽しい」という顔の表情に対応するアバター２３を生成する。そして、アバター生成器１１は、表示装置４’に、生成したアバターを含む画像を出力する。この例では、犬の２次元キャラクターをアバターとして生成する例を示すが、２次元キャラクターに限定されず、３次元キャラクターなど、様々なアバターを生成することができる。

【0061】

なお、表情加工プログラムは、情報処理装置１にインストールして実行する代わりに、外部のサーバ（不図示）によって実行してもよい。例えば、外部のサーバは、ブラウザを介して入力装置３および撮像装置２の入力を受け付けた後、ユーザの表情を加工した画像やアバターを生成し、ユーザの表示装置４’に表示してもよい。

【0062】

本実施形態によれば、例えば、ユーザは、自分の足りない感情表現スキルを表情加工プログラムにより補うことができ、自分が意図しない内容で相手に伝わるのを防ぐことができる。また、本実施形態によれば、画面越しでも豊かな表情を感じられるため、ユーザは、オンライン会議などにおいて、相手側ユーザに対してスムーズに発言の交代を促し、コミュニケーションを円滑に進めることができる。

【0063】

また、表情が豊かに表現されたアバターを通じてコミュニケーションをとることで、ユーザは、オンライン会議において、齟齬なく意思の疎通を図ることができる。また、ユーザは、感情が伝わるアバターを通じて、相手側ユーザに話しかけることで、相手側ユーザが自分のことを知らない場合でも、親近感を持ってもらうことができる。

【0064】

また、本実施形態によれば、ストリーミング配信において、配信者であるユーザは、感情をより鮮明に視聴者に届けることができる。

【0065】

また、ＡＩ９を用いることで、ユーザの顔を含む画像と、教師画像７とを比較し、ユーザが感情表現に足りない顔の動きを分析することができる。この比較結果から、加工器１０により表情を含む画像を加工することで、ユーザは、正しく感情を伝えることができる。

【0066】

また、ＲＧＢ撮像装置を用いることで、白黒撮像装置とは異なり、正確な視線の検知や感情の分析が可能となる。ＲＧＢＩＲ撮像装置を用いることで、ＲＧＢ情報に加えて、深度情報が得られるため、表情の細かな変化を捉えることができる。また、被写体の色合いや照度にかかわらず、視線を検知や感情を分析することが可能となる。また、近赤外画像では、瞳孔を追跡することができるため、安定した目線の検出が可能となる。

【0067】

（第２実施形態）
図９は、第２実施形態における表情加工プログラムをインストールした情報処理装置１のシステムブロック図である。

【0068】

第２実施形態では、情報処理装置１は、第１実施形態における構成に加え、場面入力部１２を備える。場面入力部１２は、例えばプルダウンメニューで表されるユーザインタフェース（不図示）を提供する。場面入力部１２は、ユーザから、例えば入力装置３を用いて場面情報の入力を受け付ける。場面情報は例えば、「ディスカッション」、「プレゼンテーション」または「チャット」といった、場面の雰囲気を表す情報であり、複数のカテゴリから選択することができる。また、場面入力部１２は、プルダウンメニューによる選択に限定されず、マウスによるアイコンの選択、キーボードによる文字入力、マイクによる音声の入力またはセンサーによる入力など、様々な入力方法を採用することができる。このように、場面入力部１２への入力は、マウス以外の入力装置３（例えば、キーボードやマイク）を用いて行われてもよい。

【0069】

本実施形態における画像処理部８は、ユーザの顔を含む画像と、ユーザからの感情情報と、場面情報とを受け付け、感情情報と、場面情報とに基づいて、この画像から、ユーザの顔の表情を加工した画像を生成する。

【0070】

図１０は、第２実施形態における表情加工プログラムのフローチャートを示す。ここでは、ユーザの顔を含む画像と、感情情報と、場面情報とに基づいて、ユーザの顔の表情を加工した画像を生成し、アバターとして表示装置４’に出力するフローを説明する。また、ステップＳ２１およびＳ２３～２５については、説明を省略する。

【0071】

ステップＳ２２では、ユーザが場面入力部１２に入力装置３を用いて場面情報を入力する。ステップＳ２６では、ＡＩ９が、感情を分析した画像と、感情情報と、場面情報と、記憶部６に記憶される教師画像７を比較し、感情表現に足りない顔の動きを分析する。ステップＳ２７では、加工器１０が、比較の結果から感情情報に対応するようにユーザの顔を含む画像を加工する。ステップＳ２８では、アバター生成器１１が表情を加工した画像に基づいてユーザのアバターを生成する。アバターの表情は、ユーザの顔を加工した画像と対応する表情となるように生成される。ステップＳ２９では、アバター生成器１１が、生成したアバターの画像を表示装置４’に出力する。

【0072】

このフローチャートでは、ステップＳ２３からＳ２５までのフローは、ステップＳ２１およびＳ２２のフローの後に行われる記載となっているが、ステップＳ２１およびＳ２２のフローの前に行われてもよい。つまり、感情情報および場面情報の入力の後に感情の分析を行う方法としてもよく、また感情の分析を先に完了させた後、ユーザから感情情報および場面情報の入力を受け付ける方法としてもよい。

【0073】

次に、ユーザが、感情入力部５に「楽しい」という感情情報を入力し、場面入力部１２に、「チャット」という場面情報を入力した場合における出力画像の例を説明する。ユーザの顔を含む画像ついては、実施形態１と同様に図５を用いて説明する。図１１は第２実施形態におけるユーザの表情を加工した画像を表示装置４’に表示した例である。この例では、場面情報である「チャット」という砕けたコミュニケーションであることを考慮して、楽しいという感情表現について、さらに強調を加えている。第１実施形態とは異なり、ＡＩ９によって、感情表現に足りない顔の動きは、口元に加え、目元であると分析される。加工器１０は、図１１で示すとおり、口元および目元について、「楽しい」という感情表現になるように加工する。表示装置４’には、「無表情」であるユーザ２０を表示する代わりに、「楽しい」表情が強調されたユーザ２４を含む画像を出力する。

【0074】

アバターとして出力する場合、アバター生成器１１は、ユーザの表情を加工した画像からアバターを生成し、表示装置４’に出力することができる。図１２は、第２実施形態におけるアバターを表示装置４’に表示した例である。図１１におけるユーザの顔の表情と対応するように「楽しい」表情が強調されたアバター２５を含む画像が出力される。

【0075】

本実施形態によれば、情報処理装置１は、ユーザによる感情情報だけではなく、場面情報を考慮することにより、場面の雰囲気に合わせてユーザの顔の表情を加工した画像を出力することができる。そのため、ユーザは、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0076】

（第３実施形態）
図１３は、第３実施形態における表情加工プログラムをインストールした情報処理装置１のシステムブロック図である。

【0077】

第３実施形態では、情報処理装置１は、第１実施形態における構成に加え、フィードバック入力部１３を備える。フィードバック入力部１３は、例えばプルダウンメニューで表されるユーザインタフェース（不図示）を提供する。フィードバック入力部１３は、加工器１０が生成したユーザの顔の表情を加工して得られた画像、またはアバター生成器１１が生成したアバターの表現が最適かどうかについて、ユーザからフィードバックの入力を受け付ける。フィードバックは例えば、「良」または「否」といった、ユーザの顔の表情を加工して得られた画像に関する良否を表す情報であり、ユーザは、フィードバックについて、複数のカテゴリから選択することができる。また、フィードバック入力部１３は、プルダウンメニューによる選択に限定されず、マウスによるアイコンの選択、キーボードによる文字入力またはマイクによる音声の入力など、様々な入力方法を採用することができる。このように、フィードバック入力部１３への入力は、マウス以外の入力装置（例えば、キーボードやマイク）を用いて行われてもよい。

【0078】

本実施形態では、加工器１０が生成したユーザの顔の表情を加工して得られた画像またはアバター生成器１１が生成したアバターの表現が最適かどうかについて、ユーザがフィードバックを与える。これにより、画像処理部８が、ユーザの表情の加工の再生成またはアバターの再生成を行うことができる。また、ＡＩ９がフィードバックに基づいて追加学習を行うことができる。

【0079】

図１４は、第３実施形態における表情加工プログラムのフローチャートを示す。このフローチャートでは、アバター生成器１１が生成したアバターに対して、フィードバックを与える例を示す。

【0080】

Ｓ３１からＳ３８においては、図４と同様なフローにより、アバター出力を実施する。ステップＳ３９において、ユーザは、表示装置４’に表示されたアバターの表現が最適かどうかについて、フィードバック入力部１３にフィードバックを入力する。

【0081】

ステップＳ３９において、ユーザが、アバターの表現が最適でないというフィードバックを入力した場合、再度ステップＳ３６からＳ３８のフローを繰り返し、アバターの再生成および再出力を行う。ここで、ステップＳ３６において、加工器１０が、表情の加工を行う際は、別の教師画像７を参照して表情の加工などを行うことが考えられる。

【0082】

また、ステップＳ３９において、ユーザが、アバターの表現が最適であるというフィードバックを入力した場合、ステップＳ４０において、ステップＳ３８で作成されたアバターの出力を継続する。ステップＳ４１において、ＡＩ９が、ステップＳ３９でユーザから得られたフィードバックに基づいて追加学習を行う。ＡＩ９が、フィードバックに基づいた追加学習を行うことで、表情の加工の精度を向上させることができる。

【0083】

また、本フローチャートでは、ユーザは、アバターの表現が最適かどうかについて、フィードバックを入力する例を説明したが、アバターを出力しない場合は、ユーザの顔の表情を加工して得られた画像についてフィードバックを入力する。

【0084】

また、アバターやユーザの顔の表情を加工して得られた画像は表示装置４’に出力する前に、ユーザが表情を確認するため、表示装置４に出力することとしてもよい。この場合、表示装置４に出力されたアバターなどに基づいてフィードバックを入力する。

【0085】

本実施形態によれば、情報処理装置１は、ユーザによる感情情報に加え、フィードバックの入力を受け付ける。アバターやユーザの顔の表情を加工して得られた画像について、最適な表現となるように再度加工を行うことで、ユーザは、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0086】

（第４実施形態）
図１５は、第４実施形態における表情加工プログラムをインストールした情報処理装置１のシステムブロック図である。

【0087】

第４実施形態では、情報処理装置１は、第１実施形態における構成に加え、感情情報取得部１４を備える。感情情報取得部１４は、オンライン会議などにおける相手側ユーザの顔を含む画像に基づいて、相手側ユーザの感情情報を取得する。相手側ユーザの顔を含む画像は、本開示の第３画像の例である。以下、説明を分かりやすくするため、表情の加工を行うユーザを「ユーザＡ」とし、相手側ユーザを「ユーザＢ」として説明する。ユーザＢの顔を含む画像は、例えば、撮像装置２’によって撮像された画像を、情報処理装置１がオンライン会議などで受信した後、情報処理装置１の感情情報取得部１４で受け付けることが考えられる。

【0088】

本実施形態における情報処理装置１の画像処理部８は、撮像装置２により撮像されたユーザＡの顔を含む画像と、ユーザＡの感情情報と、ユーザＢの感情情報とを受け付け、ユーザＡの顔の表情を加工した画像を生成する。

【0089】

図１６は、第４実施形態における表情加工プログラムのフローチャートを示す。ここでは、ユーザＡの顔を含む画像と、ユーザＡの感情情報と、ユーザＢの感情情報とに基づいて、ユーザＡのアバターをユーザＢの表示装置４’に出力するフローを説明する。また、ステップＳ５１およびＳ５５～Ｓ５７については説明を省略する。

【0090】

ステップＳ５２では、情報処理装置１の感情情報取得部１４は、ユーザＢの画像を受け付ける。ステップＳ５３では、この感情情報取得部１４が、受け付けた画像から、ユーザＢの顔の表情および目線を検知する。ステップＳ５４では、この感情情報取得部１４が、表情および目線を検知した結果から、ユーザＢの感情を分析する。この感情情報取得部１４は、例えば、ＡＩ９と同様な手法により感情を分析することが考えられる。この感情情報取得部１４は、畳み込みニューラルネットワークを利用し、受け付けた画像に対して畳み込み演算を実施することにより、画像における特徴を抽出する。この感情情報取得部１４は、抽出した特徴に基づいて、ユーザＢの顔の表情および目線を検知し、感情を分析する。ここで分析されるユーザＢの感情は、感情を何らかの形で数値化したものでもよく、または、「無表情」といった定性的に表現したものでもよい。このように、ステップＳ５２～Ｓ５４を通じて、この感情情報取得部１４は、ユーザＢの感情情報を取得する。

【0091】

ステップＳ５８では、情報処理装置１のＡＩ９が、ユーザＡの感情を分析した画像と、ユーザＡの感情情報と、ユーザＢの感情情報と、情報処理装置１の記憶部６に保存される教師画像７を比較し、ユーザＡの感情表現に足りない顔の動きを分析する。ステップＳ５９では、情報処理装置１の加工器１０が、比較の結果から、感情情報に対応するようにユーザＡの顔を含む画像を加工する。ステップＳ６０では、情報処理装置１のアバター生成器１１が表情を加工した画像に基づいてユーザＡのアバターを生成する。アバターの表情は、ユーザＡの顔を加工した画像と対応する表情となるように生成される。ステップＳ６１では、生成したアバターの画像を表示装置４’に出力する。

【0092】

本実施形態によれば、情報処理装置１は、ユーザＡによる感情情報に加え、ユーザＢの感情情報も反映してユーザの表情の加工を行う。そのため、ユーザＡは、ユーザＢの感情に応じて、自分が表現したい感情をより正確に、かつ相手に伝わるように表現することができ、コミュニケーションをより向上させることができる。

【0093】

その他、表情加工プログラムの応用例として、以下の内容が考えられる。例えば、表情加工プログラムをコールセンターのクレーム対応に応用することが考えられる。オペレータは、アバターを通じて感情を伝えることで、顧客から必要以上に攻撃的な発言を防ぐことができる。

【0094】

別の例として、表情加工プログラムを無人店舗の防犯として応用することが考えられる。人間に近い表情を持つアバターが店舗を見守ることで、万引きや異常行動の抑制につなげることができる。

【0095】

別の例として、表情加工プログラムを無人店舗におけるデジタルサイネージを活用したリモート対応に応用することが考えられる。アバターを通じて店員の表情を豊かに表現し、リモートからデジタルサイネージに映し出すことで、アバターが対面と同等の接客を行うことができる。

【0096】

（第５実施形態）
図１７に、第５実施形態における情報処理装置１のハードウェア構成の一例を示す。第５実施形態の情報処理装置１は、第１実施形態の情報処理装置１の一例に相当する。

【0097】

本実施形態に係る情報処理装置１は、コンピュータ装置２００により構成される。コンピュータ装置２００は、ＣＰＵ（Central Processing Unit）２０１、主記憶装置２０２、補助記憶装置２０３、通信インタフェース２０４および入出力インタフェース２０５を備え、これらはバス２０６により相互に接続されている。

【0098】

ＣＰＵ２０１は、主記憶装置２０２上で、情報処理装置１の上述の各機能構成を実現するコンピュータプログラムを実行する。ＣＰＵ２０１が、コンピュータプログラムを実行することにより、図３の感情入力部５および画像処理部８の機能が実現される。このコンピュータプログラムは、例えば表情加工プログラム、オンライン会議用のプログラムまたはストリーミング配信用のプログラムである。

【0099】

主記憶装置２０２は、本実施形態の処理を実現するプログラム、およびプログラムの実行に必要なデータ、およびプログラムの実行により生成されたデータなどを記憶する。プログラムは、主記憶装置２０２上で展開され、実行される。主記憶装置２０２は、例えば、ＲＡＭ（Random Access Memory）であるが、これに限られない。

【0100】

補助記憶装置２０３は、上記プログラムおよびプログラムの実行に必要なデータ、およびプログラムの実行により生成されたデータなどを記憶する。これらのプログラムやデータは、本実施形態の処理の際に主記憶装置２０２に読み出される。補助記憶装置２０３は、例えば、ハードディスク、光ディスク、フラッシュメモリ、および磁気テープであるが、これに限られない。図３の記憶部６は、補助記憶装置２０３上に構築されてもよい。

【0101】

通信インタフェース２０４は、オンライン会議などにおいて、外部コンピュータ装置と、有線または無線で通信を行うための回路である。

【0102】

入出力インタフェース２０５は、撮像装置２、入力装置３の例であるマウスのほか、キーボードおよびマイクなどの入力装置などの入力装置や、表示装置４などの出力装置と接続するための回路である。

【0103】

バス２０６は、ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、通信インタフェース２０４および入出力インタフェース２０５を相互に接続するための回路である。

【0104】

なお、上述のプログラムは、コンピュータ装置２００に予めインストールされていてもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶されていてもよい。また、当該プログラムは、インターネット上にアップロードされていてもよい。

【0105】

なお、コンピュータ装置２００は、ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、通信インタフェース２０４および入出力インタフェース２０５をそれぞれ１つまたは複数備えてもよい。

【0106】

また、情報処理装置１は、単一のコンピュータ装置２００により構成されてもよいし、相互に接続された複数のコンピュータ装置２００からなるシステムとして構成されてもよい。

【0107】

本構成によれば、第１実施形態における表情加工プログラムの機能をソフトウェアにより実現することが可能となる。また、図１６では、図３における情報処理装置１のハードウェア構成の一例を示したが、その他の実施形態においても同様の構成により、表情加工プログラムの機能をソフトウェアにより実現することが可能である。

【0108】

以上、本開示の実施形態について説明したが、これらの実施形態は、本開示の要旨を逸脱しない範囲内で、種々の変更を加えて実施してもよい。例えば、２つ以上の実施形態を組み合わせて実施してもよい。

【0109】

なお、本開示は、以下のような構成を取ることもできる。

【0110】

（１）
ユーザから感情情報の入力を受け付ける感情入力ステップと、
前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理ステップと、
を含む表情加工方法をコンピュータに実行させる表情加工プログラム。

【0111】

（２）
前記第２画像に基づいて、ネットワーク上の仮想空間で前記ユーザの分身として表示するキャラクターであるアバターを生成するアバター生成ステップをさらに備える、（１）に記載の表情加工プログラム。

【0112】

（３）
前記アバターの表情は、前記第２画像における前記ユーザの顔の表情と対応するように生成される、（２）に記載の表情加工プログラム。

【0113】

（４）
前記画像処理ステップは、前記第１画像中の前記ユーザの顔の表情を、前記感情情報に対応する表情に加工する、（１）に記載の表情加工プログラム。

【0114】

（５）
前記画像処理ステップは、人間の顔の表情を含む教師画像を取得して、前記第１画像と前記教師画像とを比較することで、前記第１画像中の前記ユーザの顔の表情を加工する、（１）に記載の表情加工プログラム。

【0115】

（６）
前記画像処理ステップは、前記第１画像から前記ユーザの感情を分析し、前記分析の結果と、前記感情情報と、前記比較の結果とに基づいて、前記第１画像中の前記ユーザの顔の表情を加工する、（５）に記載の表情加工プログラム。

【0116】

（７）
前記第１画像は、撮像装置によって撮像された画像である、（１）に記載の表情加工プログラム。

【0117】

（８）
前記撮像装置は、ＲＧＢ撮像装置またはＲＧＢＩＲ撮像装置である、（７）に記載の表情加工プログラム。

【0118】

（９）
前記ユーザから場面情報の入力を受け付ける場面入力ステップをさらに備え、
前記画像処理ステップは、前記第１画像と、前記感情情報と、前記場面情報とを受け付け、前記感情情報と、前記場面情報とに基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から前記第２画像を生成する、（１）に記載の表情加工プログラム。

【0119】

（１０）
前記ユーザから前記第２画像に関するフィードバックの入力を受け付けるフィードバック入力ステップをさらに備え、
前記フィードバックに基づいて前記画像処理ステップが学習を行う、（１）に記載の表情加工プログラム。

【0120】

（１１）
前記第２画像は、オンライン会議における出力画像として出力される、（１）に記載の表情加工プログラム。

【0121】

（１２）
前記第２画像は、前記ユーザの表示装置または相手側ユーザの表示装置に出力される、（１）に記載の表情加工プログラム。

【0122】

（１３）
前記アバターは、オンライン会議における出力画像として出力される、（２）に記載の表情加工プログラム。

【0123】

（１４）
前記アバターは、前記ユーザの表示装置または相手側ユーザの表示装置に出力される、（２）に記載の表情加工プログラム。

【0124】

（１５）
相手側ユーザの感情情報を取得する感情情報取得ステップをさらに備え、
前記画像処理ステップは、前記第１画像と、前記感情情報と、前記相手側ユーザの感情情報とを受け付け、前記感情情報と、前記相手側ユーザの感情情報とに基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から前記第２画像を生成する、（１）に記載の表情加工プログラム。

【0125】

（１６）
前記感情情報取得ステップは、前記相手側ユーザの顔を含む第３画像を前記相手側ユーザから受信し、前記第３画像に基づいて前記相手側ユーザの感情情報を取得する、（１５）に記載の表情加工プログラム。

【0126】

（１７）
前記感情情報取得ステップは、前記第３画像から前記相手側ユーザの感情を分析することで、前記相手側ユーザの感情情報を取得する、（１６）に記載の表情加工プログラム。

【0127】

（１８）
前記第３画像は、撮像装置によって撮像された画像である、（１６）に記載の表情加工プログラム。

【0128】

（１９）
ユーザから感情情報の入力を受け付ける感情入力部と、
前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理部と、
を備える表情加工装置。

【0129】

（２０）
ユーザから感情情報の入力を受け付ける感情入力ステップと、
前記ユーザの顔を含む第１画像と、前記感情情報とを受け付け、前記感情情報に基づいて前記第１画像中の前記ユーザの顔の表情を加工することで、前記第１画像から第２画像を生成する画像処理ステップと、
を含む表情加工方法。

【符号の説明】

【0130】

１：情報処理装置、２：撮像装置、３：入力装置、４、表示装置、５：感情入力部、
１’：相手側ユーザの情報処理装置、２’：相手側ユーザの撮像装置、
３’：相手側ユーザの入力装置、４’、相手側ユーザの表示装置、
６：記憶部、７：教師画像、８：画像処理部、９：ＡＩ、１０：加工器、
１１：アバター生成器、１２：場面入力部、１３：フィードバック入力部、
１４：感情情報取得部、２０：「無表情」であるユーザ、
２１：「楽しい」という感情情報に対応するユーザ、
２２：「無表情」という顔の表情に対応するアバター、
２３：「楽しい」という顔の表情に対応するアバター、
２４：「楽しい」表情が強調されたユーザ、
２５：「楽しい」表情が強調されたアバター、１００：ネットワーク、
２００：コンピュータ装置、２０１：ＣＰＵ、２０２：主記憶装置、
２０３：補助記憶装置、２０４：通信インタフェース、
２０５：入出力インタフェース、２０６：バス、
３００：ストリーミング配信サーバ、５００：情報処理装置群

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】