特許 7563597 感情誘導装置、感情誘導方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】感情誘導装置、感情誘導方法、及びプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20241001BHJP

【ＦＩ】

H04N7/15 170

【請求項の数】 5

(21)【出願番号】P 2023531266

(86)(22)【出願日】2021-06-30

(86)【国際出願番号】 JP2021024867

(87)【国際公開番号】W WO2023276081

(87)【国際公開日】2023-01-05

【審査請求日】2023-09-19

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】笹川 真奈

(72)【発明者】

【氏名】瀬古 俊一

【審査官】富樫 明

(56)【参考文献】

【文献】特開２００５－２５７４７０（ＪＰ，Ａ）

【文献】特開２００５－２５８８２０（ＪＰ，Ａ）

【文献】特開２００５－２２２３３１（ＪＰ，Ａ）

【文献】特開２０２０－１３５７８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１５

(57)【特許請求の範囲】

【請求項1】

ヒトに対して擬人化エージェントを表示する感情誘導装置であって、
前記ヒトの感情を推定する感情推定部と、
前記ヒトの感情と、前記ヒトの感情を誘導したい目的の感情である誘導目的感情との間の感情である特定感情を計算する感情計算部と、
前記特定感情を示す表情を持つ擬人化エージェントの数を算出する擬人化エージェント数算出部と、
前記擬人化エージェント数算出部で算出された数だけ、前記特定感情を示す表情を持つ擬人化エージェントを前記ヒトに対して表示する映像制御部と
を備える感情誘導装置。

【請求項2】

前記ヒトの感情と前記誘導目的感情との間の遠さを判定する判定部を更に備え、
前記擬人化エージェント数算出部は、前記ヒトの感情と前記誘導目的感情との間が遠い場合における前記特定感情を示す表情を持つ擬人化エージェントの数が、前記ヒトの感情と前記誘導目的感情との間が近い場合における前記特定感情を示す表情を持つ擬人化エージェントの数よりも大きくなるように算出を行う
請求項１に記載の感情誘導装置。

【請求項3】

前記感情計算部は、前記ヒトの感情を示す感情ベクトルと、前記誘導目的感情を示す感情ベクトルとの中間ベクトルを計算することにより前記特定感情を計算する
請求項１又は２に記載の感情誘導装置。

【請求項4】

ヒトに対して擬人化エージェントを表示する感情誘導装置が実行する感情誘導方法であて、
前記ヒトの感情を推定する感情推定ステップと、
前記ヒトの感情と、前記ヒトの感情を誘導したい目的の感情である誘導目的感情との間の感情である特定感情を計算する感情計算ステップと、
前記特定感情を示す表情を持つ擬人化エージェントの数を算出する擬人化エージェント数算出ステップと、
前記擬人化エージェント数算出ステップで算出された数だけ、前記特定感情を示す表情を持つ擬人化エージェントを前記ヒトに対して表示するステップと
を備える感情誘導方法。

【請求項5】

コンピュータを、請求項１ないし３のうちいずれか１項に記載の感情誘導装置における各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、擬人化エージェントを表示することによりヒトの感情を別の感情に誘導する技術に関するものである。

【背景技術】

【0002】

ビデオチャット等においてアバタを用いて同席する人数を調整することで場を望む方向へと誘導する試みがなされている（非特許文献１）。また、例えば、ビデオ会議において擬人化エージェントを同席させることで、擬似的な集団圧力を生じさせて場の雰囲気を変える技術がある（非特許文献２）。このように場の雰囲気を変えることができる理由は、擬人化エージェントの表現する感情に、同席しているヒトの感情が誘導されるからであると考えられる。

【先行技術文献】

【非特許文献】

【0003】

【文献】Seta, K., Yokoyama, M., Yoshida, S., Narumi, T., Tanikawa, T., & Hirose, M. (2018, December). Divided Presence: Improving Group Decision-Making via Pseudo-Population Increase. In Proceedings of the 6th International Conference on Human-Agent Interaction (pp. 260-268).

【文献】片上大輔. (2011). 人を惑わす集団エージェント~ 擬人化エージェントによる集団圧力生成の試み~. 人工知能学会全国大会論文集, 25, 1-3.

【文献】J. A. Russell, "A circumplex model of affect." Journal of personality and social psychology, vol. 39, no. 6, p. 1161, 1980.

【文献】有賀玲子，渡邊淳司，布引純史: 図形の伸縮によるエージェントの感情表現に関する印象評価，ヒューマンインタフェースシンポジウム 2017 論文集 (2017).

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、誘導したい感情（誘導の目的とする感情）と、ヒトの感情があまりにもかけ離れていると、目的の感情への誘導が困難となる可能性がある。例えば、ヒトが怒っている気持ちの時に、擬人化エージェントが満面の笑顔である場合、ヒトが即座に楽しい気持ちになるのは難しいと考えられる。

【0005】

本発明は上記の点に鑑みてなされたものであり、擬人化エージェントによりヒトの感情を目的の感情に誘導する技術において、誘導したい目的の感情と、ヒトの感情とがかけ離れている場合でも、目的の感情への誘導を容易に行うことを可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

開示の技術によれば、ヒトに対して擬人化エージェントを表示する感情誘導装置であって、
前記ヒトの感情を推定する感情推定部と、
前記ヒトの感情と、前記ヒトの感情を誘導したい目的の感情である誘導目的感情との間の感情である特定感情を計算する感情計算部と、
前記特定感情を示す表情を持つ擬人化エージェントの数を算出する擬人化エージェント数算出部と、
前記擬人化エージェント数算出部で算出された数だけ、前記特定感情を示す表情を持つ擬人化エージェントを前記ヒトに対して表示する映像制御部と
を備える感情誘導装置が提供される。

【発明の効果】

【0007】

開示の技術によれば、擬人化エージェントによりヒトの感情を目的の感情に誘導する技術において、誘導したい目的の感情と、ヒトの感情とがかけ離れている場合でも、目的の感情への誘導を容易に行うことが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態におけるシステムの全体構成図である。

【図2】本発明の実施の形態における感情誘導装置の構成図である。

【図3】感情誘導装置の動作を説明するためのフローチャートである。

【図4】ラッセルの感情円環モデル上の感情の例を示す図である。

【図5】擬人化エージェントの表情を変更する例を示す図である。

【図6】装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0010】

（実施の形態の概要）
本実施の形態では、後述する感情誘導装置１００が、擬人化エージェントをヒトに対して表示することにより、ヒトの感情を誘導したい目的の感情に誘導する。

【0011】

具体的には、感情誘導装置１００は、ヒトに対して表示する擬人化エージェントの表情を表現する際に、誘導したい感情の表情にするのではなく、ヒトの感情を推定し、ヒトの感情と誘導したい感情の中間の感情を、擬人化エージェントで表現する。また、誘導したい表情をしている擬人化エージェントの数が多ければ多いほど、その感情にヒトを誘導しやすくなると考えられるため、ヒトの感情と誘導したい感情とが離れていればいるほど、誘導したい感情（上記中間の感情）の表情をしている擬人化エージェントの数を増やす。

【0012】

（実施の形態の効果）
上記のように、ヒトの感情と誘導したい感情の中間の感情を、擬人化エージェントで表現することで、擬人化エージェントの表情への違和感が軽減するため、ヒトを目的の感情へと誘導しやすくなる。そうなることで例えば、ビデオ会議等において、場がネガティブな雰囲気になっているときに、落ち着いた雰囲気へと誘導しやすくなるため、コミュニケーションを円滑にすることができる。

【0013】

（システム構成、装置構成の例）
図１に、本実施の形態におけるシステムの全体構成例を示す。図１に示すように、本システムは、感情誘導装置１００と端末１～ｎがネットワーク２００に接続された構成を備える。感情誘導装置１００は、例えば、ビデオ会議におけるサーバとして使用される装置である。図１の例では、ｎ人の参加者が存在し、各人は端末からコミュニケーションを行う。

【0014】

本実施の形態では、ビデオ会議によるコミュニケーションが行われる場面において、端末１～ｎのそれぞれに擬人化エージェントが表示されることを想定している。なお、ｎは２であってもよいし、２以上であってもよい。また、擬人化エージェントの作成・表示機能に関しては、図１のようにサーバの形で感情誘導装置１００を備えることに代えて、感情誘導装置１００の機能を各端末が備えることとしてもよい。

【0015】

各端末はカメラを備えており、端末を使用するヒトの顔画像を撮影して、感情誘導装置１００へ送信することが可能である。

【0016】

また、上記のように複数人でのコミュニケーションにおいて感情誘導装置１００を使用することは一例であり、ヒトが個人で感情を誘導するために感情誘導装置１００を使用してもよい。例えば、感情誘導装置１００のディスプレイからヒトに対して擬人化エージェントを表示し、当該ヒトが感情誘導装置１００のディスプレイに表示される擬人化エージェントを見ることで、所望の感情への誘導を受けることとしてもよい。

【0017】

図２に、本実施の形態における感情誘導装置１００の構成例を示す。図２に示すように、感情誘導装置１００は、感情推定部１１０、ベクトル計算部１２０、距離判定部１３０、擬人化エージェント数算出部１４０、映像制御部１５０、データ記憶部１６０を有する。各部の動作については、フローチャートを参照した動作説明のところで説明する。なお、ベクトル計算部を感情計算部と呼んでもよい。また、距離判定部を判定部と呼んでもよい。

【0018】

感情誘導装置１００は、物理的に１つの装置（コンピュータ）であってもよいし、複数のコンピュータがネットワーク接続された構成でもよいし、クラウド上の仮想マシンであってもよい。

【0019】

（感情誘導装置１００の動作例）
次に、図３に示すフローチャートの手順に沿って、感情誘導装置１００の動作例を詳細に説明する。以下、特定のヒトに着目した場合の感情の誘導について説明する。以降の「ヒト」はその特定のヒトである。当該特定のヒトを「対象のヒト」と呼んでもよい。

【0020】

以下の処理の前提として、データ記憶部１６０には、各感情に対応する表情をする擬人化エージェントの映像が事前に格納されているものとする。また、以下の処理は例えば所定時間間隔で繰り返し行われており、対象のヒトの端末にはある表情をした擬人化エージェントが表示されている。

【0021】

＜Ｓ１０１＞
Ｓ１０１（ステップ１０１）において、感情推定部１１０がヒトの感情を推定する。ヒトの感情の推定自体は既存技術で実現できる。ヒトの感情の推定方法は特定の方法に限られないが、例えば、ヒトの顔画像から感情を推定する技術（例：「https://emotion-ai.userlocal.jp/face」）を使用することができる。この場合、感情推定部１１０は、ヒトの端末から顔画像を受信し、顔画像からヒトの感情を推定する。感情は、例えば、「喜び」、「怒り」、「悲しみ」、「驚き」、「無表情」のうちのいずれかとして推定されてもよいし、ラッセルの感情円環モデル上の値として推定されてもよい。

【0022】

＜Ｓ１０２＞
Ｓ１０２において、ベクトル計算部１２０に対して、ヒトを誘導したい目的とする感情を入力する。誘導したい感情として、例えば、ラッセルの感情円環モデル上の感情の中から選択した感情を入力する。誘導したい感情の入力は、対象のヒトの端末から行ってもよいし、別の端末（例えばビデオ会議主催者の端末）から行ってもよい。端末上で感情を選択する手段については、テキスト入力でも選択肢のタッチ入力でもよい。

【0023】

ラッセルの感情円環モデルは、横軸を快－不快の感情価とし、縦軸を覚醒－眠気の覚醒度とした２次元空間にて感情をマッピングしたモデルである（非特許文献３）。

【0024】

＜Ｓ１０３＞
Ｓ１０３において、ベクトル計算部１２０は、Ｓ１０１で推定したヒトの感情と、Ｓ１０２で入力された誘導したい感情のそれぞれをベクトル化する。感情をベクトル化して得られたベクトルを感情ベクトルと呼ぶ。

【0025】

本実施の形態での感情ベクトルは、ラッセルの感情円環モデル上におけるベクトルのことである。ベクトル計算部１２０は、ラッセルの感情円環モデル上において、感情がマッピングされている原点からの方向をベクトルの向きとして、当該感情をラッセルの感情円環モデル上においてベクトル化する。

【0026】

図４に、ラッセルの感情円環モデル上での感情ベクトルの例を示す。図４に示す例では、推定されたヒトの感情が「ｓａｄ」であり、誘導したい感情が「ｄｅｌｉｇｈｔｅｄ」である場合のそれぞれの感情ベクトルが示されている。

【0027】

＜Ｓ１０４＞
Ｓ１０４において、ベクトル計算部１２０は、ヒトの感情の感情ベクトルと、誘導したい感情の感情ベクトルとの中間のベクトルである中間ベクトルを算出する。中間ベクトルの算出にあたっては、例えば、非特許文献４における、ラッセルの感情円環モデル上での感情ベクトルおよび合力の考え方を用いることとしてもよい。

【0028】

例えば、中間ベクトルを、ヒトの感情の感情ベクトルと、誘導したい感情の感情ベクトルとの和として算出することができる。また、中間ベクトルを、ヒトの感情の感情ベクトルと、誘導したい感情の感情ベクトルとの和に対して、中間ベクトルの大きさがある値（例えば１）以下になるように、係数をかけたものとして算出してもよい。

【0029】

＜Ｓ１０５＞
Ｓ１０５において、距離判定部１３０は、ヒトの感情と、誘導したい感情との距離（遠さ）を、ヒトの感情の感情ベクトルと、誘導したい感情の感情ベクトルとの内積を計算することにより判定する。例えば、距離判定部１３０は、計算で得られた内積が０未満であれば、ヒトの感情と、誘導したい感情との距離は「遠い」と判定し、０以上であれば「近い」と判定する。なお、それぞれの感情ベクトルの大きさを１以下になるように正規化している場合には、「遠い」と判定される内積は、－１≦内積＜０であり、「近い」と判定される内積は、０≦内積≦１となる。

【0030】

＜Ｓ１０６＞
Ｓ１０６において、擬人化エージェント数算出部１４０は、Ｓ１０５での判定結果に基づいて、対象のヒトに対して表示している擬人化エージェントの表情を、Ｓ１０４で算出した中間ベクトルの示す感情の表情へと、変更する擬人化エージェントの数を算出する。この数を「変更擬人化エージェント数」と呼ぶ。

【0031】

基本的には、ヒトの感情と誘導したい感情との間が遠いと判定された場合の中間ベクトルの示す感情の表情を持つ擬人化エージェントの数が、ヒトの感情と誘導したい感情との間が近いと判定された場合の中間ベクトルの示す感情の表情を持つ擬人化エージェントの数よりも多くなるようにする。

【0032】

例えば、「遠い」と判定された場合において、擬人化エージェント数算出部１４０は、Ｓ１０５で計算した内積の絶対値のＮ倍の整数（小数点以下切り捨て）の数を、ビデオ会議に参加しているヒトの人数にかけた数を変更擬人化エージェント数とする。Ｎは２以上の整数であり、例えば１０である。例えば、参加人数が３人で、内積の絶対値が０．３であるとすると、０．３×１０×３＝９が変更擬人化エージェント数となる。

【0033】

また、「近い」と判定された場合において、擬人化エージェント数算出部１４０は、変更擬人化エージェント数を、ビデオ会議に参加しているヒトの人数と同数とする。例えば、３人が参加してる場合、変更擬人化エージェント数は３となる。

【0034】

＜Ｓ１０７＞
Ｓ１０７において、映像制御部１５０は、中間ベクトルの感情を表現する表情の擬人化エージェントの映像をデータ記憶部１６０から読み出し、対象のヒトの端末に表示する擬人化エージェントに関して、Ｓ１０６で算出した数の擬人化エージェントの映像を、中間ベクトルの感情を表現する表情の擬人化エージェント映像へと差し替える。図５に、１つの擬人化エージェントに関しての映像差し替えのイメージを示す。

【0035】

なお、対象のヒトの端末の画面上にすでに出現している擬人化エージェントの数が、変更擬人化エージェント数よりも少ない場合には、新たな擬人化エージェントを画面に表示させるなどして擬人化エージェントの数を増やす。

【0036】

（他の例）
Ｓ１０３で説明した感情ベクトルの算出ではラッセルの感情円環モデル上にて感情ベクトルを定義したが、これは一例である。ラッセルの感情円環モデル以外の感情モデルを用いて、感情ベクトルを定義してもよい。また、「ベクトル」の概念を使用せずに感情を定義してもよい。

【0037】

また、Ｓ１０４で説明した、ヒトの感情と誘導したい感情との中間の感情を示す指標に関して、Ｓ１０４では感情ベクトルの概念を用いて算出したが、２者（ヒトの感情と誘導したい感情）の中間は別の指標で算出してもよい。

【0038】

また、Ｓ１０４では、２者の感情の中間の感情を算出したが、２者の感情の間であれば、中間でなくてもよい。また、時間経過とともに、誘導したい表情へと近づけた感情を算出してもよい。

【0039】

（ハードウェア構成例）
感情誘導装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。

【0040】

すなわち、感情誘導装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、感情誘導装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0041】

図６は、上記コンピュータのハードウェア構成例を示す図である。図６のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

【0042】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0043】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、感情誘導装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

【0044】

（実施の形態のまとめ）
本明細書には、少なくとも下記各項の感情誘導装置、感情誘導方法、及びプログラムが開示されている。
（第１項）
ヒトに対して擬人化エージェントを表示する感情誘導装置であって、
前記ヒトの感情を推定する感情推定部と、
前記ヒトの感情と、前記ヒトの感情を誘導したい目的の感情である誘導目的感情との間の感情である特定感情を計算する感情計算部と、
前記特定感情を示す表情を持つ擬人化エージェントの数を算出する擬人化エージェント数算出部と、
前記擬人化エージェント数算出部で算出された数だけ、前記特定感情を示す表情を持つ擬人化エージェントを前記ヒトに対して表示する映像制御部と
を備える感情誘導装置。
（第２項）
前記ヒトの感情と前記誘導目的感情との間の遠さを判定する判定部を更に備え、
前記擬人化エージェント数算出部は、前記ヒトの感情と前記誘導目的感情との間が遠い場合における前記特定感情を示す表情を持つ擬人化エージェントの数が、前記ヒトの感情と前記誘導目的感情との間が近い場合における前記特定感情を示す表情を持つ擬人化エージェントの数よりも大きくなるように算出を行う
第１項に記載の感情誘導装置。
（第３項）
前記感情計算部は、前記ヒトの感情を示す感情ベクトルと、前記誘導目的感情を示す感情ベクトルとの中間ベクトルを計算することにより前記特定感情を計算する
第１項又は第２項に記載の感情誘導装置。
（第４項）
ヒトに対して擬人化エージェントを表示する感情誘導装置が実行する感情誘導方法であて、
前記ヒトの感情を推定する感情推定ステップと、
前記ヒトの感情と、前記ヒトの感情を誘導したい目的の感情である誘導目的感情との間の感情である特定感情を計算する感情計算ステップと、
前記特定感情を示す表情を持つ擬人化エージェントの数を算出する擬人化エージェント数算出ステップと、
前記擬人化エージェント数算出ステップで算出された数だけ、前記特定感情を示す表情を持つ擬人化エージェントを前記ヒトに対して表示するステップと
を備える感情誘導方法。
（第５項）
コンピュータを、第１項ないし第３項のうちいずれか１項に記載の感情誘導装置における各部として機能させるためのプログラム。

【0045】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0046】

１～ｎ 端末
１００ 感情誘導装置
１１０ 感情推定部
１２０ ベクトル計算部
１３０ 距離判定部
１４０ 擬人化エージェント数算出部
１５０ 映像制御部
１６０ データ記憶部
２００ ネットワーク
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】