ホーム > 特許ランキング > 住友電気工業株式会社
特許7193015コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム
(51)【国際特許分類】
G06F 3/04842 20220101AFI20221213BHJP
G06F 3/16 20060101ALI20221213BHJP
H04M 1/72427 20210101ALI20221213BHJP
H04M 3/56 20060101ALI20221213BHJP
G10L 15/10 20060101ALI20221213BHJP
G06T 13/40 20110101ALI20221213BHJP
【ＦＩ】
G06F3/04842
G06F3/16 650
G06F3/16 620
H04M1/72427
H04M3/56 C
G10L15/10 200W
G10L15/10 500Z
G06T13/40
【請求項の数】
20
(21)【出願番号】P 2021574939
(86)(22)【出願日】2021-03-12
(86)【国際出願番号】 JP2021010187
(87)【国際公開番号】W WO2022079933
(87)【国際公開日】2022-04-21
【審査請求日】2021-12-16
(31)【優先権主張番号】P 2020173201
(32)【優先日】2020-10-14
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100136722
【弁理士】
【氏名又は名称】▲高▼木 邦夫
(74)【代理人】
【識別番号】100176658
【弁理士】
【氏名又は名称】和田 謙一郎
(72)【発明者】
【氏名】戴 桂明
(72)【発明者】
【氏名】柿井 俊昭
(72)【発明者】
【氏名】細谷 俊史
(72)【発明者】
【氏名】野村 康
(72)【発明者】
【氏名】翁 由奈
(72)【発明者】
【氏名】房 亭亭
【審査官】木内 康裕
(56)【参考文献】
【文献】国際公開第２０１８／１５８８５２（ＷＯ，Ａ１）
【文献】特開２００５－２１６１４９（ＪＰ，Ａ）
【文献】特開２００３－１０６８４６（ＪＰ，Ａ）
【文献】特開２０１５－０９２３４７（ＪＰ，Ａ）
【文献】特開２０２０－１４４７１２（ＪＰ，Ａ）
【文献】特開２００２－３５８１４６（ＪＰ，Ａ）
【文献】特開２００７－２７２５３３（ＪＰ，Ａ）
【文献】特開２００３－３２３６２８（ＪＰ，Ａ）
【文献】特開２０００－１２３１９１（ＪＰ，Ａ）
【文献】特開２０００－１８４３４５（ＪＰ，Ａ）
【文献】特開２０２０－０２１０２５（ＪＰ，Ａ）
【文献】特開２０１２－１８１７０４（ＪＰ，Ａ）
【文献】明渡 肇，人を癒すうさぎ型ペットロボットの開発，第３４回日本ロボット学会学術講演会予稿集ＤＶＤ－ＲＯＭ ２０１６年 ，日本，一般社団法人 日本ロボット学会，2016年09月07日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ｇ０６Ｆ ３／１６
Ｈ０４Ｍ １／７２４２７
Ｈ０４Ｍ ３／５６
Ｇ１０Ｌ １５／１０
Ｇ０６Ｔ １３／４０
(57)【特許請求の範囲】
【請求項1】
ユーザのコミュニケーションを支援するコミュニケーション支援プログラムであって、一又は複数のコミュニケーション対象を識別可能な識別情報と、前記コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させるステップを、コンピュータに実行させ、
前記状態アニメーションは、
前記状態アニメーションが表示される画面において、前記識別情報の表示領域の外側に当該表示領域から上方に延びるように表示され、
前記コミュニケーション対象の状態を前記ユーザに想像させるように、前記状態アニメーションの動作を制御するために予め設定されている複数の動作パターンのうちから選択された前記動作パターンに基づいて、前記上方に延びた部分が変形動作するアニメーションであって、動的に変化する顔表情を含まない、コミュニケーション支援プログラム。
【請求項2】
前記コミュニケーション対象の状態に応じて、前記状態アニメーションの形状を変形させる、請求項１に記載のコミュニケーション支援プログラム。
【請求項3】
前記状態アニメーションは、耳を模したアニメーションであり、前記コミュニケーション対象の状態の変化に応じて動作する、請求項１又は請求項２に記載のコミュニケーション支援プログラム。
【請求項4】
前記状態アニメーションは、前記上方に延びた部分の初期状態から、選択された前記動作パターンに変形動作する、請求項１から請求項３のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項5】
国籍、民族及び言語の少なくとも一つを含む前記コミュニケーション対象の属性に応じて、前記状態アニメーションの動作を変更させる、請求項１から請求項４のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項6】
前記コミュニケーション対象によって任意に設定された動作強度及び動作速度の少なくとも一方に基づいて、前記状態アニメーションを動作させる、請求項１から請求項５のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項7】
所定の言葉と前記状態アニメーションの前記動作パターンとが対応付けられており、前記所定の言葉が発せられた場合、前記所定の言葉に対応する前記動作パターンに基づいて前記状態アニメーションを動作させる、請求項１から請求項６のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項8】
前記動作パターンは、予め設定されている標準動作パターン、及び、前記コミュニケーション対象によって予め作成された作成パターンの少なくとも一方から選択されて前記所定の言葉と対応付けられる、請求項７に記載のコミュニケーション支援プログラム。
【請求項9】
絵文字、予め設定された画像及びテキストの少なくとも一つを、前記状態アニメーションと一体的に表示させる、請求項１から請求項８のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項10】
前記識別情報が表示されるボディと前記状態アニメーションとによって構成され、三次元のコンピュータグラフィックによって描画されたキャラクタを表示させ、前記ボディは、Ｘ軸、Ｙ軸及びＺ軸の少なくとも一つの軸を中心に回動可能である、請求項１から請求項９のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項11】
前記ユーザを識別可能な識別情報と、当該ユーザの状態を示す状態アニメーションと、を一体的に表示させるステップを、前記コンピュータに実行させ、
前記コミュニケーション対象が一又は複数存在する場合、前記ユーザの前記キャラクタが背後となるように表示させる、請求項１０に記載のコミュニケーション支援プログラム。
【請求項12】
前記ユーザの前記キャラクタ及び前記コミュニケーション対象の前記キャラクタのうちの一方の前記キャラクタを他方の前記キャラクタに向ける、請求項１１に記載のコミュニケーション支援プログラム。
【請求項13】
前記ボディの形態が変形可能である、請求項１０から請求項１２のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項14】
所定のタイミングで、前記状態アニメーションにおいて使用された動作パターンの使用状況を表示させる、請求項１から請求項１３のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項15】
前記使用状況として、前記ユーザ及び前記コミュニケーション対象における前記動作パターンの使用割合、及び、時間軸に対応した前記動作パターンの使用頻度の変化の少なくとも一方を表示させる、請求項１４に記載のコミュニケーション支援プログラム。
【請求項16】
前記選択は、ウェアラブルセンサ及び加速度センサの少なくとも一方の検出結果に基づいて実施される、請求項１から請求項１５のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項17】
前記選択は、人工知能によって動作するＡＩアシスタントの状態に基づいて行われる、請求項１から請求項１５のいずれか一項に記載のコミュニケーション支援プログラム。
【請求項18】
ユーザのコミュニケーションを支援するコミュニケーション支援方法であって、コミュニケーション対象を識別可能な識別情報と、前記コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させるステップを含み、
前記状態アニメーションは、
前記状態アニメーションが表示される画面において、前記識別情報の表示領域の外側に当該表示領域から上方に延びるように表示され、
前記コミュニケーション対象の状態を前記ユーザに想像させるように、前記状態アニメーションの動作を制御するために予め設定されている複数の動作パターンのうちから選択された動作パターンに基づいて、前記上方に延びた部分が変形動作するアニメーションであって、動的に変化する顔表情を含まない、コミュニケーション支援方法。
【請求項19】
ユーザのコミュニケーションを支援するコミュニケーション支援システムであって、コミュニケーション対象を識別可能な識別情報と、当該コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる制御部を備え、
前記状態アニメーションは、
前記状態アニメーションが表示される画面において、前記識別情報の表示領域の外側に当該表示領域から上方に延びるように表示され、
前記コミュニケーション対象の状態を前記ユーザに想像させるように、前記状態アニメーションの動作を制御するために予め設定されている複数の動作パターンのうちから選択された動作パターンに基づいて、前記上方に延びた部分が変形動作するアニメーションであって、動的に変化する顔表情を含まない、コミュニケーション支援システム。
【請求項20】
ユーザのコミュニケーションを支援する端末装置であって、コミュニケーション対象を識別可能な識別情報と、当該コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる制御部を備え、
前記状態アニメーションは、
前記状態アニメーションが表示される画面において、前記識別情報の表示領域の外側に当該表示領域から上方に延びるように表示され、
前記コミュニケーション対象の状態を前記ユーザに想像させるように、前記状態アニメーションの動作を制御するために予め設定されている複数の動作パターンのうちから選択された動作パターンに基づいて、前記上方に延びた部分が変形動作するアニメーションであって、動的に変化する顔表情を含まない、端末装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の一側面は、コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラムに関する。
本出願は、２０２０年１０月１４日出願の日本出願第２０２０－１７３２０１号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
本出願は、２０２０年１０月１４日出願の日本出願第２０２０－１７３２０１号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
【背景技術】
【0002】
コンピュータを用いるコミュニケーションに関して、例えば特開２０１５－３８７２５号公報（特許文献１）は、予め用意された音響モデル、言語モデル、及び複数の音素と複数の視覚素との間の対応表を使用して、音声信号に対して音声認識を漸次的に行って視覚素系列を生成し、視覚素系列を平滑化して複数の視覚素ごとの混合重みを生成し、複数の視覚素ごとの混合重みに従って、複数の視覚素それぞれに対応する複数の顔モデルを混合することにより、顔画像を生成する発話アニメーション生成装置を開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－３８７２５号公報
【発明の概要】
【0004】
本開示の一側面に係るコミュニケーション支援プログラムは、ユーザのコミュニケーションを支援するコミュニケーション支援プログラムであって、一又は複数のコミュニケーション対象を識別可能な識別情報と、コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させるステップを、コンピュータに実行させる。
【図面の簡単な説明】
【0005】
【発明を実施するための形態】
【0006】
［本開示が解決しようとする課題］
近年、テレワークが拡大しており、ビデオ会議（ＷＥＢ会議）を行う機会が増加している。ビデオ会議を利用する際、通信環境（帯域制限等）やプライバシーの観点から、カメラを使用せずに、音声のみで会議に参加する場合がある。この場合、各ユーザの端末には、会議に参加しているユーザのアイコン等が表示される。そのため、通話相手が発話に対して関心を示しているか等の状態・状況を認識（把握）することが困難である。そのため、円滑なコミュニケーションを図ることが難しい。
近年、テレワークが拡大しており、ビデオ会議（ＷＥＢ会議）を行う機会が増加している。ビデオ会議を利用する際、通信環境（帯域制限等）やプライバシーの観点から、カメラを使用せずに、音声のみで会議に参加する場合がある。この場合、各ユーザの端末には、会議に参加しているユーザのアイコン等が表示される。そのため、通話相手が発話に対して関心を示しているか等の状態・状況を認識（把握）することが困難である。そのため、円滑なコミュニケーションを図ることが難しい。
【0007】
本開示の一側面は、円滑なコミュニケーションを実現できるコミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラムを提供することを目的とする。
【0008】
［本開示の効果］
本開示の一側面によれば、円滑なコミュニケーションを実現できる。
本開示の一側面によれば、円滑なコミュニケーションを実現できる。
【0009】
［本開示の実施形態の説明］
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【0010】
本開示の一実施形態に係るコミュニケーション支援プログラムは、ユーザのコミュニケーションを支援するコミュニケーション支援プログラムであって、一又は複数のコミュニケーション対象を識別可能な識別情報と、コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させるステップを、コンピュータに実行させる。
【0011】
本開示の一実施形態に係るコミュニケーション支援プログラムでは、識別情報と、コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる。これにより、コミュニケーション支援プログラムでは、コミュニケーション対象の状態を認識することができる。したがって、コミュニケーション支援プログラムでは、円滑なコミュニケーションを実現できる。
【0012】
一実施形態においては、状態アニメーションは、コミュニケーション対象の状態を、コミュニケーション対象の実際の動作部位とは異なる形態で表現したアニメーションであってもよい。この構成では、異なる形態で表現（レンダリング）したアニメーションとすることによって、シンプルなアニメーションとすることが可能となる。そのため、ユーザは、コミュニケーション対象の状態を容易に把握することができる。
【0013】
一実施形態においては、状態アニメーションは、識別情報の表示領域の外側に当該表示領域から突出するように表示されてもよい。この構成では、識別情報と状態アニメーションとを区別を明確にすることができると共に、状態アニメーションの動作を分かり易くすることができる。
【0014】
一実施形態においては、状態アニメーションは、識別情報の表示領域の周囲に当該表示領域に付随するように表示されてもよい。この構成では、識別情報と状態アニメーションとを区別を明確にすることができると共に、状態アニメーションの動作を分かり易くすることができる。
【0015】
一実施形態においては、コミュニケーション対象の状態に応じて、状態アニメーションの表示形態を変形させてもよい。この構成では、状態アニメーションをトランスフォームさせることにより、コミュニケーション対象の状態を表現するバリエーションを増やすことができる。したがって、コミュニケーション対象の状態をより正確に把握することができる。
【0016】
一実施形態においては、状態アニメーションは、耳を模したアニメーションであり、コミュニケーション対象の状態の変化に応じて動作してもよい。例えば、状態アニメーションがコミュニケーション対象の顔アニメーションである場合、画面上において、顔の微妙な変化から感情の変化等を読み取らなければならない。また、顔アニメーションのさまざまな部位の動作に注目しなければならないため、ユーザの状態を把握することが容易ではない。一実施形態では、ユーザの状態の変化が耳を模した状態アニメーションの動作によって表現されるため、状態アニメーションだけに注目すればよい。したがって、コミュニケーション対象の状態を容易に把握することができる。
【0017】
一実施形態においては、識別情報と、状態アニメーションと、コミュニケーション対象の状態の変化に応じて動作すると共に腕、手及び足の少なくとも一つを模したアニメーションと、を一体的に表示させてもよい。これにより、耳に加えて、腕、手及び足の少なくとも一つを模したアニメーションが表示されるため、コミュニケーション対象の状態をより正確に把握することができる。
【0018】
一実施形態においては、コミュニケーション対象の属性に応じて、状態アニメーションの動作を変更させてもよい。この構成では、属性として例えば国籍に応じて状態アニメーショの動作を変更することにより、文化の違いによって誤解が生じることを回避することができる。このように、異なる様々な文化に対応することができるため、円滑なコミュニケーションを実現できる。
【0019】
一実施形態においては、設定された動作強度及び動作速度の少なくとも一方に基づいて、状態アニメーションを動作させてもよい。この構成では、例えば、感情表現が苦手な場合であっても、動作強度や動作速度を適宜設定することによって、自身の状態を強化して伝えることができる。したがって、相手に対して状態を効果的に伝えることができる。
【0020】
一実施形態においては、識別情報は、コミュニケーション対象を示す画像及びコミュニケーション対象を示すテキストの少なくとも一方を含んでいてもよい。この構成では、コミュニケーション対象を一見して認識することができる。
【0021】
一実施形態においては、状態アニメーションは、ユーザの感情、ユーザの動作、ユーザの音声、コミュニケーション対象の感情、コミュニケーション対象の動作及びコミュニケーション対象の音声の少なくとも一つに応じて動作してもよい。この構成では、コミュニケーション対象の感情や動作を認識することができる。
【0022】
一実施形態においては、状態アニメーションは、ユーザとコミュニケーション対象との対話状態に応じて動作してもよい。この構成では、ユーザとコミュニケーション対象との対話状態に応じて状態アニメーションを動作させることができる。これにより、例えば、コミュニケーション対象がＡＩアシスタントである場合、ユーザの発言に対して、コミュニケーション対象の状態アニメーションを動作させることができる。
【0023】
一実施形態においては、所定の言葉と状態アニメーションの動作パターンとが対応付けられており、所定の言葉が発せられた場合、所定の言葉に対応する動作パターンに基づいて状態アニメーションを動作させてもよい。この構成では、所定の言葉（文字、音声を含む）と状態アニメーションの動作パターンとが予め対応付けられているため、ユーザの状態に適した状態アニメーションを正確且つ迅速に表示させることができる。
【0024】
一実施形態においては、動作パターンは、予め設定されている標準動作パターン、及び、予め作成された作成パターンの少なくとも一方から選択されて所定の言葉と対応付けられてもよい。この構成では、状態アニメーションの動作パターンを任意に設定することができる。
【0025】
一実施形態においては、状態アニメーションは、コミュニケーション対象からの入力に応じて動作してもよい。この構成では、コミュニケーション対象（例えば、通話相手）のキー操作等によって、状態アニメーションを動作させることができるため、コミュニケーション対象の状態をより正確に把握することができる。
【0026】
一実施形態においては、入力は、ウェアラブルセンサの検出結果を含んでいてもよい。この構成では、ウェアラブルセンサの検出結果に応じて状態アニメーションが動作する。そのため、コミュニケーション対象の実際の動作を状態アニメーションに反映することができる。
【0027】
一実施形態においては、入力は、コミュニケーション対象によって操作される機器に対する操作結果を含み、機器における操作時間に応じて、状態アニメーションの動作を変化させてもよい。この構成では、コミュニケーション対象の状態をより正確に状態アニメーションに反映させることが可能となる。そのため、コミュニケーション対象の状態をより正確に把握することができる。
【0028】
一実施形態においては、絵文字、予め設定された画像及びテキストの少なくとも一つを、状態アニメーションと一体的に表示させてもよい。この構成では、絵文字等によって、コミュニケーション対象の状態をより正確に把握することができる。
【0029】
一実施形態においては、識別情報が表示されるボディと状態アニメーションとによってキャラクタが構成されており、三次元のコンピュータグラフィックによって描画されたキャラクタを表示させてもよい。この構成では、三次元のキャラクタによってコミュニケーション対象の状態が表示されるため、コミュニケーション対象の状態をより正確に把握することができる。
【0030】
一実施形態においては、キャラクタに影を表示させ、コミュニケーション対象の状態に応じて、キャラクタに表示される影を変化させてもよい。この構成では、影によってコミュニケーション対象の状態が表現されるため、コミュニケーション対象の状態をより正確に把握することができる。
【0031】
一実施形態においては、ユーザの操作に応じて、キャラクタが表示される空間の観察視点を変更させてもよい。この構成では、ユーザが観察視点を自由に変更することができる。
【0032】
一実施形態においては、ユーザの操作及びユーザの音声の少なくとも一方に応じて、キャラクタの位置及び大きさの少なくとも一方を変更させてもよい。この構成では、ユーザがキャラクタの位置や大きさを自由に変更することができる。
【0033】
一実施形態においては、センサによって検出されたユーザ及びコミュニケーション対象の少なくとも一方の視線に係る情報と、識別情報と、状態アニメーションと、を一体的に表示させてもよい。この構成では、ユーザ又はコミュニケーション対象の視線がどこにあるのかを確認することができる。
【0034】
一実施形態においては、視線に係る情報は、識別情報及び状態アニメーションを含む所定の領域上にユーザの視線が存在していることを示す視線送信情報を含み、視線送信情報と、識別情報と、状態アニメーションと、を一体的に表示させてもよい。この構成では、コミュニケーション対象に対してユーザが視線を向けていることを確認することができる。
【0035】
一実施形態においては、視線に係る情報は、コミュニケーション対象がユーザの識別情報及び状態アニメーションを含む所定の領域上にコミュニケーション対象の視線が存在していることを示す視線受信情報を含み、視線受信情報と、識別情報と、状態アニメーションと、を一体的に表示させてもよい。この構成では、コミュニケーション対象の視線を確認することができる。
【0036】
一実施形態においては、センサによって検出されたコミュニケーション対象の音声データ及びセンサによって検出されたコミュニケーション対象の態様を示す態様データの少なくともいずれか一方に基づいて、コミュニケーション対象の状態を推定するステップと、コミュニケーション対象の状態に基づいて、状態アニメーションの動作を制御するための制御データを生成するステップと、制御データを出力するステップと、をコンピュータに実行させてもよい。この構成では、状態アニメーションの動作を制御するための制御データを出力するため、コミュニケーション対象の状態に係る全てのデータを出力する場合に比べて、端末から出力（送信）されるデータ容量を小さくすることができる。そのため、通信速度が遅かったり、大容量のデータ通信が行えなかったりする通信環境においても、端末を用いて行う通話において円滑なコミュニケーションを実現できる。
【0037】
一実施形態においては、センサによって検出されたコミュニケーション対象の音声データ及びセンサによって検出されたコミュニケーション対象の態様を示す態様データの少なくともいずれか一方に基づいて、コミュニケーション対象の状態を推定するステップと、推定したコミュニケーション対象の状態に係る状態データを出力するステップと、をコンピュータに実行させてもよい。この構成では、端末における処理負荷の低減を図ることができる。
【0038】
一実施形態においては、状態アニメーションの動作の形態を、音声データ及び態様データの少なくとも一方に基づいて設定してもよい。この構成では、コミュニケーション対象の状態に応じた、状態アニメーションの動作の形態を適切に設定できる。
【0039】
一実施形態においては、状態アニメーションの動作の速度を、音声データ及び態様データの少なくとも一方に基づいて設定してもよい。この構成では、コミュニケーション対象の状態に応じた、状態アニメーションの動作の速度を適切に設定できる。
【0040】
一実施形態においては、コミュニケーション対象の状態を推定するステップでは、学習済みモデルを用いてコミュニケーション対象の状態を推定し、学習済みモデルは、音声データ及び態様データの少なくともいずれか一方が入力されると、コミュニケーション対象の状態を出力してもよい。この構成では、コミュニケーション対象の状態を高精度に推定することが可能となる。
【0041】
一実施形態においては、発話者の音声データに基づく発話アニメーションであって状態アニメーションとは異なる当該発話アニメーションを、発話者の識別情報と一体的に表示させるステップを、コンピュータに実行させ、発話アニメーションは、発話者の発話の態様に応じて動作してもよい。この構成では、発話者を一見して認識することができると共に、発話者の発話状態を発話アニメーションによって認識することができる。
【0042】
一実施形態においては、ユーザを識別可能な識別情報と、当該ユーザの状態を示す状態アニメーションと、を一体的に表示させるステップを、コンピュータに実行させてもよい。この構成では、ユーザが自身の状態アニメーションを確認することができる。また、ユーザ及びコミュニケーション対象のそれぞれの状態アニメーションが一緒に表示されるため、ユーザ及びコミュニケーション対象が同一空間に存在しているような印象を与えることができ、臨場感、一体感のある会話を実現することができる。その結果、円滑なコミュニケーションを実現できる。
【0043】
一実施形態においては、コミュニケーション対象の識別情報及び当該コミュニケーション対象の状態アニメーションと、ユーザの識別情報及び当該ユーザの状態アニメーションと、を同じサイズで表示させてもよい。この構成では、同じサイズで表示することにより、ユーザ及びコミュニケーション対象が同一空間に存在しているような印象をより一層与えることができるため、より一層、臨場感、一体感のある会話を実現することができる。
【0044】
一実施形態においては、識別情報が表示されるボディと状態アニメーションとによって構成され、三次元のコンピュータグラフィックによって描画されたキャラクタを表示させ、コミュニケーション対象が複数存在する場合、ユーザのキャラクタが背後となるように表示させてもよい。この構成では、コミュニケーション対象のキャラクタの状態アニメーションが見易くなるため、コミュニケーション対象の状態を正確に把握することができる。
【0045】
一実施形態においては、識別情報が表示されるボディと状態アニメーションとによって構成され、三次元のコンピュータグラフィックによって描画されたキャラクタを表示させ、センサによって検出されたユーザ及びコミュニケーション対象の視線に係る情報、ユーザ及びコミュニケーション対象の音声、及び、ユーザによる操作に基づいて、キャラクタを動作させてもよい。この構成では、ユーザ等の視線や呼びかけに応じてキャラクタが動作する。したがって、一体感のある会話を実現することができる。
【0046】
一実施形態においては、ユーザのキャラクタとコミュニケーション対象のキャラクタとが向き合うように動作させてもよい。この構成では、キャラクタ同士が向き合って会話をするため、一体感のある会話を実現することができる。
【0047】
一実施形態においては、サイバー空間において、識別情報及び状態アニメーションを表示させてもよい。この構成では、ＶＲ（Virtual Reality：仮想現実）、ＡＲ（Augmented Reality：拡張現実）、ＭＲ（Mixed Reality：混合現実）等において実現されるサイバー空間（仮想空間）に識別情報及び状態アニメーションを表示させることができる。
【0048】
一実施形態においては、コミュニケーション対象の基本生体存在情報として、状態アニメーショを動作させてもよい。この構成では、例えば、コミュニケーション対象が発話したり、動作したりしていない場合であっても、コミュニケーション対象の存在を状態アニメーションの動作によって伝達することができる。そのため、コミュニケーション対象の存在をユーザに知らしめることができる。
【0049】
一実施形態においては、コミュニケーション対象は、人工知能によって動作するＡＩアシスタントであってもよい。この構成では、ＡＩアシスタントとの円滑なコミュニケーションが実現できる。
【0050】
一実施形態においては、状態アニメーションは、動的に変化する顔表情を含まなくてもよい。状態アニメーションをアバター等のようにコミュニケーション対象等の顔に似せて作成し、動的に変化する顔表情として表現すると、不気味の谷の影響を受け得る。また、動的に変化する顔表情を含む場合、多くの伝送容量を必要とする。これに対して、状態アニメーションは、動的に変化する顔表情を含まないため、不気味な印象を与えることがない。また、伝送容量を小さくすることができる。
【0051】
一実施形態においては、コミュニケーション対象が沈黙している場合には、状態アニメーションにおいて色を変化させてもよい。この構成では、コミュニケーション対象が思案等によって沈黙していることを状態アニメーショによって認識することができる。
【0052】
一実施形態においては、所定のタイミングで、状態アニメーションにおいて使用された動作パターンの使用状況を表示させてもよい。この構成では、所定のタイミング（例えば、コミュニケーション中、コミュニケーション終了後）に状態アニメーションの動作パターンの使用状況（使用履歴）を表示することで、ユーザ及びコミュニケーション対象の反応の傾向等を確認することができる。
【0053】
一実施形態においては、使用状況として、ユーザ及びコミュニケーション対象における動作パターンの使用割合、及び、時間軸に対応した動作パターンの使用頻度の変化の少なくとも一方を表示させてもよい。この構成では、使用状況を様々な態様で確認することができる。
【0054】
本開示の一実施形態に係るコミュニケーション支援方法は、ユーザのコミュニケーションを支援するコミュニケーション支援方法であって、コミュニケーション対象を識別可能な識別情報と、コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させるステップを含む。
【0055】
本開示の一実施形態に係るコミュニケーション支援方法では、識別情報と、コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる。これにより、コミュニケーション支援方法では、コミュニケーション対象の状態を認識することができる。したがって、コミュニケーション支援方法では、円滑なコミュニケーションを実現できる。
【0056】
本開示の一実施形態に係るコミュニケーション支援システムは、ユーザのコミュニケーションを支援するコミュニケーション支援システムであって、コミュニケーション対象を識別可能な識別情報と、当該コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる制御部を備える。
【0057】
本開示の一実施形態に係るコミュニケーション支援システムでは、制御部は、識別情報と、コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる。これにより、コミュニケーション支援システムでは、コミュニケーション対象の状態を認識することができる。したがって、コミュニケーション支援システムでは、円滑なコミュニケーションを実現できる。
【0058】
本開示の一実施形態に係る端末装置は、ユーザのコミュニケーションを支援する端末装置であって、コミュニケーション対象を識別可能な識別情報と、当該コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる制御部を備える。
【0059】
本開示の一実施形態に係る端末装置では、制御部は、識別情報と、コミュニケーション対象の状態を示す状態アニメーションと、を一体的に表示させる。これにより、端末装置では、コミュニケーション対象の状態を認識することができる。したがって、端末装置では、円滑なコミュニケーションを実現できる。
【0060】
［本開示の実施形態の詳細］
本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0061】
・第１実施形態
図１は、第１実施形態に係るコミュニケーション支援システム（以下、単に「システム」という場合もある。）の概略構成の例を示す図である。システム１００は、コミュニケーションを支援するコンピュータシステムである。コミュニケーションの例は、テレビ会議、診察、カウンセリング、面接（人物評価）、テレワーク等、他のユーザとの通話を伴うものである。
図１は、第１実施形態に係るコミュニケーション支援システム（以下、単に「システム」という場合もある。）の概略構成の例を示す図である。システム１００は、コミュニケーションを支援するコンピュータシステムである。コミュニケーションの例は、テレビ会議、診察、カウンセリング、面接（人物評価）、テレワーク等、他のユーザとの通話を伴うものである。
【0062】
＜システムの構成＞
システム１００は、端末（端末装置）１０、端末２０及び端末３０を含む。図１に示される例では、端末１０は、ユーザＵ１が使用するラップトップ型のパーソナルコンピュータ（ＰＣ）である。端末２０は、ユーザＵ２が使用する携帯電話機（スマートフォン等）である。端末３０は、ユーザＵ３が使用するデスクトップ型のＰＣである。端末１０、端末２０及び端末３０は、ネットワークＮに接続可能である。この例では、端末１０はアクセスポイントＡＰを介して、端末２０は基地局ＢＳを介して、端末３０は有線（不図示）により、それぞれネットワークＮに接続される。端末１０、端末２０及び端末３０には、上述のＰＣ、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末、その他さまざまな端末が用いられてよい。なお、システム１００に含まれる端末の数は、図１の例に限定されない。
システム１００は、端末（端末装置）１０、端末２０及び端末３０を含む。図１に示される例では、端末１０は、ユーザＵ１が使用するラップトップ型のパーソナルコンピュータ（ＰＣ）である。端末２０は、ユーザＵ２が使用する携帯電話機（スマートフォン等）である。端末３０は、ユーザＵ３が使用するデスクトップ型のＰＣである。端末１０、端末２０及び端末３０は、ネットワークＮに接続可能である。この例では、端末１０はアクセスポイントＡＰを介して、端末２０は基地局ＢＳを介して、端末３０は有線（不図示）により、それぞれネットワークＮに接続される。端末１０、端末２０及び端末３０には、上述のＰＣ、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末、その他さまざまな端末が用いられてよい。なお、システム１００に含まれる端末の数は、図１の例に限定されない。
【0063】
システム１００は、サーバ４０を含む。サーバ４０は、ネットワークＮに接続される。したがって、端末１０、端末２０、端末３０及びサーバ４０は、ネットワークＮを介して互いに通信可能である。なお、システム１００に含まれるサーバの数は、図１の例に限定されない。
【0064】
ネットワークＮの構成は限定されない。例えば、ネットワークＮは、インターネット（公衆網）、通信キャリアネットワーク、事業者ネットワーク等を含んで構成されてよい。
【0065】
図２は、システム１００によって提供されるコミュニケーションの例を示す図である。コミュニケーションは、コンピュータによって表現される通話画面Ｇ（出力部１５）で行われる。通話画面Ｇは、端末１０、端末２０及び端末３０に表示されることで、ユーザＵ１、ユーザＵ２及びユーザＵ３に提示される。ユーザＵ１，Ｕ２，Ｕ３は、互いにコミュニケーション対象である。図２に示す例では、ユーザＵ１のキャラクタＣ１、ユーザＵ２のキャラクタＣ２及びユーザＵ３のキャラクタＣ３が、コミュニケーションの参加者として通話画面Ｇに現れている。図２では、ユーザＵ１が発話状態であることを示している。
【0066】
キャラクタＣ１，Ｃ２，Ｃ３は、通話画面ＧにおいてユーザＵ１，Ｕ２，Ｕ３を示すものである。キャラクタＣ１，Ｃ２，Ｃ３は、ダイナミックなキャラクタである。キャラクタＣ１，Ｃ２，Ｃ３は、ユーザＵ１，Ｕ２，Ｕ３の実際の像（撮像データ等）とは独立した画像素材によって生成される。画像素材は、アニメーションキャラクタを生成するための素材である。キャラクタＣ１，Ｃ２，Ｃ３は二次元又は三次元のコンピュータグラフィック（ＣＧ）によって描画されてもよい。
【0067】
キャラクタＣ１，Ｃ２，Ｃ３は、アイコンＢ及び耳アニメーションＥを含んで構成される。キャラクタＣ１，Ｃ２，Ｃ３では、アイコンＢと耳アニメーションＥとが通話画面Ｇにおいて、一体的に表示される。一体的に表示されるとは、キャラクタＣ１，Ｃ２，Ｃ３を見たときに、視覚的にアイコンＢと耳アニメーションＥとが一つのまとまりとして認識されることを意味する。すなわち、一体的に表示されるとは、アイコンＢと耳アニメーションＥとが結びついている（対応している）ことを一見して認識できる状態であればよい。そのため、一体的に表示されるとは、アイコンＢと耳アニメーションＥとが接触している状態であってもよいし、アイコンＢと耳アニメーションＥとが離隔している状態であってもよい。
【0068】
アイコンＢは、通話相手であるユーザを識別可能な識別情報である。アイコンＢは、ユーザを示す画像及びユーザを示すテキストの少なくとも一方を含む。図２に示す例では、アイコンＢは、円形状を呈しており、ユーザを識別可能なテキスト（「Ａ」、「Ｂ」、「Ｃ」）を含んでいる。テキストは、アイコンＢの表示領域に表示されている。本実施形態では、表示領域が円形状を呈しているとも言える。本実施形態では、例えば、アイコンＢに表示の「Ａ」は、ユーザＵ１を示しており、アイコンＢに表示の「Ｂ」は、ユーザＵ２を示しており、アイコンＢに表示の「Ｃ」は、ユーザＵ３を示している。アイコンＢの形状は、他の形状であってもよい。アイコンＢは、ユーザが設定した画像（顔写真等）を含んでいてもよい。アイコンＢは、ユーザによって自由に選択及び設定されてもよい。
【0069】
耳アニメーションＥは、ユーザの状態を示す状態アニメーションである。状態アニメーションは、ユーザの状態を、ユーザの実際の動作部位とは異なる形態で表現したアニメーションである。状態アニメーショは、動的に連続的に変化する顔表情を含まない。すなわち、状態アニメーションは、ユーザの状態に応じて変化する顔表情を含まない。状態アニメーションは、アイコンＢの表示領域の外側に表示領域から突出するように表示される。耳アニメーションＥは、動物（例えば、うさぎ等）の耳を模したアニメーションであり、ユーザの状態の変化に応じて動作する。耳アニメーションＥは、ユーザの感情及び動作の少なくとも一方に応じて動作する。ユーザの感情とは、例えば、嬉しい、驚き等である。ユーザの動作とは、例えば、視線（視線移動）、姿勢、ジェスチャ、表情等である。耳アニメーションＥは、例えば、伸縮、折り曲げ、揺動等の動作をする。
【0070】
キャラクタＣ１（Ｃ２，Ｃ３）は、発話アニメーションＨを更に含んで構成される。キャラクタＣ１（Ｃ２，Ｃ３）では、アイコンＢ、耳アニメーションＥ及び発話アニメーションＨが通話画面Ｇにおいて、一体的に表示される。発話アニメーションＨは、発話者（話し手）の音声データに基づくアニメーションである。発話アニメーションＨは、発話者の発話の態様に応じて動作する。発話アニメーションＨは、例えば、左右に伸縮する動作をする。
【0071】
図３は、端末１０、端末２０、端末３０及びサーバ４０の機能ブロックの例を示す図である。端末２０及び端末３０の機能ブロックは、端末１０の機能ブロックと同様であるので、以下では端末１０及びサーバ４０について説明する。はじめに端末１０について説明し、次にサーバ４０について説明する。
【0072】
＜端末の構成＞
端末１０は、入力部１１を含む。入力部１１は、ユーザＵ１の音声データ及び画像データが入力される部分である。入力部１１は、ユーザＵ１の映像データが入力されてもよい。映像は、ユーザＵ１の音声データ及び画像データを含む。
端末１０は、入力部１１を含む。入力部１１は、ユーザＵ１の音声データ及び画像データが入力される部分である。入力部１１は、ユーザＵ１の映像データが入力されてもよい。映像は、ユーザＵ１の音声データ及び画像データを含む。
【0073】
端末１０は、制御部１２を含む。制御部１２は、ユーザＵ１の制御データを生成する部分である。ユーザＵ１の制御データは、入力部１１に入力されたユーザＵ１の音声データ及び画像データに基づいて生成される。画像データは、連続する複数の単位フレームによって構成される。単位フレームは、通常、ユーザＵ１の画像情報を含む。例えば６０フレーム／秒の画像データは、一秒間に６０個の単位フレームを含む。
【0074】
制御部１２は、ユーザＵ１の音声データ（言語データ）及びユーザＵ１の態様を示す態様データの少なくともいずれか一方に基づいて、ユーザＵ１の状態を推定する。ユーザＵ１の態様は、少なくとも、非言語行動を含む。非言語行動は、言語を用いない行動である。ユーザＵ１の態様は、例えば視線（視線移動）、姿勢、ジェスチャ、表情等である。顔の姿勢又は動作の例は、領き、首振り、首傾げ等である。上半身の姿勢又は動作の例は、胴体の向き、肩のねじり、肘の曲げ、手の上げ下げ等である。指の動きの例は、拍手、伸展、屈曲、外転、内転等である。表情の例は、思考、喜び、驚き、悲しみ、怒り等である。
【0075】
制御部１２は、音声データ及び画像データに基づいて、ユーザＵ１の状態を推定する。ユーザＵ１の状態は、ユーザＵ１の感情及び動作の少なくとも一方を含み得る。制御部１２は、ユーザＵ１の発話言語のキーワード、ユーザＵ１の感情、ユーザＵ１の姿勢、ユーザＵ１のジェスチャ、ユーザＵ１の音声のリズム（発話速度）及びユーザＵ１の動作速度等から、ユーザＵ１の状態を推定する。
【0076】
制御部１２は、例えば、以下の動作をトリガーとしてユーザＵ１の状態を推定し、制御データを生成する。
・ユーザＵ１の発したキーワード（ありがとう、ごめんさない、賛成、反対等）
・ユーザＵ１の感情認識（嬉しい、驚き、思考）
・ユーザＵ１のジェスチャ認識（頷き、挙手、首傾げ、拍手）
・ユーザＵ１の発話速度の検出
・ユーザＵ１の動作速度の検出
・ユーザＵ１の発したキーワード（ありがとう、ごめんさない、賛成、反対等）
・ユーザＵ１の感情認識（嬉しい、驚き、思考）
・ユーザＵ１のジェスチャ認識（頷き、挙手、首傾げ、拍手）
・ユーザＵ１の発話速度の検出
・ユーザＵ１の動作速度の検出
【0077】
本実施形態では、制御部１２は、学習済みモデル１３Ｌを用いてユーザの状態を推定する。学習済みモデル１３Ｌは、後述する記憶部１３に記憶される。学習済みモデル１３Ｌは、例えば、深層学習によって生成され得る。学習済みモデル１３Ｌは、複数の学習済みモデルを含み得る。
【0078】
制御部１２は、画像データを第１の学習済みモデルに入力することで、画像データに基づく第１の推定結果を得る。制御部１２は、音声データを第２の学習済みモデルに入力することで、音声データに基づく第２の推定結果を得る。制御部１２は、第１の推定結果及び第２の推定結果を第３の学習済みモデルに入力することで、ユーザＵ１の状態に係る推定結果を得る。制御部１２は、学習済みモデルの推定結果に基づいて、ユーザＵ１の状態を推定する。
【0079】
制御部１２は、推定したユーザＵ１の状態に基づいて、耳アニメーションＥ及び発話アニメーションＨの動作を制御するための制御データを生成する。以下、制御部１２が制御データを生成する一例について、図４～図７を参照して説明する。
【0080】
制御部１２は、例えば、ユーザＵ１の視線が端末１０の通話画面Ｇに注目している場合には、図４のタイプＡに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、耳を立たせると共に色を変化させる（着色する）制御データを生成する。
【0081】
制御部１２は、例えば、ユーザＵ１が頷いたり相槌を打ったりしている場合、及び／又は、ユーザＵ１が所定の発言（「うんうん」、「はい」等）をした場合には、図４のタイプＢに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、耳の上部１／３部分における前後の折り曲げを繰り返し実施させる制御データを生成する。
【0082】
制御部１２は、例えば、ユーザＵ１が嬉しいという感情を表している場合、及び／又は、ユーザＵ１が笑い声を発した場合には、図４のタイプＣに示されるように、キャラクタＣ１を軸中心に小刻みに所定時間（例えば、２秒間）回転（振動）させる制御データを生成する。
【0083】
制御部１２は、例えば、ユーザＵ１が他のユーザの発話に対して同意している態度を表している場合、及び／又は、ユーザＵ１が所定の発言（「賛成」等）をした場合には、図５のタイプＡに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、耳の上部１／２部分における前後の折り曲げを所定回数（例えば、２回）繰り返し実施させる制御データを生成する。
【0084】
制御部１２は、例えば、ユーザＵ１が思案（首をかしげる等）している場合、及び／又は、ユーザＵ１が所定の発言（「うーん」等）をした場合には、図５のタイプＢに示されるように、キャラクタＣ１を左右にゆっくり揺動させる制御データを生成する。
【0085】
制御部１２は、例えば、ユーザＵ１が他のユーザの発話に対して反対（人差し指を胸の前で交差等）の態度を表している場合、及び／又は、ユーザＵ１が所定の発言（「反対」等）をした場合には、図５のタイプＣに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、耳を交差させた状態を一定時間維持させる制御データを生成する。
【0086】
制御部１２は、例えば、ユーザＵ１が首を下げる動作をしている場合、及び／又は、ユーザＵ１が所定の発言（「ありがとう」、「ごめんなさい」等）をした場合には、図６のタイプＡに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、耳の上部２／３部分における折り曲げを一定時間維持させる制御データを生成する。
【0087】
制御部１２は、例えば、ユーザＵ１が挙手をしている場合には、図６のタイプＢに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、一方の耳を伸縮させる制御データを生成する。
【0088】
制御部１２は、例えば、ユーザＵ１の視線が一定時間通話画面Ｇから外れている場合には、図６のタイプＣに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、耳を左右に傾倒させると共に色を変化させる（無色にする）制御データを生成する。
【0089】
制御部１２は、例えば、発話者が存在しておらず、ユーザＵ１の視線が通話画面Ｇ内にある状態で沈黙している場合には、図７のタイプＡに示されるように、キャラクタＣ１の耳アニメーションＥにおいて、耳の色をゆっくりと連続的に変化させる制御データを生成する。
【0090】
制御部１２は、例えば、ユーザＵ１が発話者である場合には、図７のタイプＢに示されるように、キャラクタＣ１において、耳アニメーションＥの耳を立たせると共に色を変化させ、且つ、発話アニメーションＨを表示させる制御データを生成する。制御部１２は、例えば、ユーザＵ１の発話中、発話アニメーションＨが左右に伸縮する制御データを生成する。
【0091】
制御部１２は、上記の制御データにおいて、キャラクタＣ１の動作のリズムを制御する内容を含めることができる。制御部１２は、耳アニメーションＥの動作（折り曲げ、伸縮、振動、色変化等）に対して、リズムを調整（設定）した制御データを生成する。制御部１２は、発話アニメーションＨの動作（伸縮）に対して、リズムを調整した制御データを生成する。
【0092】
制御部１２は、音声データに基づいて発話速度を検出し、耳アニメーションＥ及び発話アニメーションＨの動作に発話速度に基づくリズムを反映させる。制御部１２は、音声モデル又は音響モデルに基づいて音声データをサブワード分割し、発話速度を検出し得る。制御部１２は、キャラクタＣ１の耳アニメーションＥ及び発話アニメーションＨの動作に、ユーザＵ１の発話速度に基づくリズムを反映させる。
【0093】
制御部１２は、画像データに基づいてユーザＵ１の身体の動作（揺れ等）速度を検出し、耳アニメーションＥの動作に動作速度に基づくリズムを反映させる。制御部１２は、姿勢推定モデルに基づいてキーポイント（身体の関節点）を検出し、時系列のシーンから所定時間の間隔での同一キーポイントの動きの軌跡を検出し、動作速度を検出し得る。制御部１２は、キャラクタＣ１の耳アニメーションＥの動作に、ユーザＵ１の動作速度に基づくリズムを反映させる。
【0094】
制御部１２は、制御データに基づいて、キャラクタＣ１，Ｃ２，Ｃ３の動作を制御する部分でもある。制御部１２は、生成した制御データ及び受信した制御データに基づいて、通話画面Ｇ（図２参照）にキャラクタＣ１，Ｃ２，Ｃ３を表示させると共に、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥ及び発話アニメーションＨの動作を制御する。本実施形態では、図２に示されるように、制御部１２は、キャラクタＣ１、キャラクタＣ２及びキャラクタＣ３を同じサイズで通話画面Ｇに表示させる。
【0095】
制御部１２は、ユーザＵ１が受話者（聞き手）である場合、受信した制御データに基づいて、キャラクタＣ１の耳アニメーションＥの動作を、発話者のキャラクタＣ２又はキャラクタＣ３の発話速度に基づくリズムに同調させる。制御部１２は、発話者が存在していない（ユーザが発言していない）場合、規定のリズム（全てのユーザのキャラクタに適用されるリズム）で、キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥを動作させる。
【0096】
制御部１２は、通話画面Ｇの映像データを生成する部分でもある。通話画面Ｇの映像データは、制御データに基づいて制御されるキャラクタＣ１、キャラクタＣ２及びキャラクタＣ３の映像データを含む。この他に、通話画面Ｇに現れるさまざまなオブジェクトが、通話画面Ｇの映像データに含まれてよい。
【0097】
端末１０は、記憶部１３を含む。記憶部１３は、端末１０の制御（処理）に必要な情報を記憶する部分である。図３には、記憶部１３に記憶される情報として、端末プログラム１３Ｐ及び学習済みモデル１３Ｌが例示される。端末プログラム１３Ｐは、端末１０を動作させるためのプログラムであり、制御部１２による制御等が実行されるようにコンピュータを動作させる。システム１００がコミュニケーション支援システムであるので、端末プログラム１３Ｐは、コミュニケーション支援プログラムともいえる。
【0098】
学習済みモデル１３Ｌは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で端末１０に提供されてもよい。あるいは、学習済みモデル１３Ｌは、搬送波に重畳されたデータ信号として通信ネットワークを介して端末１０に提供されてもよい。
【0099】
端末１０は、通信部１４を含む。通信部１４は、ネットワークＮ（図１参照）を介して、端末１０の外部装置と通信する部分である。端末１０の外部装置の例は、端末２０、端末３０及びサーバ４０である。通信部１４は、音声データ及び制御部１２が生成した制御データをサーバ４０に送信したり、音声データ及び制御データをサーバ４０から受信したりする。
【0100】
端末１０は、出力部１５を含む。出力部１５は、通話画面Ｇの映像を出力する。通話画面Ｇの映像は、制御部１２によって生成された通話画面Ｇの映像データに基づく映像である。
【0101】
＜サーバの構成＞
サーバ４０は、制御部４２を含む。制御部４２は、サーバ４０の動作を制御する。サーバ４０は、記憶部４３を含む。記憶部４３は、サーバ４０の制御に必要な情報を記憶する部分である。図３には、記憶部４３に記憶される情報として、サーバプログラム４３Ｐ及び受信データ４３Ｓが例示される。サーバプログラム４３Ｐは、サーバ４０を動作させるためのプログラムであり、制御部４２による制御等が実行されるようにコンピュータを動作させる。受信データ４３Ｓは、端末１０、端末２０及び端末３０からサーバ４０に送られるデータであり、端末１０、端末２０及び端末３０が生成した制御データを含み得る。
サーバ４０は、制御部４２を含む。制御部４２は、サーバ４０の動作を制御する。サーバ４０は、記憶部４３を含む。記憶部４３は、サーバ４０の制御に必要な情報を記憶する部分である。図３には、記憶部４３に記憶される情報として、サーバプログラム４３Ｐ及び受信データ４３Ｓが例示される。サーバプログラム４３Ｐは、サーバ４０を動作させるためのプログラムであり、制御部４２による制御等が実行されるようにコンピュータを動作させる。受信データ４３Ｓは、端末１０、端末２０及び端末３０からサーバ４０に送られるデータであり、端末１０、端末２０及び端末３０が生成した制御データを含み得る。
【0102】
サーバ４０は、通信部４４を含む。通信部４４は、ネットワークＮ（図１参照）を介して、サーバ４０の外部装置と通信する部分である。サーバ４０の外部装置の例は、端末１０、端末２０及び端末３０である。通信部４４は、ユーザＵ１の制御データ、ユーザＵ２の制御データ及びユーザＵ３の制御データを端末１０、端末２０及び端末３０からそれぞれ受信したり、端末１０、端末２０及び端末３０が生成した制御データを端末１０、端末２０及び端末３０のそれぞれに送信したりする。
【0103】
＜ハードウェア構成＞
端末１０及びサーバ４０の各機能部分に関するハードウェア構成の例を説明する。サーバ４０の通信部４４は、ネットワークＮにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ４０の制御部４２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部４２は、プロセッサ、クロック、内蔵メモリ、記憶部４３及び通信部４４を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ Ｏｎ ａ Ｃｈｉｐ）として構成されてもよい。制御部４２は、サーバプログラム４３Ｐに基づいて動作することで、サーバコンピュータをサーバ４０として動作させる。サーバ４０の記憶部４３は、フラッシュメモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の不揮発性記憶媒体を用いて構成され得る。
端末１０及びサーバ４０の各機能部分に関するハードウェア構成の例を説明する。サーバ４０の通信部４４は、ネットワークＮにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ４０の制御部４２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部４２は、プロセッサ、クロック、内蔵メモリ、記憶部４３及び通信部４４を集積した一つのハードウェア（ＳｏＣ：Ｓｙｓｔｅｍ Ｏｎ ａ Ｃｈｉｐ）として構成されてもよい。制御部４２は、サーバプログラム４３Ｐに基づいて動作することで、サーバコンピュータをサーバ４０として動作させる。サーバ４０の記憶部４３は、フラッシュメモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の不揮発性記憶媒体を用いて構成され得る。
【0104】
端末１０の入力部１１は、マイクロフォン、カメラ等を用いて構成され得る。マイクロフォンにより、ユーザＵ１の音声が取得される。すなわち、マイクロフォンは、音声を取得する音声センサの一種である。カメラにより、ユーザＵ１の画像が取得される。すなわち、カメラは、画像を取得する画像センサの一種である。さらに、入力部１１は、キーボード、マウス、タッチパネルの操作デバイスも用いて構成されてよい。端末１０の制御部１２は、サーバ４０の制御部４２と同様に構成され得る。制御部１２は、端末プログラム１３Ｐに基づいて動作することで、汎用コンピュータを端末１０として動作させる。端末１０の記憶部１３は、サーバ４０の記憶部４３と同様に構成され得る。端末１０の通信部１４は、サーバ４０の通信部４４と同様に構成され得る。端末１０の出力部１５は、液晶パネル、有機ＥＬパネル等（タッチパネルでもよい）等のディスプレイ装置を用いて構成され得る。さらに、出力部１５は、スピーカも用いて構成されてよい。
【0105】
＜システムの動作＞
図８は、システム１００において実行される処理（コミュニケーション支援方法）の例を示すシーケンス図である。図８に示される処理は、コミュニケーションが継続している間、繰り返し実行され得る。
図８は、システム１００において実行される処理（コミュニケーション支援方法）の例を示すシーケンス図である。図８に示される処理は、コミュニケーションが継続している間、繰り返し実行され得る。
【0106】
ステップＳ１からステップＳ３において、制御データが生成される。具体的に、ステップＳ１において、端末１０が、制御データを生成する。ステップＳ２において、端末２０が、制御データを生成する。ステップＳ３において、端末３０が、制御データを生成する。
【0107】
ステップＳ４からステップＳ６において、制御データがサーバ４０に送信される。具体的に、ステップＳ４において、端末１０が、制御データをサーバ４０に送信する。ステップＳ５において、端末２０が、制御データをサーバ４０に送信する。ステップＳ６において、端末３０が、制御データをサーバ４０に送信する。ステップＳ７において、制御データが受信データ４３Ｓとしてサーバ４０の記憶部４３に格納される。
【0108】
ステップＳ８からステップＳ１０において、制御データが端末１０、端末２０及び端末３０に送信される。具体的に、ステップＳ８において、サーバ４０が、制御データを端末１０に送信する。ステップＳ９において、サーバ４０が、制御データを端末２０に送信する。ステップＳ１０において、サーバ４０が、制御データを端末３０に送信する。
【0109】
ステップＳ１１からステップＳ１３において、キャラクタが制御される。具体的に、ステップＳ１１において、端末１０が、先のステップＳ８で受信した制御データに基づいて、キャラクタを制御する。これにより、端末１０に表示される通話画面Ｇ中のキャラクタが、ユーザＵ１、ユーザＵ２及びユーザＵ３の動作を反映するように動作する。端末１０は、通話相手である他のユーザを識別可能なアイコンＢと、当該他のユーザの状態を示す耳アニメーションＥと、を通話画面において一体的に表示させる。
【0110】
ステップＳ１２において、端末２０が、先のステップＳ９で受信した制御データに基づいて、キャラクタを制御する。これにより、端末２０に表示される通話画面Ｇ中のキャラクタが、ユーザＵ１、ユーザＵ２及びユーザＵ３の動作を反映するように動作する。ステップＳ１３において、端末３０が、先のステップＳ１０で受信した制御データに基づいて、キャラクタを制御する。これにより、端末３０に表示される通話画面Ｇ中のキャラクタが、ユーザＵ１、ユーザＵ２及びユーザＵ３の動作を反映するように動作する。
【0111】
図９は、端末１０、端末２０及び端末３０において実行される処理（コミュニケーション支援方法）の例を示すフローチャートである。図９に示される処理は、コミュニケーションが継続している間、繰り返し実行され得る。
【0112】
ステップＳ２１において、画像データが入力される。ステップＳ２２において、画像データに基づいて、態様認識（感情認識、ジェスチャ認識）が行われる。具体的には、端末１０、端末２０及び端末３０において、画像データを学習済みモデルに入力し、態様認識の推定結果を得る。学習済みモデルは、画像データが入力されると、態様認識の推定結果を出力する。ステップＳ２３において、動作速度が検出される。
【0113】
ステップＳ２４において、音声データが入力される。ステップＳ２５において、音声データに基づいて、音声認識が行われる。具体的には、端末１０、端末２０及び端末３０において、音声データを学習済みモデルに入力し、音声認識の推定結果を得る。学習済みモデルは、音声データが入力されると、音声認識の推定結果を出力する。ステップＳ２６において、発話速度が検出される。そして、ステップＳ２７において、制御データが生成される。
【0114】
［効果］
以上説明したように、本実施形態に係るシステム１００では、端末１０、端末２０及び端末３０のそれぞれの制御部１２は、アイコンＢと、ユーザＵ１，Ｕ２，Ｕ３の状態を示す耳アニメーションＥと、を通話画面Ｇにおいて一体的に表示させる。これにより、システム１００では、通話相手である他のユーザの状態を認識することができる。したがって、システム１００では、端末１０、端末２０及び端末３０を用いて行う通話において円滑なコミュニケーションを実現できる。
以上説明したように、本実施形態に係るシステム１００では、端末１０、端末２０及び端末３０のそれぞれの制御部１２は、アイコンＢと、ユーザＵ１，Ｕ２，Ｕ３の状態を示す耳アニメーションＥと、を通話画面Ｇにおいて一体的に表示させる。これにより、システム１００では、通話相手である他のユーザの状態を認識することができる。したがって、システム１００では、端末１０、端末２０及び端末３０を用いて行う通話において円滑なコミュニケーションを実現できる。
【0115】
コミュニケーションにおいて、会話中の頷き等、発話や行動に対する同調は、他のユーザとの共感を増大させ、協調作業の効率を向上することが知られている。そのため、通話画面Ｇにおいて、耳アニメーションＥをユーザＵ１，Ｕ２，Ｕ３の状態に応じて動作させることにより、コミュニケーションの向上を図ることができる。特に、本実施形態に係るシステム１００では、制御部１２は、音声データに基づいて発話速度を検出し、耳アニメーションＥ及び発話アニメーションＨの動作に発話速度に基づくリズムを反映させている。また、制御部１２は、画像データに基づいてユーザＵ１の身体の動作（揺れ等）速度を検出し、耳アニメーションＥの動作に動作速度に基づくリズムを反映させている。したがって、システム１００では、ユーザＵ１，Ｕ２，Ｕ３の状態をより的確に把握することができる。
【0116】
また、耳アニメーションＥを含むキャラクタＣ１，Ｃ２，Ｃ３は、絵文字、アバター及び映像対話に対して、以下の優位性を有している。キャラクタＣ１，Ｃ２，Ｃ３は、絵文字に比べて、リアルタイム性、ダイナミック性に優れている。また、アバターの場合、そのデザインに印象が強く左右される。また、アバターをユーザの顔に単純に似せて作成すると、不気味の谷の影響を受け得る。これに対して、キャラクタＣ１，Ｃ２，Ｃ３は、同様のデザインであるため、ユーザ毎に印象が左右されず、不気味な印象も与えない。また、映像通話では、カメラ目線ではないため、視線が一致しない不自然な表情（カメラが上に配置されている場合、うつむき映像等）となるため、相手が違和感を覚えるおそれがある。また、多くの伝送容量を必要とする。これに対して、キャラクタＣ１，Ｃ２，Ｃ３の場合、相手に違和感を与えることを抑制でき、かつ、伝送容量も小さくすることができる。
【0117】
また、キャラクタＣ１，Ｃ２，Ｃ３は、顔としての表情を持たないが、それを特徴として、効果的なコミュニケーションの生成に作用させている。顔表情でない非言語表現として、耳アニメーションＥの動作や傾きで、無限の顔表情に相当する感性を伝達させている。それを可能としているのは、音声、対話の文脈と連動した耳アニメーションＥの視覚的動作であり、非言語表現の受け取り手の想像力の活用である。想像力の活用によって、深い、機微な感性を伝えることができる。そのため、顔表情とは異なる動作部位（耳アニメーションＥ）への変換が重要となる。
【0118】
また、ユーザＵ１，Ｕ２，Ｕ３の状態を示す耳アニメーションＥが動作するため、例えば、リモート講義等において、話し手が一方に発話するような状況であっても、聞き手の反応を得ることができる。そのため、話し手は、聞き手の反応に応じた対応を取ることができる。したがって、円滑なコミュニケーションを実現することができる。
【0119】
また、ユーザＵ１，Ｕ２，Ｕ３の自身の状態を耳アニメーションＥによって他のユーザに伝えることができるため、会話による感情表現が苦手な場合であっても、相手に対して自身の状態を伝えることができる。このように、非言語表現を強化できるため、円滑なコミュニケーションの実現が可能となる。
【0120】
本実施形態に係るシステム１００では、ユーザＵ１，Ｕ２，Ｕ３の状態を示す状態アニメーションは、耳を模した耳アニメーションＥであり、ユーザＵ１，Ｕ２，Ｕ３の状態の変化に応じて動作する。例えば、状態アニメーションが通話相手のユーザＵ１，Ｕ２，Ｕ３の顔アニメーションである場合、通話画面Ｇ上において、顔の微妙な変化から感情の変化等を読み取らなければならない。また、顔アニメーションのさまざまな部位の動作に注目しなければならないため、ユーザＵ１，Ｕ２，Ｕ３の状態を把握することが容易ではない。システム１００では、ユーザＵ１，Ｕ２，Ｕ３の状態の変化が耳を模した耳アニメーションＥの動作によって表現されるため、耳アニメーションＥだけに注目すればよい。したがって、通話相手の状態を容易に把握することができる。
【0121】
本実施形態に係るシステム１００では、識別情報は、通話画面Ｇに表示されるアイコンＢであり、ユーザＵ１，Ｕ２，Ｕ３を示す画像及びユーザＵ１，Ｕ２，Ｕ３を示すテキストの少なくとも一方を含んでいる。この構成では、通話画面Ｇにおいて、通話相手であるユーザＵ１，Ｕ２，Ｕ３を一見して認識することができる。
【0122】
本実施形態に係るシステム１００では、耳アニメーションＥは、ユーザＵ１，Ｕ２，Ｕ３の感情及び動作の少なくとも一方に応じて動作する。この構成では、通話相手であるユーザＵ１，Ｕ２，Ｕ３の感情や動作を認識することができる。
【0123】
本実施形態に係るシステム１００では、ユーザＵ１，Ｕ２，Ｕ３の音声データ及びユーザＵ１，Ｕ２，Ｕ３の態様を示す態様データの少なくともいずれか一方に基づいて、ユーザの状態を推定するステップと、ユーザＵ１，Ｕ２，Ｕ３の状態に基づいて、耳アニメーションＥの動作を制御するための制御データを生成するステップと、制御データを出力するステップと、を実行する。この構成では、耳アニメーションＥの動作を制御するための制御データを出力するため、ユーザＵ１，Ｕ２，Ｕ３の状態に係る全てのデータを出力する場合に比べて、端末１０、端末２０及び端末３０から出力（送信）されるデータ容量を小さくすることができる。そのため、通信速度が遅かったり、大容量のデータ通信が行えなかったりする通信環境においても、端末１０、端末２０及び端末３０を用いて行う通話において円滑なコミュニケーションを実現できる。
【0124】
本実施形態に係るシステム１００では、ユーザＵ１，Ｕ２，Ｕ３の状態を推定するステップでは、学習済みモデル１３Ｌを用いてユーザＵ１，Ｕ２，Ｕ３の状態を推定し、学習済みモデルは、音声データ及び態様データの少なくともいずれか一方が入力されると、ユーザの状態を出力する。この構成では、ユーザＵ１，Ｕ２，Ｕ３の状態を高精度に推定することが可能となる。
【0125】
本実施形態に係るシステム１００は、発話者の音声データに基づく発話アニメーションＨであって耳アニメーションＥとは異なる発話アニメーションＨを、発話者のアイコンＢと一体的に通話画面Ｇに表示させるステップを実行する。発話アニメーションＨは、発話者の発話の態様に応じて動作する。この構成では、発話者を一見して認識することができると共に、発話者の発話状態を発話アニメーションＨによって認識することができる。
【0126】
本実施形態に係るシステム１００では、例えば、ユーザＵ１のキャラクタＣ１と、ユーザＵ２のキャラクタＣ２と、ユーザＵ３のキャラクタＣ３とを、通話画面Ｇに表示させる。この構成では、ユーザＵ１，Ｕ２，Ｕ３が自身の耳アニメーションＥを確認することができる。また、ユーザＵ１，Ｕ２，Ｕ３のそれぞれの耳アニメーションＥが通話画面Ｇに一緒に表示されるため、ユーザＵ１，Ｕ２，Ｕ３が同一空間に存在しているような印象を与えることができ、臨場感、一体感のある会話を実現することができる。その結果、円滑なコミュニケーションを実現できる。
【0127】
本実施形態に係るシステム１００では、通話画面Ｇにおいて、キャラクタＣ１，Ｃ２，Ｃ３を同じサイズで表示させる。この構成では、同じサイズでキャラクタＣ１，Ｃ２，Ｃ３を表示することにより、ユーザＵ１，Ｕ２，Ｕ３が同一空間に存在しているような印象をより一層与えることができるため、より一層、臨場感、一体感のある会話を実現することができる。
【0128】
以上、本開示の第１実施形態について説明してきたが、本開示は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更が可能である。
【0129】
上記第１実施形態では、端末１０、端末２０及び端末３０において制御データを生成する形態を一例に説明した。しかし、制御データは、サーバ４０によって生成されてもよい。この構成では、端末１０、端末２０及び端末３０は、音声データ及び画像データをサーバ４０に送信し、サーバ４０は、音声データ及び画像データに基づいて、制御データを生成する。この場合、サーバプログラム４３Ｐは、コミュニケーション支援プログラムともいえる。また、制御データは、他の端末１０、端末２０及び端末３０のそれぞれから送信された音声データ及び画像データに基づいて、端末１０、端末２０及び端末３０のそれぞれにおいて生成されてもよい。
【0130】
上記第１実施形態では、端末１０の入力部１１がカメラを用いて構成され、カメラにより、ユーザＵ１の画像が取得される形態を一例に説明した。しかし、端末１０は、レーザ等によって、態様データを取得してもよい。また、動作速度の検出には、赤外線センサアレイ、３軸センサ、圧力センサ等を用いてもよい。端末２０及び端末３０についても同様である。なお、ヘッドマウントディスプレイ（ＨＭＤ）端末である場合には、ユーザの視線や瞳孔、ユーザの頭部の動作を適切に検出することができる。
【0131】
上記第１実施形態では、端末１０，２０，３０の通話画面ＧにアイコンＢ及び耳アニメーションＥ等が表示される形態を一例に説明した。しかし、端末がウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末である場合には、アイコンＢ及び耳アニメーションＥ等がレンズ等に表示されてもよいし、ホログラムで表示されてもよい。すなわち、サイバー空間において、キャラクタＣ１，Ｃ２，Ｃ３を表示させる。サイバー空間には、ＶＲ（Virtual Reality：仮想現実）、ＡＲ（Augmented Reality：拡張現実）、ＭＲ（Mixed Reality：混合現実）が含まれ得る。
【0132】
上記第１実施形態では、制御部１２が、ユーザＵ１の音声データ及びユーザＵ１の態様を示す態様データの少なくともいずれか一方に基づいて、ユーザＵ１，Ｕ２，Ｕ３の状態を推定する形態を一例に説明した。しかし、ユーザの状態は、更に環境情報も加味して推定されてもよい。環境情報は、例えば、音楽（ＢＧＭ）、位置情報等である。
【0133】
上記第１実施形態では、学習済みモデル１３Ｌによって、ユーザの状態を推定する形態を一例に説明した。しかし、ユーザの状態は、他の方法により推定されてもよい。例えば、音声データは、自然言語処理（ＮＬＰ：Natural Language Processing）によって処理されてもよい。画像データは、パターンマッチングによって処理されてもよい。例えば、画像データを解析して、ユーザＵ１、ユーザＵ２及びユーザＵ３の態様に対応するパターンを決定してよい。画像パターンは、予め記憶部４３に記憶された有限個の所与のパターンの中から選択されてもよい。
【0134】
また、ユーザの状態は、予め設定された言葉の音声認識によって決定されてもよい。例えば、所定の言葉（文字、音声を含む）と耳アニメーションＥの動作パターンとが対応付けられており、所定の言葉が発せられた場合、所定の言葉に対応する動作パターンに基づいて耳アニメーションＥを動作させてもよい。動作パターンは、予め設定されている標準動作パターン、及び、ユーザＵ１，Ｕ２，Ｕ３が予め作成した作成パターンの少なくとも一方から選択されて所定の言葉と対応付けられてもよい。
【0135】
上記第１実施形態のように、耳アニメーションＥは、音声や動作等のセンシング結果より動作が設定（決定）される。これに加えて、使用する本人の所定の言葉の登録を行い、所定の言葉と、耳アニメーションＥの動作パターンとを対応付けしておくと、認識効率が向上するため、ユーザＵ１，Ｕ２，Ｕ３の状態に適した状態アニメーションを迅速に表示させることができる。また、ユーザＵ１，Ｕ２，Ｕ３の独自の言葉使いに対しての非言語表現に対応できる。動作パターンは、予め設定されている標準動作パターン及び、ユーザＵ１，Ｕ２，Ｕ３が予め作成した作成パターンの少なくとも一方から選択することができる。このように、動作パターンを作成し、作成パターンも動作パターンとして使用できるため、本人の独自言葉に対応した独自の非言語表現、動作パターンとすることができる。これにより、非言語表現の創作もできる。したがって、より豊かなコミュニケーションを実現できる。また、新しい言葉、新しい非言語表現をユーザがアップデートできる。
【0136】
所定の言葉と動作パターンとの対応付けについて、例えば、軽いうなずきの動作パターンと対応付けられる言葉として、本人が日頃よく使う表現、例えば、「え～、え～」、「うん、うん」、「はい、はい」、「なるほど」、「そう」、「やはり」、「そうですね」、「わかります」、「そう、思います」等の言葉を、本人自身の言葉（音声）で登録する。対話中には、この登録情報を音声認識させて、所定の言葉に紐付く動作パターンを選択することにより、軽いうなずき動作を表現できる。また、所定の言葉を登録できるため、方言や業界特殊言葉等にも対応できる。これにより、独自の表現を非言語表現として表現することができる。なお、耳アニメーションＥに限られず、後述する腕アニメーションＡ及び足アニメーションＦについても、所定の言葉と対応付けることができる。
【0137】
上記第１実施形態では、制御部１２が、第１の推定結果及び第２の推定結果を第３の学習済みモデルに入力することで、ユーザＵ１の状態に係る推定結果を得る形態を一例に説明した。しかし、制御部１２は、第１の推定結果及び第２の推定結果を得た場合、ルールベースによって、ユーザの状態を推定してもよい。また、第１の推定結果及び第２の推定結果のそれぞれに、重み付けを行ってもよい。
【0138】
上記第１実施形態に加えて、通話相手の端末に自身のキャラクタを表示するか否か選択可能な機能を有していてもよい。これにより、例えば、複数のユーザのうち、一人だけキャラクタが通話画面Ｇに表示されており、他のユーザは当該ユーザの映像を表示させることができる。この機能は、ユーザのプライバシー保全、伝送帯域削減に有効である。
【0139】
上記第１実施形態に加えて、図１０に示されるように、キャラクタＣ１，Ｃ２，Ｃ３のそれぞれは、所定の周期で揺動してもよい。所定の周期は、予め初期設定されており、各ユーザＵ１，Ｕ２，Ｕ３の状態（身体の揺れ、呼吸、視線変化、心拍、血圧等）に基づいて変化する。図１０に示す例では、各ユーザＵ１，Ｕ２，Ｕ３の周期が異なっており、揺動が同期していない。すなわち、キャラクタＣ１，Ｃ２，Ｃ３が、それぞれ異なる周期で揺動している状態を示している。
【0140】
キャラクタＣ１，Ｃ２，Ｃ３の揺動の周期は、ユーザＵ１，Ｕ２，Ｕ３の会話の状況及び経過時間に基づいて変化する。揺動の周期は、発話者の状態を基準として変化する。具体的には、揺動の周期は、発話者の音量変化リズム、発話者の声のトーン、発話者の発話速度に基づき、経過時間もパラメータとして、ユーザＵ１，Ｕ２，Ｕ３の揺動の周期を変化させる。制御部１２は、発話者の状態に基づいて、キャラクタＣ１，Ｃ２，Ｃ３の揺動の動作を同期させる。例えば、制御部１２は、発話者の音量変化リズム、声のトーン及び発話速度が閾値以上となり、且つ、通話を開始してからの経過時間が所定時間を超えた場合に、キャラクタＣ１，Ｃ２，Ｃ３の揺動の周期を同じにする制御データを生成する。具体的には、制御部１２は、例えば、発話者がユーザＵ１である場合、キャラクタＣ１の揺動の周期に、キャラクタＣ２，Ｃ３の周期を合わせる。なお、制御部１２は、各ユーザＵ１，Ｕ２，Ｕ３間のミラーリングレベル、バックトラッキング、ページング発話量等も検出して、制御データを生成してもよい。
【0141】
キャラクタＣ１，Ｃ２，Ｃ３の揺動の周期が同期すると、図１１に示されるように、キャラクタＣ１，Ｃ２，Ｃ３の揺動が同期する。すなわち、キャラクタＣ１，Ｃ２，Ｃ３が、同じ周期で同じ方向に揺動する。このように、発話者の状態に基づいてキャラクタＣ１，Ｃ２，Ｃ３の揺動を同期させることにより、会話の状態に応じてキャラクタＣ１，Ｃ２，Ｃ３の動作に一体感が表現される。したがって、臨場感、一体感のある会話を実現することができる。
【0142】
上記第１実施形態に加えて、図１２に示されるように、キャラクタＣ１，Ｃ２，Ｃ３は、腕アニメーションＡを更に含んでいてもよい。腕アニメーションＡは、腕及び手の少なくとも一方を模したアニメーションであり、ユーザの状態の変化に応じて動作する。腕アニメーションＡは、耳アニメーションＥと同様に、ユーザの感情及び動作の少なくとも一方に応じて動作する。腕アニメーションＡは、耳アニメーションＥと同じ内容の動作をしてもよいし、耳アニメーションＥと異なる内容の動作をしてもよい。図１２に示す例では、腕アニメーションＡと耳アニメーションＥとは、同じ内容の動作をしている。具体的には、キャラクタＣ３は、ユーザＵ３の挙手の動作に応じて、耳アニメーションＥにおいて一方の耳が伸縮していると共に、腕アニメーションＡにおいて一方の腕を上げている。制御部１２は、ユーザＵ３が挙手をしている場合には、キャラクタＣ２の耳アニメーションＥにおいて一方の耳を伸縮させると共に、腕アニメーションＡにおいて一方の腕を上げる制御データを生成する。
【0143】
腕アニメーションＡは、例えば、図１２に示すキャラクタＣ１，Ｃ２で示す状態が定位置（初期位置）である。腕アニメーションＡは、ユーザの動作に応じて、拍手、手を振る、腕を交差させる等の動作を行う。
【0144】
上記第１実施形態では、アイコンＢにおいて、ユーザを識別可能なテキストとして、「Ａ」、「Ｂ」、「Ｃ」が表示される形態を一例に説明した。しかし、アイコンＢには、図１３のタイプＡに示されるように、企業名（例えば、「ＸＸＸ」）、団体名、クラブ名、ブランド名等が表示されてもよいし、図１３のタイプＢに示されるように、プレゼンター、先生、生徒、カウンセラー、クライアント等の役割が表示されてもよいし、図１３のタイプＣに示されるように、企業のロゴ等が表示されてもよい。
【0145】
上記第１実施形態に加えて、アイコンＢには、絵文字、予め設定された画像及びテキストの少なくとも一つが表示されてもよい。図１４のタイプＡに示されるように、アイコンＢには、絵文字が表示される。絵文字は、ユニコードで規定されているものである。絵文字は、ユーザの感情及び動作の少なくとも一方に応じて自動で選択されて表示されてもよいし、ユーザの操作によって選択されて表示されてもよい。自動で選択される場合、制御部１２は、例えば、ユーザが嬉しいという感情を表している場合、及び／又は、ユーザが笑い声を発した場合には、笑顔を示す絵文字を表示させる制御データを生成する。ユーザの操作によって手動で選択される場合には、絵文字の一覧から任意の絵文字が選択されてもよいし、所定の操作（キー操作等）によって絵文字が選択されてもよい。
【0146】
図１４のタイプＢに示されるように、アイコンＢには、予め設定された画像が表示される。画像は、ユーザによって任意に設定（作成）可能である。図１４のタイプＢに示す例では、口の形を模した画像（スマイルバー）を示している。各画像には、ユーザの感情及び動作に係る情報が対応付けられている。画像は、ユーザの感情及び動作の少なくとも一方に応じて自動で選択されて表示されてもよいし、ユーザの操作によって選択されて表示されてもよい。自動で選択される場合、制御部１２は、例えば、ユーザが嬉しいという感情を表している場合、及び／又は、ユーザが笑い声を発した場合には、笑顔を示す画像を表示させる制御データを生成する。ユーザの操作によって手動で選択される場合には、画像の一覧から任意の絵文字が選択されてもよいし、所定の操作（キー操作等）によって画像が選択されてもよい。
【0147】
図１４のタイプＣに示されるように、アイコンＢには、テキストが表示される。テキストは、予め設定されていてもよいし、ユーザによって入力されてもよい。テキストは、ユーザの感情及び動作の少なくとも一方に応じて自動で選択されて表示されてもよいし、ユーザの操作によって選択されて表示されてもよい。自動で選択される場合、制御部１２は、例えば、ユーザが他のユーザの発話に対して反対（人差し指を胸の前で交差等）の態度を表している場合、及び／又は、ユーザが所定の発言（「反対」等）をした場合には、「反対」のテキストを表示させる制御データを生成する。ユーザの操作によって手動で選択される場合には、テキストの一覧から任意の絵文字が選択されてもよいし、所定の操作（キー操作等）によってテキストが選択されてもよい。
【0148】
上記第１実施形態に加えて、キャラクタＣ１，Ｃ２，Ｃ３において、ユーザの視線に係る情報が表示されてもよい。制御部１２は、検出されたユーザの視線に基づいて、キャラクタＣ１，Ｃ２，Ｃ３に視線に係る情報を表示させる制御データを生成する。以下、図１５～図１８を参照して、具体的に説明する。以下の説明では、ユーザＵ１とユーザＵ２とが通話している態様を一例に説明する。図１５のタイプＡ、図１６のタイプＡ、図１７のタイプＡ及び図１８のタイプＡは、ユーザＵ１の端末１０の通話画面Ｇを示しており、図１５のタイプＢ、図１６のタイプＢ、図１７のタイプＢ及び図１８のタイプＢは、ユーザＵ２の端末２０の通話画面Ｇを示している。
【0149】
図１５のタイプＡ及び図のタイプＢでは、ユーザＵ１及びユーザＵ２のそれぞれは、キャラクタＣ１及びキャラクタＣ２を見つめていない。すなわち、ユーザＵ１及びユーザＵ２の視線が、キャラクタＣ１及びキャラクタＣ２上に無い。ユーザＵ１がユーザＵ２のキャラクタＣ２を見つめると、図１６のタイプＡに示されるように、キャラクタＣ２の耳アニメーションＥに視線送信情報ＧＴが表示される。視線送信情報ＧＴは、ユーザＵ１がキャラクタＣ２を見つめていることを示している。視線送信情報ＧＴは、例えば、楕円形等を呈している。視線送信情報ＧＴは、例えば、目のアイラインを模している。また、ユーザＵ１がユーザＵ２のキャラクタＣ２を見つめると、図１６のタイプＢに示されるように、キャラクタＣ１の耳アニメーションＥに視線受信情報ＧＲが表示される。視線受信情報ＧＲは、ユーザＵ１がキャラクタＣ２を見つめていることを示している。視線受信情報ＧＲは、例えば、黒丸であり、円形状を呈している。視線受信情報ＧＲは、例えば、目の瞳を模している。
【0150】
さらに、ユーザＵ２がユーザＵ１のキャラクタＣ１を見つめると、図１７のタイプＡに示されるように、キャラクタＣ２の耳アニメーションＥに視線一致情報ＧＣが表示される。視線一致情報ＧＣは、ユーザＵ１がキャラクタＣ２を見つめていると共に、ユーザＵ２がキャラクタＣ１を見つめていることを示している。すなわち、アイコンタクトが取れていることを示している。視線一致情報ＧＣは、例えば、視線送信情報ＧＴと視線受信情報ＧＲとが重ねられた形態を有している。視線一致情報ＧＣは、例えば、目を模している。同様に、ユーザＵ２がユーザＵ１のキャラクタＣ１を見つめると、図１７のタイプＢに示されるように、キャラクタＣ１の耳アニメーションＥに視線一致情報ＧＣが表示される。
【0151】
また、ユーザＵ１がキャラクタＣ１を見つめると、図１８のタイプＡに示されるように、キャラクタＣ１の耳アニメーションＥに視線一致情報ＧＣが表示される。このとき、ユーザＵ２はキャラクタＣ１及びキャラクタＣ２のいずれも見つめていないため、図１８のタイプＢに示されるように、ユーザＵ２の通話画面Ｇには視線一致情報ＧＣは表示されない。
【0152】
なお、視線送信情報ＧＴ、視線受信情報ＧＲ及び視線一致情報ＧＣのデザイン、位置、大きさ等は、適宜設定することができる。また、ユーザが多数存在しており、特定のユーザが発話者になる場合（例えば、講演会等の場合）には、視線送信情報ＧＴが複数のユーザのキャラクタに同時に表示されるように設定することも可能である。また、視線の検出については、検出領域を設定することができる。具体的には、例えば、キャラクタＣ１，Ｃ２，Ｃ３の周囲を含めた広い領域に設定したり、キャラクタＣ１，Ｃ２，Ｃ３の一部の領域等の狭い領域に設定したりすることができる。検出領域を設定することによって、ユーザＵ１，Ｕ２，Ｕ３の感性、状況に応じた制御が可能となる。
【0153】
上記の視線送信情報ＧＴ、視線受信情報ＧＲ及び視線一致情報ＧＣを表示させる具体的な方法について説明する。以下の説明においては、ユーザＵ１，Ｕ２，Ｕ３が端末１０，２０，３０において通話する場合について説明する。端末１０，２０，３０の制御部１２は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報を含む制御データを生成する。端末１０，２０，３０は、制御データをサーバ４０に送信する。サーバ４０は、端末１０，２０，３０に制御データを送信する。
【0154】
端末１０，２０，３０の制御部１２は、サーバ４０から送信された制御データに基づいて、キャラクタＣ１，Ｃ２，Ｃ３を制御する。具体的に、制御部１２は、制御データに基づいて、キャラクタＣ１，Ｃ２，Ｃ３に、視線送信情報ＧＴ、視線受信情報ＧＲ及び視線一致情報ＧＣのいずれかを表示させる。
【0155】
以上説明したように、キャラクタＣ１，Ｃ２，Ｃ３において視線送信情報ＧＴ、視線受信情報ＧＲ及び視線一致情報ＧＣを表示させることにより、ユーザＵ１，Ｕ２，Ｕ３の視線を認識（意識）したり、キャラクタＣ１，Ｃ２，Ｃ３を介してアイコンタクトを取ったりすることができる。これにより、通話相手が自分に興味を持っているか等の状況を確認したり、会話を理解しているか等を確認したりすることができる。そのため、円滑なコミュニケーションを実現できる。
【0156】
上記第１実施形態では、図７のタイプＢに示されるように、発話アニメーションＨが、左右に伸縮する動作をする形態を一例に説明した。しかし、発話アニメーションとしては、発話者の耳アニメーションＥにおいて、両耳が根元から同位相で動いてもよいし、各耳が逆位相で交互に動いてもよい。また、耳アニメーションＥの両耳が、発話に応じて同時に伸長変化してもよい。発話アニメーションの動作は、ユーザによって選択可能である。
【0157】
上記第１実施形態では、キャラクタＣ１，Ｃ２，Ｃ３が二次元のコンピュータグラフィックによって描画されている形態を一例に説明した。しかし、キャラクタＣ１，Ｃ２，Ｃ３は、三次元のコンピュータグラフィックによって描画されていてもよい。三次元のキャラクタについて、図１９～図２１を参照して説明する。図１９～図２１では、ユーザＵ２のキャラクタＣ２を一例に説明する。図１９のタイプＡ、図２０のタイプＡ及び図２１のタイプＡは、キャラクタＣ２の動作前の状態を示しており、図１９のタイプＢ、図２０のタイプＢ及び図２のタイプＢは、キャラクタＣ２の動作後の状態を示している。
【0158】
図１９～図２１に示されるように、キャラクタＣ２は、ボディＢ及び耳アニメーションＥを含んで構成される。キャラクタＣ２では、ボディＢと耳アニメーションＥとが通話画面Ｇにおいて、一体的に表示される。ボディＢは、通話相手であるユーザを識別可能な識別情報である。ボディＢは、ユーザを示す画像及びユーザを示すテキストの少なくとも一方を含む。キャラクタＣ２には、影が表示される。図１９～図２１に示す例では、ボディＢは、球状を呈しており、ユーザを識別可能なテキスト（「Ｂ」）を含んでいる。キャラクタＣ２（Ｃ１，Ｃ３）は、二次元のキャラクタと同様に発話アニメーション（図示省略）を含んで構成されていてもよいし、腕アニメーションＡ（図２２参照）を含んで構成されていてもよい。
【0159】
続いて、キャラクタＣ２の動作について説明する。キャラクタＣ２において、ボディＢは、Ｘ軸、Ｙ軸及びＺ軸を中心に回動可能である。ボディＢは、ユーザの状態の変化に応じて動作する。ボディＢは、耳アニメーションＥと同様に、ユーザの感情及び動作の少なくとも一方に応じて動作する。ボディＢは、耳アニメーションＥと同じ内容の動作をしてもよいし、耳アニメーションＥと異なる内容の動作をしてもよい。図１９のタイプＢ、図２０のタイプＢ及び図２１のタイプＢに示す例では、ボディＢと耳アニメーションＥとは、同じ内容の動作をしている。
【0160】
図１９のタイプＢに示されるように、キャラクタＣ２は、ボディＢがＸ軸を中心に前後に回動する動作を繰り返していると共に、耳アニメーションＥにおいて耳の上部の折り曲げを繰り返している。制御部１２は、ユーザＵ２が頷いたり相槌を打ったりしている場合、及び／又は、ユーザＵ２が所定の発言（「うんうん」、「はい」等）をした場合には、ボディＢにおいてＸ軸を中心に前後に回動を繰り返し実施させると共に、キャラクタＣ１の耳アニメーションＥにおいて耳の上部１／３部分における前後の折り曲げを繰り返し実施させる制御データを生成する。
【0161】
図２０のタイプＢに示されるように、キャラクタＣ２は、ボディＢがＹ軸を中心に左右に回動する動作を繰り返していると共に、耳アニメーションＥにおいて耳が左右に揺動している。制御部１２は、ユーザＵ２が思案（首をかしげる等）している場合、及び／又は、ユーザＵ２が所定の発言（「うーん」等）をした場合には、ボディＢにおいてＹ軸を中心に左右に回動を繰り返し実施させると共に、耳アニメーションＥにおいて耳を左右に揺動させる制御データを生成する。
【0162】
図２１のタイプＢに示されるように、キャラクタＣ２は、ボディＢがＺ軸を中心に回動する動作を繰り返していると共に、耳アニメーションＥにおいて耳が左右に回動している。制御部１２は、ユーザＵ２が他のユーザの発話に対して反対（人差し指を胸の前で交差等）の態度を表している場合、及び／又は、ユーザＵ２が所定の発言（「反対」等）をした場合には、ボディＢにおいてＺ軸を中心に回動を繰り返し実施させると共に、耳アニメーションＥにおいて耳を左右に回動させる制御データを生成する。なお、ボディＢの動作について、ボディＢとテキスト（「Ｂ」）とが一体で動いてもよいし、テキストを固定して、ボディＢのみが動いてもよい。
【0163】
キャラクタＣ２の動作は、上記の動作の他に、図２２のタイプＡに示されるように、ユーザＵ２が退席中の場合には耳アニメーションＥにおいて耳を左右に傾倒させてもよいし、図２２のタイプＢに示されるように、謝罪の場合には耳アニメーションＥにおいて耳を深く折り曲げてもよい。また、図２２のタイプＣに示されるように、発話中である場合には背景に発話アニメーションＨが表示されてもよいし、図２２のタイプＤに示されるように、楽しい場合には耳アニメーションＥにおいて耳を回転させてもよい。
【0164】
また、図２３のタイプＡに示されるように、思考中である場合には耳アニメーションＥにおいてボディＢを掻く動作をさせてもよい。また、発話中である場合には、図２３のタイプＢに示されるように、耳アニメーションＥにおいて、音声リズムに合わせて耳を伸長させてもよいし、図２３のタイプＣに示されるように、音声リズムに合わせて耳が前後に揺れるようにしてもよい。
【0165】
また、キャラクタＣ２に表示される影は、ユーザＵ２の状態に応じて変化してもよい。例えば、ユーザＵ２の感情が「悲しい」場合には、影の数を多くしてもよい。この構成では、影によってユーザＵ２の状態が表現されるため、他のユーザＵ１，Ｕ３は、ユーザＵ２の状態をより正確に把握することができる。また、影の存在により、立体感が強調されると共に、キャラクタＣ２の表情、非言語表現を強化することができる。
【0166】
また、ボディＢは、球状に限定されない。図２４のタイプＡに示されるように、キャラクタＣにおいて、ボディＢは、ディスプレイを模した形態であってもよい。この場合、例えば、ボディＢに、発話者の発話内容の翻訳文（例えば、「Ｈｅｌｌｏ！」等）が表示されるようにしてもよい。また、ボディＢは、図２４のタイプＢに示されるように、車を模した形状であってもよいし、図２４のタイプＣに示されるように、目覚まし時計を模した形状であってもよいし、図２４のタイプＤに示されるように、木を模した形状であってもよい。ボディＢは、ユーザの状態等に応じて、変化、変形等してもよい。
【0167】
上記第１実施形態では、図２に示されるように、キャラクタＣ１，Ｃ２，Ｃ３が通話画面Ｇにおいて、それぞれ区画された領域内に表示される形態を一例に説明した。しかし、キャラクタＣ１，Ｃ２，Ｃ３は、一つの空間（連続背景空間）に表示されてもよい。図２５では、三次元のキャラクタＣ１、キャラクタＣ２及びキャラクタＣ３が通話している状態を示している。図２５に示されるように、一つの空間には、例えば、オブジェクトとしてテーブルＴが表示されている。キャラクタＣ１，Ｃ２，Ｃ３は、テーブルＴを囲んで向かい合うように表示される。キャラクタＣ１，Ｃ２，Ｃ３は、テーブルＴにおいて、例えば、等間隔（６０°間隔）で配置される。図２５に示す例では、キャラクタＣ１とキャラクタＣ２とは、斜めを向いた状態で、テーブルＴを囲んで向かい合うように表示される。キャラクタＣ３は、画面中央において、背後側となるように表示される。図２５に示される画面がユーザＵ３の端末３０の画面である場合、デフォルトとして、ユーザＵ３のキャラクタＣ３が背後となるように表示されるようにしてもよい。この場合、他のユーザＵ１，Ｕ２のキャラクタＣ１，Ｃ２の耳アニメーションＥが見易くなるため、他のユーザＵ１，Ｕ２の状態を正確に把握することができる。
【0168】
テーブルＴを回転させることにより、キャラクタＣ１，Ｃ２，Ｃ３の位置を変更することができる。また、観察視点を変更することができる。例えば、キャラクタＣ１，Ｃ２，Ｃ３を上方から見下ろすような視点（鳥瞰的視点、俯瞰的視点）に変更することができる。視点の変更は、キーボード等における手動操作によって行われてもよいし、ウェアラブルセンサのセンシングに基づいて行われてもよい。このように、連続した一つの空間にキャラクタＣ１、キャラクタＣ２及びキャラクタＣ３を表示させることにより、同一空間での存在感を生成することができる。これにより、臨場感、一体感のある会話を実現することができる。
【0169】
例えば、リモートでの授業形式においては、生徒が先生を見つめる視点にすることができる。先生は、教壇から生徒を見つめる視点にすることができる。このように、実際の授業と同様の視点とすることにより、臨場感、没入感を向上させることができる。また、先生にとっても、生徒の反応を掴み易く、授業の進行にフィードバックすることができる。
【0170】
なお、図２５に示されるように、例えば、キャラクタＣ３の背後側が表示される場合であったり、鳥瞰的視点で表示される場合であったりしても、耳アニメーションＥがボディＢの上部に設けられているため、各キャラクタＣ１，Ｃ２，Ｃ３の耳アニメーションＥの動作を全方位から確認することができる。そのため、いずれの表示形態であっても、各キャラクタＣ１，Ｃ２，Ｃ３の状態・状況を認識（把握）することができる。
【0171】
キャラクタＣ１，Ｃ２，Ｃ３は、ユーザＵ１，Ｕ２，Ｕ３の視線に係る情報に基づいて、動作が制御されてもよい。制御部１２は、検出されたユーザの視線に基づいて、キャラクタＣ１，Ｃ２，Ｃ３の動作を制御する制御データを生成する。例えば、ユーザＵ１がキャラクタＣ２を見つめている場合には、キャラクタＣ１がキャラクタＣ２を向くようにする。すなわち、キャラクタＣ１のボディＢ及び耳アニメーションＥをＺ軸を中心に例えば３０°回転させて、キャラクタＣ１がキャラクタＣ２を向くようにする。これにより、キャラクタＣ１の耳アニメーションＥがキャラクタＣ２と正対する。ユーザＵ１，Ｕ２，Ｕ３の視線がキャラクタＣ１，Ｃ２，Ｃ３上にない場合には、キャラクタＣ１，Ｃ２，Ｃ３は、前を向くようにしてもよい。
【0172】
視線に係る情報に基づくキャラクタＣ１，Ｃ２，Ｃ３の動作は、ユーザＵ１，Ｕ２，Ｕ３の視線と完全に一致していなくてもよい。例えば、ユーザＵ１がキャラクタＣ２に視線を合わせた後、直ぐに視線を外した場合であっても、一定時間はキャラクタＣ１がキャラクタＣ２を向いているようにしてもよい。すなわち、一定時間向き合った状態で停止するように、停止時間が設定できるようにしてもよい。また、ユーザＵ１がキャラクタＣ２に視線を移動させる速度と、キャラクタＣ１，Ｃ２，Ｃ３が回転する速度とが一致していなくてもよい。すなわち、キャラクタＣ１，Ｃ２，Ｃ３の回転速度を設定できるようにしてもよい。これらの設定により、ユーザＵ１，Ｕ２，Ｕ３の視線に合わせてキャラクタＣ１，Ｃ２，Ｃ３が頻繁に動作（回転）しないようにできるため、キャラクタＣ１，Ｃ２，Ｃ３の動きが会話の妨げとなることを回避できる。
【0173】
以上のように、キャラクタＣ１，Ｃ２，Ｃ３を視線に係る情報に基づいて動作させることにより、ユーザＵ１，Ｕ２，Ｕ３の視線を認識（意識）したり、キャラクタＣ１，Ｃ２，Ｃ３を介してアイコンタクトを取ったりすることができる。これにより、通話相手が自分に興味を持っているか等の状況を確認したり、会話を理解しているか等を確認したりすることができる。そのため、円滑なコミュニケーションを実現できる。
【0174】
また、ユーザＵ１，Ｕ２，Ｕ３の視線に関わらず、キャラクタＣ１，Ｃ２，Ｃ３を動作させてもよい。例えば、ユーザＵ１，Ｕ２，Ｕ３のウェアラブルセンサ（加速度センサ等）の検出結果に基づいて、キャラクタＣ１，Ｃ２，Ｃ３を動作させてもよい。視線と当該検出結果とに基づいてキャラクタＣ１，Ｃ２，Ｃ３を動作させてもよい。また。例えば、ユーザＵ１が発話した場合には、キャラクタＣ２，Ｃ３がキャラクタＣ１を向くようにしてもよい。また、例えば、ユーザＵ１がユーザＵ３に対して呼びかけた場合、キャラクタＣ１がキャラクタＣ３を向くようにしてもよい。また、手動で、キャラクタＣ１，Ｃ２，Ｃ３の向きを任意に変更できるようにしてもよいし、各キャラクタＣ１，Ｃ２，Ｃ３を順番で向くようにしてもよいし、各キャラクタＣ１，Ｃ２，Ｃ３をランダムに向くようにしてもよい。
【0175】
上記実施形態では、耳アニメーションＥ及び／又は腕アニメーションＡがユーザの状態の変化（感情、動作）に応じて動作する形態を一例に説明した。しかし、耳アニメーションＥ及び／又は腕アニメーションＡは、ユーザの入力によって動作してもよい。この構成では、アニメーションの動作が、例えばユーザによって操作される機器に対するキー操作による入力（操作結果）によって制御される。具体的には、アニメーションの動作とキー操作とは、予め対応付けられている。ユーザは、所定のキー操作を行うことによって、キャラクタの動作を制御する。例えば、下向き矢印のキーのクリック（押下）によって耳アニメーションＥの耳の上部が前後に一回折り曲がるようにしてもよい。これにより、同意、感謝、謝罪等を表現することができる。また、上向き矢印キーのクリックによって耳アニメーションＥが拍手をするようにしてもよい。これにより、賞賛、敬意、幸福等を表現することができる。また、右矢印キーのクリックによって耳アニメーションＥの右耳が伸びると共に傾くようにしてもよい。これにより、中断、驚き、反意等を表現することができる。また、左矢印キーのクリックによって耳アニメーションＥが伸びると共に絡まるようにしてもよい。これにより、疑問、不安、問題等を表現することができる。キーを押下している時間に応じて、動作を持続させたりしてもよい。なお、ユーザによる操作は、キー操作に限らず、画面タッチ、ジェスチャ、視線移動等であってもよい。
【0176】
また、機器における操作時間に応じて、耳アニメーションＥ及び／又は腕アニメーションＡが動作してもよい。例えば、下向き矢印キーのクリックにおいて、ワンクリックでは、耳アニメーションＥの耳の上部が前後に一回軽く折り曲がり、長押しでは、耳アニメーションＥの耳の上部が前後に一回ゆっくり折り曲がる。すなわち、ワンクリックでは、軽い頷き、長押しでは、深い頷きを表現できる。同様に、上向き矢印キー、右向き矢印キー、及び左向き矢印キーのクリックにおいて、ワンクリックと、長押しクリックとにより動作を変更することができる。
【0177】
上記実施形態に加えて、耳アニメーションＥ及び／又は腕アニメーションＡの動作の大きさ、速さ等のレベルが調整できるようにしてもよい。動作の大きさは、例えば、耳アニメーションＥの揺動角度、倒れ角度等である。例えば、動作の大きさについて、強度レベル（強度係数）が設定されており、強度レベルをユーザが任意に調整可能とすることができる。これにより、耳アニメーションＥ及び／又は腕アニメーションＡをユーザの意図する大きさで動作させることができる。この構成では、感情表現が苦手な場合であっても、自身の状態を強化して伝えることができる。なお、各種レベルの調整は、予め設定しておくこともできるし、通話中に行うこともできる。通話中に調整を行う場合には、例えば、２つの数字を用いることができる。例えば、動作速度を調整する場合、「１」を押すと動作速度が速くなり、「２」を押すと遅くなるようにしてもよい。動作の大きさを調整する場合、「３」を押すと動作が小さくなり、「４」を押すと動作が大きくなるようにしてもよい。
【0178】
また、耳アニメーションＥ及び／又は腕アニメーションＡの動作の大きさ、速さ等は、音声データ及び態様データの少なくとも一方、すなわちユーザの感情及び動作の少なくとも一方に基づいて変化してもよい。例えば、ユーザの動きの大きさや声の大きさに応じて、耳アニメーションＥ及び／又は腕アニメーションＡの動作の大きさ、速さ等を変化させてもよい。具体的には、例えば、声の音調に基づいて耳の傾きを設定し、声の速さに基づいて耳のバタつき具合を設定してもよい。詳細には、高い声で早口で話すユーザの場合には、耳の傾きを小さく、短い周期で耳の傾きを変化させる。一方、低い声でゆっくり話すユーザの場合には、耳の傾きを大きく、長い周期で耳の傾きを変化させる。
【0179】
上記実施形態に加えて、キャラクタＣ１，Ｃ２，Ｃ３の位置及び大きさの少なくとも一方をユーザＵ１，Ｕ２，Ｕ３が変更できるようにしてもよい。ユーザＵ１，Ｕ２，Ｕ３が所定の操作を行うことによって、位置及び大きさを自由に変更可能である。これにより、パネル討論、来賓席、スピーカ席等のように、実際の状況での空間と同じように位置を設定することができる。また、ユーザの名前に基づいて位置を決定したり、役割に基づいて位置を決定したりすることができる。また、講演会の場合には、講演者を大きくする等といった視覚強調を行うこともできる。
【0180】
上記実施形態に加えて、ユーザＵ１，Ｕ２，Ｕ３の基本生体存在情報として、耳アニメーションＥを動作させてもよい。基本生体存在情報は、ユーザＵ１，Ｕ２，Ｕ３が存在していることを示す情報である。ユーザＵ１，Ｕ２，Ｕ３がテレビ会議等に参加している場合、端末１０，２０，３０の前に着席していると、耳アニメーションＥにおいて立つ動作に加えて、呼吸に相当する揺れを与える。これにより、ユーザＵ１，Ｕ２，Ｕ３が何もしていなくとも、存在としての生命の動きを伝達できる。また、対話でないときの存在、状態観察モードとして、ユーザがタイピングをしている場合には、耳アニメーションＥにおいてタイピングイメージ動作（耳先端がタイピング動き）にすることができる。ユーザが端末の前から離席すると、耳アニメーションＥにおいて耳が垂れ下がるようにしてもよい。
【0181】
上記実施形態では、図２に示されるように、ユーザＵ１，Ｕ２，Ｕ３の全員がキャラクタＣ１，Ｃ２，Ｃ３で表現されている形態を一例に説明した。しかし、複数のユーザで通話を行う場合、一部のユーザが実際の映像を用いてもよい。
【0182】
上記実施形態に加えて、状態アニメーション／又は腕アニメーションＡに演出を加える機能を有していてもよい。例えば、ユーザの腕が動いてない場合であっても、腕アニメーションＡが発話内容、音量、リズム等に応じて動作してもよい。また、ユーザＵ１，Ｕ２，Ｕ３が歌を歌ったり、身体の一部（例えば、手、足、首、頭等）を動かしたりした場合に、キャラクタＣ１，Ｃ２，Ｃ３がパフォーマンス（ダンス等）を行うように演出することもできる。また、音楽が流れている場合には、音楽に同期、同調させたりすることもできる。身体の動きは、加速度センサ、筋電センサ等によってセンシングできる。演出機能は、ユーザが設定することができる。演出機能は、例えば、身体の動作に障害のあるユーザに対して、有効な機能となり得る。
【0183】
上記実施形態に加えて、キャラクタＣ１，Ｃ２，Ｃ３の他に、ＡＩのキャラクタが表示されてもよい。例えば、キャラクタＣ１，Ｃ２，Ｃ３の他に、ファシリテータとして、ＡＩのキャラクタが表示されてもよい。また、ユーザＵ１，Ｕ２，Ｕ３を支援する、各ユーザ専用のＡＩ執事を同伴させるようにしてもよい。ＡＩ執事は、例えば、キャラクタＣ１，Ｃ２，Ｃ３の傍らに表示される。ＡＩ執事は、ユーザＵ１，Ｕ２，Ｕ３の会話を多面的にサポートする役割を担う。サポートとしては、スケジュール管理、ファイル管理、テキスト・映像視覚資料の提供、音声情報出力等である。また、ＡＩ執事は、会話に関連する情報を自動で表示してもよいし、必要な情報を検索して表示してもよい。
【0184】
上記実施形態に加えて、テレビ会議等の内容を記録して分析してもよい。例えば、耳アニメーションＥ及び／又は腕アニメーションＡの制御データの生成に係る情報を収集して分析することによって、会話の状況、特徴、その会話に参加したメンバの特徴、関係性、感情等を多面的に分析できる。分析結果は、グラフやテキスト等で表示するようにしてもよい。
【0185】
上記実施形態に加えて、所定のタイミングで、状態アニメーション（耳アニメーションＥ及び／又は腕アニメーションＡ）において使用された動作パターンの使用状況を表示させてもよい。使用状況として、ユーザＵ１．Ｕ２，Ｕ３における動作パターンの使用割合、及び、時間軸に対応した動作パターンの使用頻度の変化の少なくとも一方を表示させてもよい。この構成では、所定のタイミング（例えば、コミュニケーション中（プレゼンテーション中、対話中等）、コミュニケーション終了後）に状態アニメーションの動作パターンの使用状況（使用履歴）を表示することで、ユーザＵ１，Ｕ２，Ｕ３の反応の傾向等を確認することができる。
【0186】
上記のように、コミュニケーション中又はコミュニケーションの終了後に、状態アニメーションにおいて使用された動作パターンの使用状況を表示することにより、テレビ会議等の参加者の思考状態、感情状態等の反応を取り込んだコミュニケーションを取り易くなる。例えば、プレゼンターや先生が、「今回の説明で十分わかりましたか？」の質問に、「はい、はい」と同意反応する動作パターンの使用割合が、１００％なのか、或いは２０～３０％程度であるかによって、フィードバックができ、進め方も変わってくる。特に、リアルタイムで、参加者の使用割合の表示がされることにより、リアルタイムでの反応学習、反応講話を進め易くなる。
【0187】
更に、例えば、時間軸上で「うなずき」に対応する状態アニメーションの動作パターンの使用頻度変化を示すことにより、全体の流れで、非言語情報を手掛かりに、どのような感情反応、思考反応が得られたのかを知り得る。また、例えば、発話非言語情報のデータを用いて、聴き手と話し手がどのようにスイッチしたのか、聴き手としての立場での時間割合、その反応状況等、コミュニケーションの質の分析データ、コミュニケーション力の改善情報としても活用ができる。音声録画と共に、動作パターンの使用状況を確認することで、対話内容に対しての非言語表現の事後確認も行い易くなる。
【0188】
上記実施形態に加えて、ユーザＵ１，Ｕ２，Ｕ３の属性に応じて、耳アニメーションＥの動作を変更してもよい。属性は、例えば、国籍、民族、性別、言語等である。例えばある国の文化では、「同意」が首を前後に振ることに対して、他の国の文化では、「同意」が首を横に振る場合がある。この場合、「同意」に対して同じ耳アニメーションＥを用いると、文化の違いによって、受け取り手の感じ方が異なる。そのため、ユーザＵ１，Ｕ２，Ｕ３の属性に係る情報に基づいて、耳アニメーションＥの動作を変更（設定）する。この構成では、属性として例えば国籍に応じて耳アニメーションＥの動作を変更することにより、文化の違いによって誤解が生じることを回避することができる。このように、異なる様々な文化に対応することができるため、円滑なコミュニケーションを実現できる。
【0189】
上記実施形態では、状態アニメーションが耳アニメーションＥである形態を一例に説明した。しかし、状態アニメーションは、他の形態であってもよい。例えば、状態アニメーションは、角、髪等を模したアニメーションであってもよい。例えば、図２６のタイプＡに示されるように、状態アニメーションは、昆虫（例えば、アリ）の触角を模していてもよい。図２６のタイプＢに示されるように、状態アニメーションＳＡは、アンテナのような構造物を模していてもよい。図２６のタイプＣに示されるように、状態アニメーションＳＡは、動物（例えば、鹿）の角を模していてもよい。図２６のタイプＤに示されるように、状態アニメーションＳＡは、植物（例えば、向日葵）を模していてもよい。
【0190】
また、図２６のタイプＥに示されるように、状態アニメーションＳＡは、コミュニケーション対象の状態に応じて、表示形態が変形してもよい。例えば、１本の角が２本の角に変形してもよい。また、球状のボディＢから、例えば、図２４のタイプＡに示されるディスプレイに変形してもよい。この構成では、状態アニメーションをトランスフォームさせることにより、コミュニケーション対象の状態をより正確に把握することができる。
【0191】
また、図２７のタイプＡに示されるように、キャラクタＣは、足アニメーションＦを更に含んでいてもよい。足アニメーションＦは、足を模したアニメーションであり、ユーザの状態の変化に応じて動作する。足アニメーションＦは、耳アニメーションＥと同様に、ユーザの感情及び動作の少なくとも一方に応じて動作してもよいし、環境情報に基づいて動作してもよい。キャラクタＣは、ユーザＵ１，Ｕ２，Ｕ３の状態に応じて移動してもよい。図２７のタイプＢに示されるように、キャラクタＣは、キャップＣＰを被っていてもよい。この構成では、キャラクタＣが移動する場合には、キャラクタＣの移動方向に応じて、キャップＣＰのつばの向きが変化してもよい。図２７のタイプＣに示されるように、キャラクタＣは、空飛ぶ絨毯ＦＣ等の乗り物に乗っていてもよい。空飛ぶ絨毯ＦＣは、ボディＢの周囲に、ボディＢに付随するように表示される。図２７のタイプＣに示す例では、空飛ぶ絨毯ＦＣは、ボディＢの下方に表示される。空飛ぶ絨毯ＦＣの角部には、タッセルＴＲが設けられている。タッセルＴＲは、ユーザの状態の変化に応じて動作してもよい。また、空飛ぶ絨毯ＦＣは、ユーザの基本生体存在情報に基づいて動作してもよい。なお、ボディＢの周囲には、空飛ぶ絨毯ＦＣ以外の物が付随して表示されてもよい。また、空飛ぶ絨毯ＦＣ等の付随物は、ボディＢの上方又は側方に表示されてもよい。図２７のタイプＤに示されるように、キャラクタＣは、ハットＨＴを被っていてもよい。ハットＨＴには、羽根Ｗが設けられている。羽根Ｗは、ユーザの基本生体存在情報に基づいて動作してもよい。
【0192】
上記実施形態では、図２５に示されるように、キャラクタＣ１，Ｃ２，Ｃ３が、テーブルＴを囲んで向かい合うように表示される形態を一例に説明した。しかし、図２８に示されるように、複数のキャラクタＣが、ホワイトボードＷＢを囲うように表示されてもよい。ホワイトボードＷＢは、各ユーザがテキスト（例えば、「１，２，３…」、「Ａ，Ｂ，Ｃ，Ｄ…」等）を書き込んだり、画像等を表示させたりすることができる。ホワイトボードＷＢに対するキャラクタＣの位置及び大きさは、自由に変更することができる。
【0193】
また、図２９に示されるように、複数のキャラクタＣのうちの１つのキャラクタＣのボディＢをディスプレイとして使用し、当該キャラクタＣを拡大表示させ、その他のキャラクタＣが上記キャラクタＣの前に配置されるように表示されてもよい。ディスプレイには、テキスト（例えば、「１，２，３…」、「Ａ，Ｂ，Ｃ，Ｄ…」等）を表示させたり、画像等を表示させたりすることができる。拡大表示されたキャラクタＣ以外のキャラクタＣの向きはユーザが任意に設定できる。例えば、キャラクタＣは、ディスプレイを見る向きとなるように背後が表示されてもよいし、ディスプレイを背にして正面を向くように表示されてもよいし、キャラクタ同士が向き合うように表示されてもよい。
【0194】
また、図３０に示されるように、例えば空飛ぶ絨毯ＦＣに乗った複数のキャラクタＣがオブジェクトＯを囲うように表示されてもよい。オブジェクトＯは、例えば、会議の議題となる対象（例えば、車等）である。オブジェクトＯの向きは、各ユーザが任意に変更できるようにしてもよい。この場合、オブジェクトＯの向きを変更したユーザに表示されるオブジェクトＯの向きのみが変更されてもよいし、一のユーザがオブジェクトＯの向きを変更すると全てのユーザに表示されるオブジェクトＯの向きが変更されてもよい。また、決まったユーザのみがオブジェクトＯの向きを変更できるようにしてもよい。また、キャラクタＣの位置の変更に伴い、各ユーザに表示されるオブジェクトＯに対する視点が変更されてもよい。
【0195】
上記実施形態では、状態アニメーションが、アイコンＢの表示領域の外側に表示領域から突出するように表示される、又は、ボディＢの周囲にボディＢに付随するように表示される形態を一例に説明した。しかし、状態アニメーションは、識別情報と一体的に表示されればおい。図３１に示されるように、キャラクタＣは、雲を模したものであってもよい。キャラクタＣは、アイコンＢ及び状態アニメーションＳＡを含んで構成されている。図３１のタイプＡに示されるように、アイコンＢは、例えば、状態アニメーションＳＡ内に表示される。キャラクタＣの状態アニメーションＳＡは、ユーザの状態の変化（感情、動作）、ユーザの操作等に応じて動作する。例えば、図３１のタイプＢに示されるように、ユーザの状態が「怒り」である場合には、キャラクタＣの状態アニメーションＳＡの一部が突出する。キャラクタＣは、雲を模したものに限定されず、有体物、無体物に限られず様々な物を模したものとすることができる。
【0196】
キャラクタＣ，Ｃ１，Ｃ２，Ｃ３のデザイン、耳アニメーションＥ、腕アニメーションＡ及び足アニメーションＦの動作は、ユーザＵ１，Ｕ２，Ｕ３によって設定（変更）可能である。キャラクタは、二次元と三次元との組合せによるコンピュータグラフィックによって描画されてもよい。また、キャラクタのデザインは、データの更新等によって、アップデート（変更、追加等）を行うことができる。
【0197】
上記実施形態では、図２又は図２５に示されるように、コミュニケーションに参加する全てのユーザＵ１．Ｕ２．Ｕ３のキャラクタＣ１，Ｃ２，Ｃ３が通話画面Ｇに表示される形態を一例に説明した。しかし、コミュニケーション対象であるユーザのキャラクタのみが通話画面に表示されてもよい。例えば、ユーザＵ１の端末１０の通話画面Ｇには、ユーザＵ２のキャラクタＣ２及びユーザＵ３のキャラクタＣ３のみが表示されてもよい。
【0198】
・第２実施形態
続いて、第２実施形態について説明する。第２実施形態に係るコミュニケーション支援システムでは、コミュニケーション対象がＡＩ（Artificial Intelligence：人工知能）アシスタントである。ＡＩアシスタントは、例えば、Ｓｉｒｉ（登録商標）、Ｇｏｏｇｏｌｅアシスタント（登録商標）、Ａｌｅｘａ（登録商標）、Ｃｏｒｔａｎａ（登録商標）等である。第２実施形態に係るシステムのコミュニケーションの例は、ＡＩアシスタントとのやり取りを含むものである。
続いて、第２実施形態について説明する。第２実施形態に係るコミュニケーション支援システムでは、コミュニケーション対象がＡＩ（Artificial Intelligence：人工知能）アシスタントである。ＡＩアシスタントは、例えば、Ｓｉｒｉ（登録商標）、Ｇｏｏｇｏｌｅアシスタント（登録商標）、Ａｌｅｘａ（登録商標）、Ｃｏｒｔａｎａ（登録商標）等である。第２実施形態に係るシステムのコミュニケーションの例は、ＡＩアシスタントとのやり取りを含むものである。
【0199】
システムは、端末（端末装置）５０を含む。端末５０は、ラップトップ型のパーソナルコンピュータ（ＰＣ）、携帯電話機（スマートフォン等）、デスクトップ型のＰＣであってもよいし、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ（ＨＭＤ）端末、ディスプレイ付きスマートスピーカー、その他さまざまな端末が用いられてよい。端末５０は、図１に示されるように、ネットワークＮを介してサーバ４０と互いに通信可能である。端末５０は、端末１０と同様の構成を有している。
【0200】
図３２に示されるように、コミュニケーションは、コンピュータによって表現される画面Ｇ１（出力部１５）で行われる。画面Ｇ１は、端末５０に表示されることで、ユーザに提示される。図３２に示す例では、ＡＩアシスタントのキャラクタＣＡが画面Ｇ１に現れている。キャラクタＣＡは、画面Ｇ１においてＡＩアシスタントを示すものである。キャラクタＣは、ダイナミックなキャラクタである。キャラクタＣＡは二次元又は三次元のコンピュータグラフィック（ＣＧ）によって描画されてもよい。キャラクタＣＡは、アイコンＢ及び耳アニメーションＥを含んで構成される。キャラクタＣＡでは、アイコンＢと耳アニメーションＥとが画面Ｇ１において、一体的に表示される。
【0201】
アイコンＢは、コミュニケーション対象であるＡＩアシスタントを識別可能な識別情報である。アイコンＢは、ＡＩアシスタントを示す画像及びユーザを示すテキストの少なくとも一方を含む。図３２に示す例では、アイコンＢは、円形状を呈しており、ユーザを識別可能なテキスト（例えば、「ＸＸＸ」）を含んでいる。耳アニメーションＥは、ＡＩアシスタントの状態を示す状態アニメーションである。耳アニメーションＥは、ＡＩアシスタントの感情及び動作の少なくとも一方、及び、ＡＩアシスタントを使用するユーザの音声データに応じて動作する。
【0202】
制御部１２は、ＡＩの制御データを生成する部分である。制御部１２は、ＡＩの音声データ（言語データ）及びＡＩの態様を示す態様データの少なくともいずれか一方、及び、ＡＩアシスタントを使用するユーザの音声及び行動に基づいて、キャラクタＣＡの制御データを生成する。ＡＩアシスタントを使用するユーザの行動には、ユーザの動作が含まれ得る。制御部１２は、例えば、以下の動作をトリガーとしてＡＩアシスタントの状態を推定し、制御データを生成する。
・ＡＩアシスタントの発したキーワード（分かりません、もう一度言って下さい等）
・ユーザの発したキーワード（ＡＩアシスタントの名称、ヘイ、ハイ等）
・ユーザの動作（端末５０に近づく、端末５０から離れる等）
・ＡＩアシスタントの発したキーワード（分かりません、もう一度言って下さい等）
・ユーザの発したキーワード（ＡＩアシスタントの名称、ヘイ、ハイ等）
・ユーザの動作（端末５０に近づく、端末５０から離れる等）
【0203】
制御部１２は、学習済みモデル１３Ｌを用いてＡＩアシスタントの状態を推定する。制御部１２は、ＡＩアシスタント音声データ（テキスト）及びユーザの行動データ（音声データ等）を学習済みモデル１３Ｌに入力することで、データに基づく推定結果を得る。制御部１２は、学習済みモデルの推定結果に基づいて、ＡＩアシスタントの状態を推定する。
【0204】
制御部１２は、推定したＡＩアシスタントの状態に基づいて、耳アニメーションＥの動作を制御するための制御データを生成する。制御部１２は、例えば、ＡＩアシスタントが「分かりません」と発した場合には、キャラクタＣＡの耳アニメーションＥにおいて、耳を左右の一方に傾かせる制御データを生成する。制御部１２は、例えば、ユーザからの質問に対しての回答に、「反対、禁止」等の内容が含まれる場合には、耳を交差させた状態を一定時間維持させる制御データを生成する。
【0205】
制御部１２は、例えば、ユーザが「ＡＩアシスタントの名称（例えば、「ＸＸＸ」）」を発した場合には、キャラクタＣＡの耳アニメーションＥにおいて、耳を立てる制御データを生成する。制御部１２は、ユーザが発言（質問等）している場合には、ＡＩアシスタントが聞き取りの状態であるため、耳の上部１／３部分における前後の折り曲げを繰り返し実施させる制御データを生成する。制御部１２は、例えば、ユーザが端末５０に近づいてきた場合、又は、ユーザが端末５０から離れる場合には、キャラクタＣＡの耳アニメーションＥにおいて、耳を左右に揺動させる制御データを生成する。また、制御部１２は、ＡＩアシスタントが待機の状態である場合には、耳アニメーションＥにおいて耳を左右に揺動させる制御データを生成したり、耳の色を変化させる制御データを生成したりしてもよい。
【0206】
従来、ＡＩアシスタントは、音声のみであったり、抽象的な映像が表示されていたりする。この場合、ＡＩアシスタントの感情がユーザに伝わり難いため、対話の臨場感が乏しかった。また、ＡＩアシスタントから「分かりません」といったように、機械的な回答の場合には人工的な会話だと感じ得る。一方で、ＡＩアシスタントに何らかの特定のキャラクタ（アニメ、アバター等）を設定すると、違和感が生じることがある。また、アニメ等のキャラクタは、年齢、性差等によって受け取り方が異なるため、信頼性に欠けたり、親近感が乏しくなったりする。
【0207】
そこで、端末５０の制御部１２は、アイコンＢと、ＡＩアシスタントの状態を示す耳アニメーションＥと、を含むキャラクタＣＡを画面Ｇ１に表示させる。耳アニメーションＥは、年齢、性差においてニュートラルな印象を与え得る。また、耳アニメーションＥによってＡＩアシスタントの状態を認識することができる。したがって、ＡＩアシスタントとユーザとの円滑なコミュニケーションを実現できる。
【0208】
本開示は、以下の態様にも適用することができる。
【0209】
（１）電話での応用
従来の電話では、非言語情報が表示されていなかった。本開示を適用することにより、電話の声から、非言語情報を視覚的に生成できる。コミュニケーション対象（他のユーザ）及び自分の状態アニメーションを識別情報と一体的に表示できるため、電話音声に視覚効果が加わり、より豊かなコミュニケーションができる。状態アニメーションに加えて、資料情報、共同書き込みのホワイトボード機能も同時に提供できるため、従来の「聞く電話」から、感情・情報等、「観る電話」とすることができる。また、電話会議に対して、非言語情報を加味した視覚会議に変換できる。
従来の電話では、非言語情報が表示されていなかった。本開示を適用することにより、電話の声から、非言語情報を視覚的に生成できる。コミュニケーション対象（他のユーザ）及び自分の状態アニメーションを識別情報と一体的に表示できるため、電話音声に視覚効果が加わり、より豊かなコミュニケーションができる。状態アニメーションに加えて、資料情報、共同書き込みのホワイトボード機能も同時に提供できるため、従来の「聞く電話」から、感情・情報等、「観る電話」とすることができる。また、電話会議に対して、非言語情報を加味した視覚会議に変換できる。
【0210】
（２）音声チャットでの応用
電話と同様に、複数人の音声チャットを、音声認識によって、それぞれの人物の識別情報と状態アニメーションとを一体的に表示できる。識別情報及び状態アニメーションは、標準で用意されたデザインを使用してもよいし、独自のデザインをインストールして使用してもよい。言葉だけでなく、歌に関しても、動作レンダリングとして提供できる。識別情報と状態アニメーションとを一体的に表示することにより、音声チャットの参加者、発話者の人物認知、及び、発話者、参加者の非言語情報の認知も可能となり、音声だけのチャットより、より豊かなコミュニケーションが実現できる。また、顔の個人情報が、秘匿できる。
電話と同様に、複数人の音声チャットを、音声認識によって、それぞれの人物の識別情報と状態アニメーションとを一体的に表示できる。識別情報及び状態アニメーションは、標準で用意されたデザインを使用してもよいし、独自のデザインをインストールして使用してもよい。言葉だけでなく、歌に関しても、動作レンダリングとして提供できる。識別情報と状態アニメーションとを一体的に表示することにより、音声チャットの参加者、発話者の人物認知、及び、発話者、参加者の非言語情報の認知も可能となり、音声だけのチャットより、より豊かなコミュニケーションが実現できる。また、顔の個人情報が、秘匿できる。
【0211】
また、リアリティのある顔表情を有するアバターに比べて、処理負荷の軽いソフトウェアとすることができ、かつ、伝送容量を小さくすることができる。アバターの顔表情に関しては、似せると「不気味の谷」問題が発生する。また、アニメ顔にすると、年齢等が秘匿され、誤解情報を誘起し易くなる。その結果、操作的な情報となり得る。このような、本開示では、独自デザインのアニメ顔から生ずる問題を回避できる。
【0212】
（３）サイバー空間、ＶＲ空間、ＡＲ空間、ＭＲ空間での対話での応用
従来から、ＨＭＤやスマートグラスによるＶＲ空間での遠隔対話参加は、人型アバターが用いられている。しかし、多くの場合、感情情報等の非言語情報が十分伝達できていない。アバターにおいて、一人ひとりの顔表情の滑らかな制御は、処理負荷が増大する。顔自体、顔の表情等を自在に設計することができるが、デザインが自由であるが故に、本来の伝えたい印象を過度に操作できてしまう。これにより、実態とはかけ離れた情報として伝えてしまうなどの弊害が発生し得る。ゲーム等のエンターテイメントでは、自在設計性が楽しい効果を生み出すケースもあるが、仕事等の面談や会議では、逆に操作的な表現できてしまうことが課題となる。例えば、年齢等、実態とかけ離れた表現もできてしまう。本開示では、これらの操作的デザインを排除できると共に、非言語情報を分かり易く伝達できる。特に、識別情報の上部に突出した、耳を模した耳アニメーションＥで非言語表現をすることで、対象者の背部や遠方からも、感情、非言語情報を認知し易く、臨場感の高いコミュニケーション空間を生成できる。例えば、耳アニメーションＥにおいて両耳による拍手喝采を受けると、プレゼンターの高揚感、充実感、達成感にも繋がる。また、出会いに繋がったり、雑談に移行したり、対話が活性化したりする。特に、ユーザの音声情報、動作情報等から、状態アニメーションが自動で生成されるようにすることにより、手間をかけずに非言語情報を表現できる。更に、ＶＲ空間において、３Ｄのキャラクタの配置を自在に変更（移動）できる場合に、キャラクタと絨毯等の空中浮揚感のある付随物とを一体的に表示したりすることで、ＶＲ空間内での空中存在の自然感を創出できる。
従来から、ＨＭＤやスマートグラスによるＶＲ空間での遠隔対話参加は、人型アバターが用いられている。しかし、多くの場合、感情情報等の非言語情報が十分伝達できていない。アバターにおいて、一人ひとりの顔表情の滑らかな制御は、処理負荷が増大する。顔自体、顔の表情等を自在に設計することができるが、デザインが自由であるが故に、本来の伝えたい印象を過度に操作できてしまう。これにより、実態とはかけ離れた情報として伝えてしまうなどの弊害が発生し得る。ゲーム等のエンターテイメントでは、自在設計性が楽しい効果を生み出すケースもあるが、仕事等の面談や会議では、逆に操作的な表現できてしまうことが課題となる。例えば、年齢等、実態とかけ離れた表現もできてしまう。本開示では、これらの操作的デザインを排除できると共に、非言語情報を分かり易く伝達できる。特に、識別情報の上部に突出した、耳を模した耳アニメーションＥで非言語表現をすることで、対象者の背部や遠方からも、感情、非言語情報を認知し易く、臨場感の高いコミュニケーション空間を生成できる。例えば、耳アニメーションＥにおいて両耳による拍手喝采を受けると、プレゼンターの高揚感、充実感、達成感にも繋がる。また、出会いに繋がったり、雑談に移行したり、対話が活性化したりする。特に、ユーザの音声情報、動作情報等から、状態アニメーションが自動で生成されるようにすることにより、手間をかけずに非言語情報を表現できる。更に、ＶＲ空間において、３Ｄのキャラクタの配置を自在に変更（移動）できる場合に、キャラクタと絨毯等の空中浮揚感のある付随物とを一体的に表示したりすることで、ＶＲ空間内での空中存在の自然感を創出できる。
【0213】
本開示は、別の観点では、音声データ、画像データ、映像データ、音楽データ、センシングデータ及び操作入力データの少なくとも一つのデータを入力するステップと、データを非言語表現としてのアニメーションに変換するステップと、データに係る対象を示す識別情報とアニメーションとを一体的に表示させるステップと、をコンピュータに実行させる、非言語表現プログラムである。
【0214】
上記非言語表現プログラムは、データに基づいて、対象の状態を推定するステップと、対象の状態に基づいて、アニメーションの動作を制御するための制御データを生成するステップと、をコンピュータに実行させる。
【0215】
上記アニメーションは、識別情報の表示領域の外側に当該表示領域から突出するように表示される、又は、識別情報の表示領域の周囲に当該表示領域に付随するように表示され得る。また、上記アニメーションは、動的に変化する顔表情を含まない。
【0216】
非言語表現プログラムでは、入力されたデータをアニメーション（例えば、耳アニメーション）にレンダリングさせる。入力されるデータとしては、音声データ（音楽を含む）、画像データ、映像データ、センシングデータ及び操作入力データの少なくとも一つである。センシングデータは、例えば、ウェアラブルセンサ（加速度センサ、筋電センサ等）によって検出されたデータである。操作入力データは、端末等の機器においてユーザの操作によって入力されたデータである。
【0217】
非言語表現プログラムでは、例えば、ラジオの音声データが入力されると、ラジオの内容を、動的に変化する顔表情を含まないアニメーションにレンダリングさせる。具体的には、非言語表現プログラムでは、音声データに基づいて、対象の状態を推定する。対象とは、ラジオである場合、パーソナリティ等である。非言語表現プログラムでは、対象の状態に基づいて、アニメーションの動作を制御するための制御データ（コード）を生成する。また、非言語表現プログラムでは、音声データに基づいて音声データを解析し、音声データに係る対象を示す識別情報を生成する。例えば、ラジオにおいて二人のパーソナリティによって対談が行われている場合には、二人のパーソナリティを識別してそれぞれの識別情報を生成する。非言語表現プログラムでは、識別情報とアニメーションとを一体的に表示させる。
【0218】
アニメーションは、識別情報の表示領域の外側に当該表示領域から突出するように表示されてもよいし（図４、図１９等参照）、識別情報の表示領域の周囲に当該表示領域に付随するように表示されてもよい（図２７のタイプＣ参照）。これにより、例えば、ラジオにおいて二人のパーソナリティによって対談が行われている場合には、二人のキャラクタの耳アニメーションが、音声（音声認識も動作）と連動して表示されるようにすることができる。ラジオの他に、ＹｏｕＴｕｂｅ（登録商標）等の映像データを入力させることもできる。
【0219】
また、非言語表現プログラムでは、音楽データが入力されると、音楽の内容（歌詞、リズム）をアニメーションにレンダリングさせる。具体的には、非言語表現プログラムでは、音声データに基づいて、対象の状態を推定する。ここで言う対象とは、音楽のリズム、テンポ、歌詞等である。すなわち、音楽における状態としては、楽しい、悲しい、明るい、暗い等を推定することができる。非言語表現プログラムでは、推定した状態に基づいて、アニメーションの動作を制御するための制御データ（コード）を生成する。また、非言語表現プログラムでは、音声データに基づいて識別情報を生成する。識別情報は、例えば、音楽のタイトル等とすることができる。非言語表現プログラムでは、識別情報とアニメーションとを一体的に表示させる。これにより、音楽の内容に基づいて、耳アニメーションにパフォーマンスさせることができる。レンダリングについて、ＡＩによる、サイバーでのイメージ創成でもよいし、実際の歌い手、ダンサー等の対象の両手首に加速度センサ等を取り付けて、その動き、手首の変化に耳アニメーションの動きを連動させもよい。連動させる場合、識別情報を歌い手やダンサーの名前等とすることができる。加速度センサ以外にも、手首の筋電、脳波等、他の変化を様々な手段でセンシングして、レンダリングさせるとよい。
【符号の説明】
【0220】
１０…端末（端末装置）
１１…入力部（センサ）
１２…制御部
１３…記憶部
１３Ｌ…学習済みモデル
１３Ｐ…端末プログラム（コミュニケーション支援プログラム）
１４…通信部
１５…出力部
２０…端末（端末装置）
３０…端末（端末装置）
４０…サーバ
４２…制御部
４３…記憶部
４３Ｐ…サーバプログラム
４３Ｓ…受信データ
４４…通信部
５０…端末（端末装置）
１００…コミュニケーション支援システム
Ａ…腕アニメーション
Ｂ…アイコン、ボディ
ＡＰ…アクセスポイント
ＢＳ…基地局
Ｃ…キャラクタ
Ｃ１…キャラクタ
Ｃ２…キャラクタ
Ｃ３…キャラクタ
ＣＡ…キャラクタ
ＣＰ…キャップ
Ｅ…耳アニメーション（状態アニメーション）
Ｆ…足アニメーション
ＦＣ…空飛ぶ絨毯
Ｇ…通話画面
Ｇ１…画面
ＧＣ…視線一致情報
ＧＲ…視線受信情報
ＧＴ…視線送信情報
Ｈ…発話アニメーション
ＨＴ…ハット
Ｎ…ネットワーク
Ｏ…オブジェクト
Ｓ１…ステップ
Ｓ２…ステップ
Ｓ３…ステップ
Ｓ４…ステップ
Ｓ５…ステップ
Ｓ６…ステップ
Ｓ７…ステップ
Ｓ８…ステップ
Ｓ９…ステップ
Ｓ１０…ステップ
Ｓ１１…ステップ
Ｓ１２…ステップ
Ｓ１３…ステップ
Ｓ２１…ステップ
Ｓ２２…ステップ
Ｓ２３…ステップ
Ｓ２４…ステップ
Ｓ２５…ステップ
Ｓ２６…ステップ
Ｓ２７…ステップ
ＳＡ…状態アニメーション
Ｔ…テーブル
ＴＲ…タッセル
Ｕ１…ユーザ
Ｕ２…ユーザ
Ｕ３…ユーザ
Ｗ…羽根
ＷＢ…ホワイトボード
１１…入力部（センサ）
１２…制御部
１３…記憶部
１３Ｌ…学習済みモデル
１３Ｐ…端末プログラム（コミュニケーション支援プログラム）
１４…通信部
１５…出力部
２０…端末（端末装置）
３０…端末（端末装置）
４０…サーバ
４２…制御部
４３…記憶部
４３Ｐ…サーバプログラム
４３Ｓ…受信データ
４４…通信部
５０…端末（端末装置）
１００…コミュニケーション支援システム
Ａ…腕アニメーション
Ｂ…アイコン、ボディ
ＡＰ…アクセスポイント
ＢＳ…基地局
Ｃ…キャラクタ
Ｃ１…キャラクタ
Ｃ２…キャラクタ
Ｃ３…キャラクタ
ＣＡ…キャラクタ
ＣＰ…キャップ
Ｅ…耳アニメーション（状態アニメーション）
Ｆ…足アニメーション
ＦＣ…空飛ぶ絨毯
Ｇ…通話画面
Ｇ１…画面
ＧＣ…視線一致情報
ＧＲ…視線受信情報
ＧＴ…視線送信情報
Ｈ…発話アニメーション
ＨＴ…ハット
Ｎ…ネットワーク
Ｏ…オブジェクト
Ｓ１…ステップ
Ｓ２…ステップ
Ｓ３…ステップ
Ｓ４…ステップ
Ｓ５…ステップ
Ｓ６…ステップ
Ｓ７…ステップ
Ｓ８…ステップ
Ｓ９…ステップ
Ｓ１０…ステップ
Ｓ１１…ステップ
Ｓ１２…ステップ
Ｓ１３…ステップ
Ｓ２１…ステップ
Ｓ２２…ステップ
Ｓ２３…ステップ
Ｓ２４…ステップ
Ｓ２５…ステップ
Ｓ２６…ステップ
Ｓ２７…ステップ
ＳＡ…状態アニメーション
Ｔ…テーブル
ＴＲ…タッセル
Ｕ１…ユーザ
Ｕ２…ユーザ
Ｕ３…ユーザ
Ｗ…羽根
ＷＢ…ホワイトボード
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
