(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-08-28
(45)【発行日】2023-09-05
(54)【発明の名称】プログラム、方法、情報処理装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20230829BHJP
G10L 25/51 20130101ALI20230829BHJP
G06F 3/01 20060101ALI20230829BHJP
G06F 3/0346 20130101ALI20230829BHJP
【ＦＩ】
G06T19/00 A
G10L25/51 300
G06F3/01 510
G06F3/0346 422
【請求項の数】
21
(21)【出願番号】P 2022203373
(22)【出願日】2022-12-20
【審査請求日】2022-12-20
【早期審査対象出願】
(73)【特許権者】
【識別番号】519120525
【氏名又は名称】カバー株式会社
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】倉橋 鉄平
【審査官】中田 剛史
(56)【参考文献】
【文献】国際公開第２０１８／１５５３０３（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１２２２９９（ＷＯ，Ａ１）
【文献】特開２０１４－０２１７０７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０２５０４５７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０３３３２６２（ＵＳ，Ａ１）
【文献】特表２０２０－５２００３０（ＪＰ，Ａ）
【文献】特開２０２２－０１１０３２（ＪＰ，Ａ）
【文献】国際公開第２０２２／１３７６０４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ１０Ｌ ２５／５１
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３４６
(57)【特許請求の範囲】
【請求項1】
プロセッサを備えるコンピュータによって実行されるプログラムであって、前記プログラムは、前記プロセッサに、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、
前記表示態様を変化させるステップでは、
前記センシング結果に基づき、前記ユーザの顔の部位のうち、目の動きを特定するステップと、
前記特定された前記ユーザの目の動きが、第１の条件を満たす場合に、前記ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行させ、
前記第１の条件とは、前記ユーザが目を閉じていないが目の開閉度が所定の閾値未満であることであり、
前記第１の表情とは、前記アバターの目が閉じられた表情である、プログラム。
【請求項2】
前記表示態様を変化させるステップでは、前記特定された前記ユーザの目の動き、および前記ユーザの目以外の顔の各部位の動きが、前記第１の条件とは異なる第２の条件を満たす場合に、前記アバターの表示態様を、前記第１の表情とは異なる第２の表情に変化させる、請求項１に記載のプログラム。
【請求項3】
前記コンピュータは記憶部を備え、この記憶部には、前記表示態様を変化させる条件である変化条件として、センシングした前記ユーザの目の動き、および前記ユーザの目以外の顔の各部位の動きの範囲と、当該範囲を満たす場合に前記アバターを表示させるべき表示態様として、当該アバターの目および前記顔の各部位を表示させる出力値と、が予め対応づけられて複数記憶されており、前記表示態様を変化させるステップでは、
前記変化条件を参照して、センシングした前記ユーザの前記目の動き、および前記ユーザの目以外の顔の各部位の動きそれぞれが、該当する前記変化条件における各出力値となるように、前記アバターの表示態様を変化させる、請求項１に記載のプログラム。
【請求項4】
前記プロセッサに、さらに、前記アバターの種類に応じて設定される属性の情報を取得するステップを実行させ、
前記表示態様を変化させるステップでは、前記取得したアバターの属性に応じて、前記アバターの属性ごとに予め設定された補正係数を用いて前記出力値を補正したうえで、前記アバターの表示態様を変化させる、請求項３に記載のプログラム。
【請求項5】
前記プロセッサに、さらに、前記記憶部に記憶された複数の前記変化条件のうち、参照する前記変化条件についての選択を前記ユーザから受け付けるステップを実行させ、
前記表示態様を変化させるステップでは、選択された前記変化条件を参照して、前記アバターの表示態様を変化させる、請求項３に記載のプログラム。
【請求項6】
前記プロセッサに、さらに、前記動画配信に用いられる楽曲の指定を受け付けるステップを実行させ、
前記変化条件には、前記楽曲に関する情報が紐づけられており、
前記表示態様を変化させるステップでは、前記動画配信に用いられる前記楽曲に関する情報と紐づけられた前記変化条件を参照して、前記アバターの表示態様を変化させる、請求項３に記載のプログラム。
【請求項7】
前記楽曲に関する情報としては、前記楽曲の名称、歌手、曲種、歌詞、曲調からなる群の少なくとも１つが含まれる、請求項６に記載のプログラム。
【請求項8】
前記表示態様を変化させるステップでは、異なる楽曲が連続して配信される前記動画配信において、
先に配信される楽曲の終了前の所定の時間帯では、その後に配信される楽曲に関する情報と紐づけられた前記変化条件を参照して、前記アバターの表示態様を変化させる、請求項６に記載のプログラム。
【請求項9】
前記変化条件には、前記ユーザの声に関する情報が紐づけられており、前記表示態様を変化させるステップでは、前記ユーザの声に関する情報と紐づけられた前記変化条件を参照して、前記アバターの表示態様を変化させる、請求項３に記載のプログラム。
【請求項10】
前記ユーザの声に関する情報としては、前記ユーザの音声スペクトルから特定される、前記ユーザの声の高低、速さ、テンポ、大きさからなる少なくとも１つの情報が含まれる、請求項９に記載のプログラム。
【請求項11】
前記プロセッサに、さらに、前記センシング結果に含まれる前記ユーザの顔が、撮影された動画の画面サイズに占める割合を算出するステップを実行させ、
前記表示態様を変化させるステップでは、算出された前記割合に応じて、予め設定された補正係数を用いて前記出力値を補正したうえで、前記アバターの表示態様を変化させる、請求項３に記載のプログラム。
【請求項12】
プロセッサを備えるコンピュータによって実行されるプログラムであって、前記プログラムは、前記プロセッサに、
動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させるステップと
前記動画配信に用いられる楽曲の指定を受け付けるステップと、を実行させ、
前記コンピュータは記憶部を備え、この記憶部には、前記表示態様を変化させる条件である変化条件として、センシングした前記ユーザの顔の部位の動きの範囲と、当該範囲を満たす場合に前記アバターを表示させるべき表示態様として、当該アバターの前記顔の部位を表示させる出力値と、が予め対応づけられて複数記憶されており、
前記変化条件には、前記楽曲に関する情報が紐づけられており、
前記表示態様を変化させるステップでは、前記動画配信に用いられる前記楽曲に関する情報と紐づけられた前記変化条件を参照して、前記アバターの表示態様を変化させる、プログラム。
【請求項13】
前記楽曲に関する情報としては、前記楽曲の名称、歌手、曲種、歌詞、曲調からなる群の少なくとも１つが含まれる、請求項１２に記載のプログラム。
【請求項14】
前記表示態様を変化させるステップでは、
異なる楽曲が連続して配信される前記動画配信において、
先に配信される楽曲の終了前の所定の時間帯では、その後に配信される楽曲に関する情報と紐づけられた前記変化条件を参照して、前記アバターの表示態様を変化させる、請求項１２に記載のプログラム。
【請求項15】
プロセッサを備えるコンピュータによって実行されるプログラムであって、前記プログラムは、前記プロセッサに、
動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させるステップと、
前記センシング結果に含まれる前記ユーザの顔が、撮影された動画の画面サイズに占め
る割合を算出するステップと、を実行させ、
前記コンピュータは記憶部を備え、この記憶部には、前記表示態様を変化させる条件である変化条件として、センシングした前記ユーザの顔の部位の動きの範囲と、当該範囲を満たす場合に前記アバターを表示させるべき表示態様として、当該アバターの前記顔の部位を表示させる出力値と、が予め対応づけられて複数記憶されており、
前記表示態様を変化させるステップでは、算出された前記割合に応じて、予め設定され
た補正係数を用いて前記出力値を補正したうえで、前記アバターの表示態様を変化させる、プログラム。
【請求項16】
プロセッサを備えるコンピュータによって実行される方法であって、前記方法は、前記プロセッサが、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、
前記表示態様を変化させるステップでは、
前記センシング結果に基づき、前記ユーザの顔の部位のうち、目の動きを特定するステップと、
前記特定されたユーザの目の動きが、第１の条件を満たす場合に、前記ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行し、
前記第１の条件とは、前記ユーザが目を閉じていないが目の開閉度が所定値未満であることであり、
前記第１の表情とは、前記アバターの目が閉じられた表情である、方法。
【請求項17】
プロセッサを備えるコンピュータによって実行される方法であって、前記方法は、前記プロセッサが、
動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させるステップと、
前記動画配信に用いられる楽曲の指定を受け付けるステップと、を実行させ、
前記コンピュータは記憶部を備え、この記憶部には、前記表示態様を変化させる条件である変化条件として、センシングした前記ユーザの顔の部位の動きの範囲と、当該範囲を満たす場合に前記アバターを表示させるべき表示態様として、当該アバターの前記顔の部位を表示させる出力値と、が予め対応づけられて複数記憶されており、
前記変化条件には、前記楽曲に関する情報が紐づけられており、
前記表示態様を変化させるステップでは、前記動画配信に用いられる前記楽曲に関する情報と紐づけられた前記変化条件を参照して、前記アバターの表示態様を変化させる、方法。
【請求項18】
プロセッサを備えるコンピュータによって実行される方法であって、前記方法は、前記プロセッサが、
動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させるステップと、
前記センシング結果に含まれる前記ユーザの顔が、撮影された動画の画面サイズに占め
る割合を算出するステップと、を実行させ、
前記コンピュータは記憶部を備え、この記憶部には、前記表示態様を変化させる条件である変化条件として、センシングした前記ユーザの顔の部位の動きの範囲と、当該範囲を満たす場合に前記アバターを表示させるべき表示態様として、当該アバターの前記顔の部位を表示させる出力値と、が予め対応づけられて複数記憶されており、
前記表示態様を変化させるステップでは、算出された前記割合に応じて、予め設定され
た補正係数を用いて前記出力値を補正したうえで、前記アバターの表示態様を変化させる、方法。
【請求項19】
制御部を備える情報処理装置であって、前記制御部が、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付ける手段と、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させる手段と、を備え、
前記表示態様を変化させる手段では、
前記センシング結果に基づき、前記ユーザの顔の部位のうち、目の動きを特定する手段と、
前記特定されたユーザの目の動きが、第１の条件を満たす場合に、前記ユーザに対応するアバターの表示態様を、第１の表情に変化させる手段と、を備え、
前記第１の条件とは、前記ユーザが目を閉じていないが目の開閉度が所定値未満であることであり、
前記第１の表情とは、前記アバターの目が閉じられた表情である、情報処理装置。
【請求項20】
制御部を備える情報処理装置であって、前記制御部が、
動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付ける手段と、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させる手段と、
前記動画配信に用いられる楽曲の指定を受け付ける手段と、を備え、
前記情報処理装置は記憶部を備え、この記憶部には、前記表示態様を変化させる条件である変化条件として、センシングした前記ユーザの顔の部位の動きの範囲と、当該範囲を満たす場合に前記アバターを表示させるべき表示態様として、当該アバターの前記顔の部位を表示させる出力値と、が予め対応づけられて複数記憶されており、
前記変化条件には、前記楽曲に関する情報が紐づけられており、
前記表示態様を変化させる手段は、前記動画配信に用いられる前記楽曲に関する情報と紐づけられた前記変化条件を参照して、前記アバターの表示態様を変化させる、情報処理装置。
【請求項21】
制御部を備える情報処理装置であって、前記制御部が、
動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付ける手段と、
前記受け付けた、前記１または複数の顔の部位の動きをセンシングした結果に基づいて、前記ユーザに対応するアバターを用いて前記動画配信を行い、このとき、前記アバターの１または複数の顔の部位の表示態様を変化させる手段と、
前記センシング結果に含まれる前記ユーザの顔が、撮影された動画の画面サイズに占め
る割合を算出する手段と、を備え、
前記情報処理装置は記憶部を備え、この記憶部には、前記表示態様を変化させる条件である変化条件として、センシングした前記ユーザの顔の部位の動きの範囲と、当該範囲を満たす場合に前記アバターを表示させるべき表示態様として、当該アバターの前記顔の部位を表示させる出力値と、が予め対応づけられて複数記憶されており、
前記表示態様を変化させる手段は、算出された前記割合に応じて、予め設定され
た補正係数を用いて前記出力値を補正したうえで、前記アバターの表示態様を変化させる、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、方法、情報処理装置に関する。
【背景技術】
【0002】
ユーザの表情等をアバターにリアルタイムに反映させる技術が知られている。
【0003】
特許文献１には、ユーザの顔面に装着されるディスプレイを有し、ユーザの表情を推定し、推定したユーザの頭部の動きと顔の表情をアバターに付与してディスプレイに表示する技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－１２６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１の技術では、ウェアラブル端末を介してユーザの表情を推定し、アバターの表情に反映させる技術が開示されている。
しかしながら、特許文献１の技術では、ユーザの表情を全てアバターに反映させてしまうため、例えばユーザが状況にそぐわない表情をしていた場合にもアバターにそれを反映させてしまい、視聴者であるユーザに違和感を与えてしまう恐れがある。
そのため、アバターの表情の違和感を低減させ、より視聴者の没入感を高めるための技術が必要とされている。
しかしながら、特許文献１の技術では、ユーザの表情を全てアバターに反映させてしまうため、例えばユーザが状況にそぐわない表情をしていた場合にもアバターにそれを反映させてしまい、視聴者であるユーザに違和感を与えてしまう恐れがある。
そのため、アバターの表情の違和感を低減させ、より視聴者の没入感を高めるための技術が必要とされている。
【課題を解決するための手段】
【0006】
一実施形態によると、プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、表示態様を変化させるステップでは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定するステップと、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行させるプログラムが提供される。
【発明の効果】
【0007】
本開示によれば、アバターの表情の違和感を低減させ、より視聴者の没入感を高める技術を提供することができる。
【図面の簡単な説明】
【0008】
【図1】システム１全体の構成を示すブロック図である。
【図2】端末装置１０の機能的な構成を示す図である。
【図3】サーバ２０の機能的な構成を示す図である。
【図4】サーバ２０の記憶部に記憶されているユーザ情報データベース（ＤＢ）、アバター情報ＤＢ、ウェアラブルデバイス情報ＤＢのデータ構造である。
【図5】ユーザの発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様を演者の発話に応じて変化させる際の一連の処理を表すフローチャートである。
【図6】ユーザが自身の母音の音声スペクトルをシステム１に登録する際の画面例である。
【図7】ユーザがアバターの口、または顔の部位の態様の変化の程度の設定を行う際の画面例を示す。
【図8】ユーザの発話から、ユーザの１または複数の感情の候補を推定し、当該推定したユーザの１または複数の感情に基づいて、アバターの態様を変化させる画面例を示す。
【図9】ユーザが人間とは異なる属性のアバターに対し、音声スペクトル等に基づいて各種設定を行う画面例を示す。
【図10】ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングし、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる際の一連の処理を表すフローチャートである。
【図11】ユーザの１または複数の顔の部位の動きをセンシングし、当該センシングした１または複数の顔の部位の動きに基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。
【図12】ユーザの１または複数の感情の候補を推定し、ユーザから選択された感情に基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。
【図13】ユーザの１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つのセンシング結果が取得できない場合のアバターの態様の変化の程度の度合いを設定する際の画面例を示す。
【図14】ユーザが眼鏡等のウェアラブルデバイスを装着している際に、アバターの態様の変化の程度の度合いを補正する際の画面例を示す。
【図15】ユーザの口の動きがセンシングできない場合に、発話の変化の程度に基づいて、アバターの口の態様を変化させる際の画面例を示す。
【図16】アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、度合いの設定の差異が所定の閾値を超過した場合に、所定の通知をユーザに提示する際の画面例を示す。
【図17】所定の通知をユーザに提示する際、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子をユーザに提示する際の画面例を示す。
【図18】サーバ２０の記憶部に記憶されている変化条件データベースのデータ構造である。
【図19】サーバ２０の記憶部に記憶されている属性データベースのデータ構造である。
【図20】サーバ２０の記憶部に記憶されている画面補正データベースのデータ構造である。
【図21】サーバ２０の記憶部に記憶されている楽曲データベースのデータ構造である。
【図22】取得したセンシング結果に基づいて、ユーザに対応するアバターの表示態様を変化させる一連の処理を示すフローチャートである。
【図23】ユーザの目のセンシング結果を、所定の変化条件により出力した出力値に応じてアバターの表示態様を変化させる際の画面例を示す。
【図24】ユーザの目、目以外の顔の部位のセンシング結果を、所定の変化条件により出力した出力値に応じてアバターの表示態様を変化させる際の画面例を示す。
【図25】ユーザのアバターの属性が所定の属性の時に、ユーザの目のセンシング結果を、所定の変化条件により出力した出力値に応じてアバターの表示態様を変化させる際の画面例を示す。
【発明を実施するための形態】
【0009】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0010】
＜第１の実施の形態＞
＜概要＞
以下の実施形態では、アバターを操作する演者であるユーザの音声スペクトルに基づいて、アバターの口の態様を変化させる技術について説明する。
ここで、本開示にかかる技術を実現する際において適宜使用される装置等に関しては限定されず、ユーザの所持しているスマートフォン、タブレット端末などの端末装置の場合もあれば、据え置き型のPC（Personal Computer）より提示されることもある。
＜概要＞
以下の実施形態では、アバターを操作する演者であるユーザの音声スペクトルに基づいて、アバターの口の態様を変化させる技術について説明する。
ここで、本開示にかかる技術を実現する際において適宜使用される装置等に関しては限定されず、ユーザの所持しているスマートフォン、タブレット端末などの端末装置の場合もあれば、据え置き型のPC（Personal Computer）より提示されることもある。
【0011】
マイク等の集音装置を介して取得したユーザの音声に基づいて、アバターの口の動きを制御する技術が知られている。しかし、当該システムでは、ユーザの実際の口の動きと、アバターの動きが正確に同期せず、視聴者に違和感をあたえてしまうおそれがある。
【0012】
そこで、システム１では、アバターの口の態様の変化をより一層自然に見せる技術を提供する。
【0013】
システム１は、例えば、動画配信サイト等において、ユーザ（演者）の動きをトラッキングしたアバターを利用するライブストリーミング配信等の場面において使用され得る。例えば、システム１は、ユーザが使用する端末装置（ＰＣ等）に備わっているカメラ（撮像装置）を介して、ユーザの動きなどをトラッキングしてアバターの動きに反映する。また、システム１は、同じくユーザの端末装置に備えられているマイク（集音装置）を介して、演者の発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、演者に対応したアバターの口の態様を演者の発話に応じて変化させる。
このとき、システム１は、演者に対応したアバター及び演者の音声を視聴者に提示し、アバターの口の態様を演者の発話に応じて変化させる程度の設定を、演者の発話の変化よりも低い程度とすることが可能に受け付ける。システム１は、当該処理を実行することで、アバターの口の態様を、演者の発話に応じて変化させることがあり得る。
これにより、アバターの口の態様の変化をより一層自然に見せることができる。
このとき、システム１は、演者に対応したアバター及び演者の音声を視聴者に提示し、アバターの口の態様を演者の発話に応じて変化させる程度の設定を、演者の発話の変化よりも低い程度とすることが可能に受け付ける。システム１は、当該処理を実行することで、アバターの口の態様を、演者の発話に応じて変化させることがあり得る。
これにより、アバターの口の態様の変化をより一層自然に見せることができる。
【0014】
＜１ システム全体の構成図＞
図１は、第１の実施の形態におけるシステム１の全体の構成を表している。
図１は、第１の実施の形態におけるシステム１の全体の構成を表している。
【0015】
図１に示すように、システム１は、複数の端末装置（図１では端末装置１０Ａおよび端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある。また、さらに複数の端末装置１０Ｃ等が構成に含まれていてもよい。）と、サーバ２０とを含む。端末装置１０とサーバ２０とは、ネットワーク８０を介して通信接続する。
【0016】
端末装置１０は、各ユーザが操作する装置である。端末装置１０は、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末などにより実現される。この他に、端末装置１０は、例えば据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ等であるとしてもよい。図１に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。
【0017】
端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、５Ｇ、ＬＴＥ（Long Term Evolution）などの通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することによりネットワーク８０に接続される。
【0018】
通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0019】
サーバ２０は、ユーザがアバターを利用したライブストリーミング等を行う際に設定する情報等を管理する。サーバ２０は、例えば、ユーザの情報、アバターの情報、ユーザが着用しているウェアラブルデバイスの情報等を記憶する。
【0020】
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0021】
本実施形態において、各装置（端末装置、サーバ等）を情報処理装置として把握することもできる。すなわち、各装置の集合体を１つの「情報処理装置」として把握することができ、システム１を複数の装置の集合体として形成してもよい。１つ又は複数のハードウェアに対して本実施形態に係るシステム１を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はシステム１に求められる仕様等に鑑みて適宜決定することができる。
【0022】
＜１．１ 端末装置１０の構成＞
図２は、実施の形態１のシステム１を構成する端末装置１０のブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３０１およびディスプレイ１３０２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、モーションセンサ１７０と、記憶部１８０と、制御部１９０と、を含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
図２は、実施の形態１のシステム１を構成する端末装置１０のブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３０１およびディスプレイ１３０２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、モーションセンサ１７０と、記憶部１８０と、制御部１９０と、を含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
【0023】
アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。
【0024】
アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。
【0025】
第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調、および周波数変換を行い、受信信号を制御部１９０へ与える。
【0026】
操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス１３０１と、ディスプレイ１３０２とを含む。タッチ・センシティブ・デバイス１３０１は、端末装置１０のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス１３０１は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス１３０１は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部１９０へ出力する。また、端末装置１０は、物理的に入力可能なキーボード（図示せず）を備え、当該キーボードを介して、ユーザの入力操作を受け付けてもよい。
【0027】
ディスプレイ１３０２は、制御部１９０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３０２は、例えばＬＣＤ（Liquid Crystal Display）、または有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。
【0028】
音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１９０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。
【0029】
位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。位置情報センサ１５０は、情報機器間の近距離通信システムで用いられる通信規格に基づく送受信装置であるとしてもよい。具体的には、位置情報センサ１５０は、Bluetooth（登録商標）モジュールなど２．４ＧＨｚ帯を使用して、Bluetooth（登録商標）モジュールを搭載した他の情報機器からのビーコン信号を受信する。
【0030】
カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、カメラ１６０から撮影対象までの距離を検出できる深度カメラである。
また、カメラ１６０は、端末装置１０を使用するユーザの身体の動きを取得する。具体的には、例えば、カメラ１６０は、ユーザの口の動き、顔の各部位（目、眉等）の動きを取得する。当該動きの取得は、既存のあらゆる技術を利用してよい。
また、カメラ１６０は、端末装置１０を使用するユーザの身体の動きを取得する。具体的には、例えば、カメラ１６０は、ユーザの口の動き、顔の各部位（目、眉等）の動きを取得する。当該動きの取得は、既存のあらゆる技術を利用してよい。
【0031】
モーションセンサ１７０は、ジャイロセンサ、加速度センサ等により構成され、端末装置１０の傾きを検出する。
【0032】
記憶部１８０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部１８０は、ユーザ情報１８０１、アバター情報１８０２、ウェアラブルデバイス情報１８０３等を記憶する。当該情報は、端末装置１０の記憶部１８０に保持される他、後述するサーバの記憶部２０２にデータベースとして記憶されたものを、ネットワーク８０を介して取得してもよい。
【0033】
ユーザ情報１８０１は、ユーザを識別するＩＤ、ユーザ名、ユーザに対応するアバターの情報等の情報である。ここで、ユーザとは、マイク１４１、またはカメラ１６０を介して取得した情報に基づいてアバターを動かす演者を示す。ユーザ情報に含まれる情報の詳細は、後述する。
【0034】
アバター情報１８０２は、ユーザに対応するアバターに関する各種情報である。アバター情報１８０２は、例えば、対応するユーザ、ユーザが普段使用する設定等の情報を保持しており、ユーザがライブストリーミング等の配信において、スムーズにアバターを操作するために参照される情報である。アバター情報に含まれる情報の詳細は、後述する。
ユーザが普段使用する設定は、例えば、アバターの態様の変化の度合いの基本設定、普段の配信でデフォルトとして表示させる感情、ユーザのセンシング感度等、アバターを使用して配信する際にユーザが調整可能なパラメータ、条件である。
ユーザが普段使用する設定は、例えば、アバターの態様の変化の度合いの基本設定、普段の配信でデフォルトとして表示させる感情、ユーザのセンシング感度等、アバターを使用して配信する際にユーザが調整可能なパラメータ、条件である。
【0035】
ウェアラブルデバイス情報１８０３は、ユーザが配信時に着用しているウェアラブルデバイスに関する各種情報である。各種情報は、例えば、下記を含む。
・ウェアラブルデバイスの種類
・ウェアラブルデバイスのサイズ
・ウェアラブルデバイスの透過率
・電子的な情報取得の可否
ウェアラブルデバイス情報１８０３は、例えば、ユーザが着用している眼鏡、スマートグラス等のアイウェア、ヘッドマウントディスプレイ（ＨＭＤ）等の各種器具、デバイスに関する各種情報を保持する。ウェアラブルデバイス情報１８０３に含まれる情報の詳細は、後述する。
・ウェアラブルデバイスの種類
・ウェアラブルデバイスのサイズ
・ウェアラブルデバイスの透過率
・電子的な情報取得の可否
ウェアラブルデバイス情報１８０３は、例えば、ユーザが着用している眼鏡、スマートグラス等のアイウェア、ヘッドマウントディスプレイ（ＨＭＤ）等の各種器具、デバイスに関する各種情報を保持する。ウェアラブルデバイス情報１８０３に含まれる情報の詳細は、後述する。
【0036】
制御部１９０は、記憶部１８０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１９０は、例えばアプリケーションプロセッサである。制御部１９０は、プログラムに従って動作することにより、入力操作受付部１９０１と、送受信部１９０２と、データ処理部１９０３と、報知制御部１９０４としての機能を発揮する。
【0037】
入力操作受付部１９０１は、タッチ・センシティブ・デバイス１３０１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部１９０１は、タッチ・センシティブ・デバイス１３０１に対してユーザが指などを接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ（スワイプ）操作であるか等の操作の種別を判定する。
【0038】
送受信部１９０２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。
【0039】
データ処理部１９０３は、端末装置１０が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。
【0040】
データ処理部１９０３は、カメラ１６０により取得されたユーザの口などの動きを受け付け、各種処理を実行させるための処理を制御する。例えば、データ処理部１９０３は、カメラ１６０により取得したユーザの口の動きに基づいて、ユーザと対応するアバターの口の動きを制御する処理を実行させる。
【0041】
報知制御部１９０４は、表示画像をディスプレイ１３０２に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１６０に発生させる処理を行う。
【0042】
【0043】
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
【0044】
記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、ユーザ情報データベース２０２１と、アバター情報データベース２０２２と、ウェアラブルデバイス情報データベース２０２３等を記憶する。
【0045】
ユーザ情報データベース２０２１は、アバターを操作する演者に関する各種情報を保持するためのデータベースである。当該データベースが保持する各レコードの詳細は後述する。
【0046】
アバター情報データベース２０２２は、ユーザが操作するアバターに関する各種情報を保持するためのデータベースである。詳細は後述する。
【0047】
ウェアラブルデバイス情報データベース２０２３は、アバターを操作するユーザが装着しているアイウェアに関する各種情報を保持するためのデータベースである。詳細は後述する。
【0048】
制御部２０３は、例えばプロセッサ２９により構成され、このプロセッサ２９がプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール２０３１、送信制御モジュール２０３２、ユーザ情報取得モジュール２０３３、アバター情報取得モジュール２０３４、音声スペクトル取得モジュール２０３５、アバター変化モジュール２０３６、アバター提示モジュール２０３７、設定受付モジュール２０３８、ウェアラブルデバイス情報取得モジュール２０３９、変化補正モジュール２０４０等に示す機能を発揮する。
【0049】
受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0050】
送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0051】
ユーザ情報取得モジュール２０３３は、アバターを操作する演者であるユーザの各種情報を取得する処理を制御する。各種情報は、例えば、下記を含む。
・ユーザの氏名、識別ＩＤ
・ユーザに対応するアバターの情報
・ユーザが着用しているデバイス（眼鏡等）
具体的には、例えば、ユーザ情報取得モジュール２０３３は、ユーザが利用する端末装置１０の記憶部１８０からユーザ情報１８０１を参照することにより、当該情報を取得しても良い。また、ユーザ情報取得モジュール２０３３は、後述するサーバ２０の記憶部２０２に保持されているユーザ情報データベース２０２１を参照することにより当該情報を取得してもよい。他にも、ユーザ情報取得モジュール２０３３は、ユーザから直接ユーザに関する各種情報の入力を受け付けることで、当該情報を取得してもよい。
・ユーザの氏名、識別ＩＤ
・ユーザに対応するアバターの情報
・ユーザが着用しているデバイス（眼鏡等）
具体的には、例えば、ユーザ情報取得モジュール２０３３は、ユーザが利用する端末装置１０の記憶部１８０からユーザ情報１８０１を参照することにより、当該情報を取得しても良い。また、ユーザ情報取得モジュール２０３３は、後述するサーバ２０の記憶部２０２に保持されているユーザ情報データベース２０２１を参照することにより当該情報を取得してもよい。他にも、ユーザ情報取得モジュール２０３３は、ユーザから直接ユーザに関する各種情報の入力を受け付けることで、当該情報を取得してもよい。
【0052】
アバター情報取得モジュール２０３４は、ユーザが操作するアバターの各種情報を取得する。各種情報は、例えば、下記を含む。
・アバターを識別するＩＤの情報
・アバターの属性（人間、人間以外等）の情報
・対応するユーザがデフォルトで設定している口、顔、またはそれ以外の身体の部位の態様の情報
・アバターごとに個別に設定されている、口、顔、またはそれ以外の身体の部位の専用の設定
具体的には、例えば、アバター情報取得モジュール２０３４は、各ユーザに紐づけられたアバターの情報を、アバター情報１８０２、またはユーザ情報データベース２０２１を参照することで取得してもよい。
また、ある局面において、サーバ２０は、ユーザからアバターの口、顔、またはそれ以外の身体の部位の態様の変化の度合いに対する設定の入力を受け付け、当該設定をデフォルトとして再設定する操作を受け付けると、アバター情報１８０２等に保持しているアバター情報を更新する処理を行ってもよい。これにより、ユーザは、適宜アバターの態様の変化の度合いのうち、よく使用する設定をデフォルトとして設定でき、アバターの操作を容易に行うことができる。
・アバターを識別するＩＤの情報
・アバターの属性（人間、人間以外等）の情報
・対応するユーザがデフォルトで設定している口、顔、またはそれ以外の身体の部位の態様の情報
・アバターごとに個別に設定されている、口、顔、またはそれ以外の身体の部位の専用の設定
具体的には、例えば、アバター情報取得モジュール２０３４は、各ユーザに紐づけられたアバターの情報を、アバター情報１８０２、またはユーザ情報データベース２０２１を参照することで取得してもよい。
また、ある局面において、サーバ２０は、ユーザからアバターの口、顔、またはそれ以外の身体の部位の態様の変化の度合いに対する設定の入力を受け付け、当該設定をデフォルトとして再設定する操作を受け付けると、アバター情報１８０２等に保持しているアバター情報を更新する処理を行ってもよい。これにより、ユーザは、適宜アバターの態様の変化の度合いのうち、よく使用する設定をデフォルトとして設定でき、アバターの操作を容易に行うことができる。
【0053】
なお、アバターの情報は、各ユーザに対して１つでなくともよい。例えば、ユーザに対し予め複数のアバターの情報が紐づけられていてもよいし、追加でユーザに紐づけされてもよい。
【0054】
また、ある局面において、アバターＩＤは、下記の情報を包含していてもよい。
・アバターの外観に関する情報（性別、瞳の色、髪型、口、顔の部位、またはそれ以外の身体の部位の大きさ、髪の色、肌の色等）
・アバターの口、顔、またはそれ以外の身体の部位の態様に関する情報（変化する態様の種類の多寡、変化する態様の変化量の多寡等）
ここで、サーバ２０は、上記アバター情報を、コンテンツの種類と紐づけて記憶してもよい。具体的には、例えば、サーバ２０は、ユーザがライブ配信等で提供するコンテンツの種類（雑談、歌、演技等）と、口、顔、その他の身体の部位に対する態様の変化の度合いの設定を紐づけておき、ユーザがどのコンテンツを提供するかを選択する操作を受け付けると、当該コンテンツに対応する設定をアバターに反映させてもよい。
・アバターの外観に関する情報（性別、瞳の色、髪型、口、顔の部位、またはそれ以外の身体の部位の大きさ、髪の色、肌の色等）
・アバターの口、顔、またはそれ以外の身体の部位の態様に関する情報（変化する態様の種類の多寡、変化する態様の変化量の多寡等）
ここで、サーバ２０は、上記アバター情報を、コンテンツの種類と紐づけて記憶してもよい。具体的には、例えば、サーバ２０は、ユーザがライブ配信等で提供するコンテンツの種類（雑談、歌、演技等）と、口、顔、その他の身体の部位に対する態様の変化の度合いの設定を紐づけておき、ユーザがどのコンテンツを提供するかを選択する操作を受け付けると、当該コンテンツに対応する設定をアバターに反映させてもよい。
【0055】
これにより、ユーザは、視聴者に提供するコンテンツに合わせて、アバターの態様を適切に変化させることができるため、視聴者に没入感を与えることができる。
【0056】
また、サーバ２０は、ユーザから使用するアバターの選択を受け付けたのち、態様の変化の度合いの設定を自動で反映させるのではなく、ユーザからの選択を受けつけ、同時にユーザに所定の通知（ダイアログ等）を提示してもよい。例えば、サーバ２０は、ユーザが使用するアバターを選択後、アバター毎に設定されている専用の設定ではなく、通常使用する汎用的な設定を選択した際「通常設定で問題ないか否か」等の通知を提示してもよい。
【0057】
これにより、ユーザは、間違った設定を反映させてライブ配信をすることを防ぐことができ、視聴者の没入感を削ぐことを防止することができる。
【0058】
また、サーバ２０は、上記態様の変化の度合いの設定を、ライブ配信中に受け付け反映させてもよい。具体的には、例えば、サーバ２０は、ユーザからライブ配信中に態様の変化の度合いの設定の変更を受け付けると、設定の変更を受け付けた後、所定の時間経過後に取得したユーザの音声スペクトル、またはユーザのセンシング結果に基づいてアバターの態様を変化させる際、変更後の設定に基づいてアバターの態様を変化させる処理を実行してもよい。
これにより、ユーザは、ライブ配信中に適宜態様の変化の設定を変更し反映させることができるため、ライブ配信中に提供するコンテンツを切り替えても、ユーザに違和感なくアバターの態様の変化を見せることができる。
これにより、ユーザは、ライブ配信中に適宜態様の変化の設定を変更し反映させることができるため、ライブ配信中に提供するコンテンツを切り替えても、ユーザに違和感なくアバターの態様の変化を見せることができる。
【0059】
音声スペクトル取得モジュール２０３５は、ユーザの発話の音声スペクトルを取得する処理を制御する。具体的には、例えば、音声スペクトル取得モジュール２０３５は、マイク１４１を介して取得したユーザが発話した音声から、音声スペクトルを取得する処理を制御する。例えば、音声スペクトル取得モジュール２０３５は、マイク１４１を介して、ユーザの音声を取得し、当該音声に含まれる音声スペクトルを取得する。例えば、音声スペクトル取得モジュール２０３５は、マイク１４１から取得した音声をフーリエ変換し、音声に含まれる音声スペクトルの情報を取得してもよい。このとき、音声スペクトルを取得する演算は、フーリエ変換に限られず、既存のあらゆる方法であってもよい。
また、ある局面において、音声スペクトル取得モジュール２０３５は、ユーザの音声から母音の音声スペクトルの情報を取得してもよい。例えば、音声スペクトル取得モジュール２０３５は、予めユーザから入力する母音の設定を受け付けておき、その後、ユーザからの発声を、マイク１４１を介して受け付けることで、受け付けた母音の設定と取得した音声スペクトルとを関連付けて記憶する。
また、ある局面において、音声スペクトル取得モジュール２０３５は、子音に起因する音声の情報である「ｔ」、「ｃ」、「ｈ」、「ｋ」、「ｍ」、「ｒ」、「ｓ」、「ｎ」、「ｗ」等の音を取得し、当該記憶した母音の情報と組み合わせることで、ユーザが発話した言葉を推定してもよい。
これにより、システム１では、ユーザの音声スペクトルのうち、母音に関する音声スペクトルを別に特徴付けして記憶することができるため、アバターの口の態様の動きをより正確に変化させることができる。
また、ある局面において、音声スペクトル取得モジュール２０３５は、ユーザの音声から母音の音声スペクトルの情報を取得してもよい。例えば、音声スペクトル取得モジュール２０３５は、予めユーザから入力する母音の設定を受け付けておき、その後、ユーザからの発声を、マイク１４１を介して受け付けることで、受け付けた母音の設定と取得した音声スペクトルとを関連付けて記憶する。
また、ある局面において、音声スペクトル取得モジュール２０３５は、子音に起因する音声の情報である「ｔ」、「ｃ」、「ｈ」、「ｋ」、「ｍ」、「ｒ」、「ｓ」、「ｎ」、「ｗ」等の音を取得し、当該記憶した母音の情報と組み合わせることで、ユーザが発話した言葉を推定してもよい。
これにより、システム１では、ユーザの音声スペクトルのうち、母音に関する音声スペクトルを別に特徴付けして記憶することができるため、アバターの口の態様の動きをより正確に変化させることができる。
【0060】
アバター変化モジュール２０３６は、取得した音声スペクトルに基づいて、演者に対応したアバターの口の態様を演者の発話に応じて変化させる処理を制御する。具体的には、例えば、アバター変化モジュール２０３６は、音声スペクトル取得モジュール２０３５が取得したユーザの音声スペクトルから、ユーザが発話した言葉を推定し、当該推定した言葉に応じてアバターの口の態様を変化させる。例えば、アバター変化モジュール２０３６は、ユーザの音声スペクトルからユーザが発話した母音の情報を推定し、当該母音にあわせて口の態様を変化させる。例えば、アバター変化モジュール２０３６は、音声スペクトル取得モジュール２０３５が取得したユーザの音声スペクトルが「あ」である場合に、アバターの口の態様を「あ」に対応した形に変化させる。
【0061】
アバター提示モジュール２０３７は、演者に対応したアバター及びユーザの音声を視聴者に提示する処理を制御する。具体的には、例えば、アバター提示モジュール２０３７は、ユーザに対応するアバターの映像と、ユーザの音声とを、視聴者が使用する端末装置１０のディスプレイ１３０２及びスピーカ１４２に送信し当該視聴者に提示する。このとき、視聴者は一人とは限らず、複数の視聴者の端末装置１０にアバター及び音声とを提示してもよい。
【0062】
設定受付モジュール２０３８は、アバターの口の態様をユーザの発話に応じて変化させる程度の設定を、ユーザの発話の変化よりも低い程度とすることが可能に受け付ける処理を制御する。具体的には、例えば、設定受付モジュール２０３８は、ユーザから、アバターの口の態様を変化させる程度の設定として、ユーザの発話をアバターの口の態様に反映させる時間間隔の設定を受け付ける。例えば、設定受付モジュール２０３８は、下記を含む設定を受け付けてもよい。
・アバターの口の態様がユーザの音声スペクトルから推定される発話の音声に対応した態様に変化するまでの所要時間の設定
・一定期間内にユーザの発話に基づいてアバターの動作を変更・更新する頻度（例えば、１秒間の更新数）の設定
ここで、ユーザの発話の変化について定義する。ユーザの発話の変化は、例えば、ユーザの発話の速度であり、下記に基づいて算出されてもよい。
・ユーザが発話した母音が変化する時間間隔（例えば、母音が「あ」から「い」に変化する際の時間間隔）
このとき、サーバ２０は、子音に由来する音（ｃ、ｋ等）を同時に取得し、同一の母音を連続して取得した場合でも、別の単語を発話しているとして発話の速度を推定してもよい。
・所定期間内に発せられる母音の数
このとき、設定受付モジュール２０３８は、当該設定を、ユーザの発話の変化から推定されるアバターの変化の程度よりも低い程度とすることが可能に受け付けてもよい。例えば、設定受付モジュール２０３８は、予めユーザの音声スペクトルから推定された発話（母音）に対応するように口の態様を変化させる際の所要時間を受け付けておいてもよい。サーバ２０は、受け付けた所要時間に基づいて、ユーザの音声スペクトルから、ユーザが母音を発話した時間の情報を取得し、予め設定された所要時間との比率を算出し、態様の変化量に乗算し、アバターの口の態様の変化量を算出する。サーバ２０は、取得した発話時間と、変化量とに基づき、口の態様を変化させる。例えば、ユーザが所要時間「１秒」でアバターの口が「あ」の態様に変化する設定を入力したとする。例えば、完全に「あ」の態様になるときを「１００」とし、「１秒」で「１００」になるように設定する。
このとき、サーバ２０は、１秒で態様が変化する際の度合い（口の変化量、速度）についても、ユーザから受けてつけておいてもよい。（すなわち、１秒間で口の態様が変化するうち、最初の０．５秒と残りの０．５秒とで態様の変化量に差分を設定してもよい）
サーバ２０は、ユーザが１秒間「あ」の音を発声した場合には、上記の変化量の設定等に基づき、１秒かけてアバターの口の態様を「あ」の態様に変化させる。しかし、ユーザが「あ」の発声を「０．５秒」しかしなかった場合には、サーバ２０は、アバターの口の態様の変化量を「５０」まで変化させる処理を行ってもよい。
・アバターの口の態様がユーザの音声スペクトルから推定される発話の音声に対応した態様に変化するまでの所要時間の設定
・一定期間内にユーザの発話に基づいてアバターの動作を変更・更新する頻度（例えば、１秒間の更新数）の設定
ここで、ユーザの発話の変化について定義する。ユーザの発話の変化は、例えば、ユーザの発話の速度であり、下記に基づいて算出されてもよい。
・ユーザが発話した母音が変化する時間間隔（例えば、母音が「あ」から「い」に変化する際の時間間隔）
このとき、サーバ２０は、子音に由来する音（ｃ、ｋ等）を同時に取得し、同一の母音を連続して取得した場合でも、別の単語を発話しているとして発話の速度を推定してもよい。
・所定期間内に発せられる母音の数
このとき、設定受付モジュール２０３８は、当該設定を、ユーザの発話の変化から推定されるアバターの変化の程度よりも低い程度とすることが可能に受け付けてもよい。例えば、設定受付モジュール２０３８は、予めユーザの音声スペクトルから推定された発話（母音）に対応するように口の態様を変化させる際の所要時間を受け付けておいてもよい。サーバ２０は、受け付けた所要時間に基づいて、ユーザの音声スペクトルから、ユーザが母音を発話した時間の情報を取得し、予め設定された所要時間との比率を算出し、態様の変化量に乗算し、アバターの口の態様の変化量を算出する。サーバ２０は、取得した発話時間と、変化量とに基づき、口の態様を変化させる。例えば、ユーザが所要時間「１秒」でアバターの口が「あ」の態様に変化する設定を入力したとする。例えば、完全に「あ」の態様になるときを「１００」とし、「１秒」で「１００」になるように設定する。
このとき、サーバ２０は、１秒で態様が変化する際の度合い（口の変化量、速度）についても、ユーザから受けてつけておいてもよい。（すなわち、１秒間で口の態様が変化するうち、最初の０．５秒と残りの０．５秒とで態様の変化量に差分を設定してもよい）
サーバ２０は、ユーザが１秒間「あ」の音を発声した場合には、上記の変化量の設定等に基づき、１秒かけてアバターの口の態様を「あ」の態様に変化させる。しかし、ユーザが「あ」の発声を「０．５秒」しかしなかった場合には、サーバ２０は、アバターの口の態様の変化量を「５０」まで変化させる処理を行ってもよい。
【0063】
また、サーバ２０は、ユーザが連続して発話した場合（例えば、「あいうえお」と発話）には、それぞれの母音の発話時間を取得し、上記処理を行ってもよい。つまり、サーバ２０は、それぞれの母音の発話時間から、それぞれの母音に対応したアバターの口の態様の変化量を算出し、アバターの口の態様を変化させてもよい。例えば、各母音に対応したアバターの口の態様に変化するまでの所要時間を「１秒」とし、「あ」を「０．２秒」、「い」を「０．３」秒発話していた場合、「あ」に対応した変化量は「２０」であり、「い」に対応した変化量は「３０」である。また、ユーザが所要時間よりも長い時間発話した場合には、サーバ２０は、アバターの口の態様を、所用時間後もその状態を維持してもよい。
これにより、ユーザは、「あ」の音声を発声した場合に即時的にアバターを口の態様が「あ」になるのではなく、自身の発話時間に応じて徐々にアバターの口の態様を変化させることができる。また、所用時間を設定し、当該時間に満たない発話の場合に、口の態様の変化量を乗算して変化させることで、ユーザが軽く発話した際でもアバターの口の態様が大きく変化する（例えば、３０程度の口の開きでもアバターの口の態様は１００として変化する）ことを防ぐことができる。これにより、ユーザは、視聴者にユーザの発話とアバターの口の態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。
これにより、ユーザは、「あ」の音声を発声した場合に即時的にアバターを口の態様が「あ」になるのではなく、自身の発話時間に応じて徐々にアバターの口の態様を変化させることができる。また、所用時間を設定し、当該時間に満たない発話の場合に、口の態様の変化量を乗算して変化させることで、ユーザが軽く発話した際でもアバターの口の態様が大きく変化する（例えば、３０程度の口の開きでもアバターの口の態様は１００として変化する）ことを防ぐことができる。これにより、ユーザは、視聴者にユーザの発話とアバターの口の態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。
【0064】
ある局面において、サーバ２０は、ユーザから取得した音声スペクトルの大きさ、高さ等の情報等に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、サーバ２０は、ユーザの音声スペクトルの周波数（Ｈｚ）、音圧（ｄＢ）の情報を取得し、当該情報が所定の閾値を超過した場合等に、アバターの口の態様を変化させてもよい。例えば、サーバ２０は、所用時間「１秒」でアバターの口の態様を変化させる設定を受け付けており、ユーザの発話時間が「１秒」であったとする。このとき、サーバ２０は、ユーザが「０．８秒」の時点で閾値を越す音圧で発声したことを検知した場合には、アバターの口の態様を、通常よりも大きく変化（大きく口を開けた態様にする）させてもよい。このとき、サーバ２０は、口だけでなく、顔の部位、身体の部位についても同様の設定を反映させてもよい。
これにより、ユーザは、急に大声を上げた場合でも、アバターの口の態様に反映させることができ、より自然なアバターの動きを視聴者に見せることができる。
これにより、ユーザは、急に大声を上げた場合でも、アバターの口の態様に反映させることができ、より自然なアバターの動きを視聴者に見せることができる。
【0065】
他にも、設定受付モジュール２０３８は、ユーザの発話から推定される発話の速度から推定されるアバターの動作の更新頻度よりも低い値になるよう、アバターの口の態様の変化の程度の設定を受け付けてもよい。
その後、サーバ２０は設定受付モジュール２０３８により設定した情報をアバター変化モジュール２０３６に送信し、アバターの口の態様を、設定に応じて変化させ、その後、アバター提示モジュール２０３７により視聴者にアバター及びユーザの音声を提示する。
これにより、ユーザは、母音の変化よりゆるやかにアバターの口の態様を変化させることで、より自身の発話に合わせて滑らかにアバターの口の態様を変化させることができる。これにより、ユーザは、アバターの口の態様が繊細に動きすぎて不自然な動きにすることを防ぐことができるため、視聴者により自然な口の動きを提示することができ、視聴者の没入感を高めることができる。
その後、サーバ２０は設定受付モジュール２０３８により設定した情報をアバター変化モジュール２０３６に送信し、アバターの口の態様を、設定に応じて変化させ、その後、アバター提示モジュール２０３７により視聴者にアバター及びユーザの音声を提示する。
これにより、ユーザは、母音の変化よりゆるやかにアバターの口の態様を変化させることで、より自身の発話に合わせて滑らかにアバターの口の態様を変化させることができる。これにより、ユーザは、アバターの口の態様が繊細に動きすぎて不自然な動きにすることを防ぐことができるため、視聴者により自然な口の動きを提示することができ、視聴者の没入感を高めることができる。
【0066】
ウェアラブルデバイス情報取得モジュール２０３９は、ユーザが着用しているウェアラブルデバイスの情報を取得する処理を制御する。具体的には、例えば、ウェアラブルデバイス情報取得モジュール２０３９は、ユーザの情報を取得すると、後述するウェアラブルデバイス情報データベース２０２３を参照し、ユーザが着用しているウェアラブルデバイスの情報を取得する。サーバ２０は、取得したウェアラブルデバイスの情報を、変化補正モジュール２０４０に送信する。
【0067】
変化補正モジュール２０４０は、ウェアラブルデバイス情報取得モジュール２０３９が取得したウェアラブルデバイスの情報に基づいて、アバターに反映させる態様の変化の度合いの設定を補正する処理を制御する。具体的には、例えば、変化補正モジュール２０４０は、ウェアラブルデバイス情報取得モジュール２０３９が取得したウェアラブルデバイスの情報から、ユーザの顔の部位のうち、ウェアラブルデバイスに覆われている、遮蔽されている部位の態様の変化の度合いの設定を補正する。サーバ２０は、ユーザの顔の所定の部位（口、目、眉、鼻等）のセンシング結果を取得し、当該センシング結果と、ユーザから受け付けた設定（センシング結果を反映させる度合い、パラメータの設定等）とを反映させ、アバターの態様を変化させる。このとき、例えば、変化補正モジュール２０４０は、ユーザが眼鏡を着用している場合、当該情報に基づいて、ユーザに対応するアバターの目の態様の変化の度合いをユーザから受け付けた時、予め設定されている補正値に基づいて補正して反映する、補正とは、例えば、ウェアラブルデバイスごとにユーザの顔の部位のセンシングの精度が低下する場合、当該低下率（あるいは減衰率）を予め設定しておき、当該設定に基づいて、センシング、トラッキング時のアバターへの動きの反映の度合いを補正する処理を示す。
これにより、ユーザは、眼鏡等を着用していても、アバターの態様の変化を自然に視聴者に提示することができる。
これにより、ユーザは、眼鏡等を着用していても、アバターの態様の変化を自然に視聴者に提示することができる。
【0068】
他にも、変化補正モジュール２０４０は、アバター情報取得モジュール２０３４が取得したアバターの属性に応じて、アバターの態様の変化の度合いを補正してもよい。
具体的には、例えば、変化補正モジュール２０４０は、ユーザが操作するアバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかの情報を取得し、当該情報に基づいて、アバターの態様の変化の程度を補正する処理を実行してもよい。例えば、ユーザが操作するアバターの属性が「竜」である場合には、目、口等の動きが、人間とは異なる挙動を示す可能性がある。その場合、変化補正モジュール２０４０は、当該「竜」の属性に基づいて、口角の変化量、眼球の変化量等を、アバターに沿った形に補正してもよい。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。
具体的には、例えば、変化補正モジュール２０４０は、ユーザが操作するアバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかの情報を取得し、当該情報に基づいて、アバターの態様の変化の程度を補正する処理を実行してもよい。例えば、ユーザが操作するアバターの属性が「竜」である場合には、目、口等の動きが、人間とは異なる挙動を示す可能性がある。その場合、変化補正モジュール２０４０は、当該「竜」の属性に基づいて、口角の変化量、眼球の変化量等を、アバターに沿った形に補正してもよい。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。
【0069】
なお、本開示における実施形態において、上記構成は必須ではない。すなわち、端末装置１０がサーバ２０の役割を担い、サーバ２０の制御部２０３を構成する各種モジュールと同じ処理を実行してもよい。また、端末装置１０は、ネットワーク８０を介さずとも、端末装置１０に備えられたマイク１４１、カメラ１６０等を介して取得した情報をもとに、本発明において開示される各種機能を実施してもよい。
【0070】
＜２ データ構造＞
図４は、サーバ２０が記憶するユーザ情報データベース２０２１、アバター情報データベース２０２２、ウェアラブルデバイス情報データベース２０２３のデータ構造を示す図である。
図４は、サーバ２０が記憶するユーザ情報データベース２０２１、アバター情報データベース２０２２、ウェアラブルデバイス情報データベース２０２３のデータ構造を示す図である。
【0071】
図４に示すように、ユーザ情報データベース２０２１は、項目「ＩＤ」と、項目「対応アバター」と、項目「使用デバイス」と、項目「専用プリセット（口）」と、項目「専用プリセット（顔）」と、項目「基本設定」と、項目「よく使う感情」と、項目「備考」等を含む。
【0072】
項目「ＩＤ」は、アバターを操作する演者であるユーザそれぞれを識別する情報である。
【0073】
項目「対応アバター」は、各ユーザに対応するアバターそれぞれを識別する情報である。
【0074】
項目「使用デバイス」は、各ユーザが着用しているデバイス、例えば、ユーザが着用しているウェアラブルデバイスそれぞれを識別する情報である。
【0075】
項目「専用プリセット（口）」は、各ユーザがアバターを操作する際の、アバターの口の態様を変化させる程度の度合いについて、ユーザ毎に予め設定された条件を示す情報である。具体的には、例えば、ユーザが操作するアバターが所定の状況下（例えば、口の態様を大きく変化させる等）になった際に、アバターに応じて個別に設定された各種条件を示す。プリセットに含まれる情報は、例えば、口角の高さ、唇の形等の情報が含まれていて良い。サーバ２０は、ユーザから当該プリセットの選択を受け付けることで、アバターに当該設定を反映させ、視聴者に提示してもよい。
これにより、ユーザは、自身に対応するアバターに特有の口の態様の変化を即座に反映させ、視聴者に提示することができるため、より自然にアバターが動く様子を視聴者に見せることができる。
これにより、ユーザは、自身に対応するアバターに特有の口の態様の変化を即座に反映させ、視聴者に提示することができるため、より自然にアバターが動く様子を視聴者に見せることができる。
【0076】
項目「専用プリセット（顔）」は、各ユーザがアバターを操作する際の、アバターの顔の部位の態様を変化させる程度の度合いについて、ユーザ毎に予め設定された条件を示す情報である。具体的には、例えば、ユーザが操作するアバターが所定の状況下（例えば、アバターの表情を大きく変化させる等）になった際に、アバターに応じて個別に設定された各種条件を示す。プリセットに含まれる情報は、例えば、眉の向き、目の形、瞳孔の大きさ、頬の紅潮、発話又はユーザの表情のセンシング等の情報が含まれていて良い。サーバ２０は、ユーザから当該プリセットの選択を受け付けることで、アバターに当該設定を反映させ、視聴者に提示してもよい。
例えば、ユーザが人間以外の属性のアバター（モンスター、無機物、ロボット等）を使用しているとする。その場合、アバターの各種部位（口、顔、身体）の態様の変化は、ユーザの音声スペクトル、センシング結果とは完全に一致しない可能性がある。そのため、サーバ２０は、上記に例示した専用プリセット（口）、または専用プリセット（顔）の設定をユーザから受け付けてよい。これにより、ユーザは、ライブ配信等の際に当該プリセットを選択することで、あらゆるアバターを使用した時でも、違和感なくユーザの音声スペクトル、センシング結果をアバターの態様の変化に反映させることができる。
例えば、ユーザが人間以外の属性のアバター（モンスター、無機物、ロボット等）を使用しているとする。その場合、アバターの各種部位（口、顔、身体）の態様の変化は、ユーザの音声スペクトル、センシング結果とは完全に一致しない可能性がある。そのため、サーバ２０は、上記に例示した専用プリセット（口）、または専用プリセット（顔）の設定をユーザから受け付けてよい。これにより、ユーザは、ライブ配信等の際に当該プリセットを選択することで、あらゆるアバターを使用した時でも、違和感なくユーザの音声スペクトル、センシング結果をアバターの態様の変化に反映させることができる。
【0077】
また、サーバ２０は、他にも、ユーザが提供するコンテンツの種類に応じた専用のプリセットの設定を受け付けてもよい。例えば、ユーザが歌を配信する際の設定として、普段雑談する際よりも大きくアバターの口、顔の部位、身体の部位を変化させる設定などを受け付けていてもよい。
これにより、ユーザは、自身に対応するアバターに特有の顔の態様の変化を即座に反映させ、視聴者に提示することができるため、より自然にアバターが動く様子を視聴者に見せることができる。
これにより、ユーザは、自身に対応するアバターに特有の顔の態様の変化を即座に反映させ、視聴者に提示することができるため、より自然にアバターが動く様子を視聴者に見せることができる。
【0078】
項目「基本設定」は、ユーザが通常使用する変化の程度の度合いの設定を示す。具体的には、例えば、アバターを操作するユーザが普段の配信、ライブ配信・ライブストリーミングにおいて、口、顔、その他身体の部位の態様を変化させる際に、通常（汎用的に）使用する変化の程度の度合いの条件を示す。例えば、条件は、ユーザのセンシング結果に追随させる度合いの程度等を含んでもよい。センシング結果に追随させる度合いとは、例えば、センシング結果を直接アバターの態様の変化に反映させた際を１００とした感度の度合い、ユーザの顔の変化量と比較したアバターの態様の変化量、センシング結果から推定されるアバターの単位時間あたりの変化量に対してアバターの動きに反映させる変化量の程度等を含む。
これにより、ユーザは、配信のたびに変化の程度の度合いを設定することなく、簡易に配信を始めることができる。
これにより、ユーザは、配信のたびに変化の程度の度合いを設定することなく、簡易に配信を始めることができる。
【0079】
このとき、サーバ２０は、基本設定と専用プリセットとを組み合わせて、コンテンツに応じた設定として受け付けてもよい。具体的には、例えば、コンテンツに応じたアバターの設定を下記に例示する。
・ＡＳＭＲ（Autonomous Sensory Meridian Response）モード（ささやきモード）
口は専用プリセット（感度を低めにし、小声感を出す）を使用しつつ、表情については基本設定を使用する。または、専用の表情の設定を併用する。
・アクションゲーム配信モード
口は専用プリセット（感度を高めにし、オーバーリアクションになるようにする）を使用しつつ、表情についても感度を高めにする。
・ホラーゲーム配信モード
口は専用プリセット（感度を低めにし、検出する周波数の閾値を低く設定する）を使用しつつ、表情も同様の感度設定を行う。または、専用の設定を使用する。
・雑談モード（基本設定を使用）
・ＡＳＭＲ（Autonomous Sensory Meridian Response）モード（ささやきモード）
口は専用プリセット（感度を低めにし、小声感を出す）を使用しつつ、表情については基本設定を使用する。または、専用の表情の設定を併用する。
・アクションゲーム配信モード
口は専用プリセット（感度を高めにし、オーバーリアクションになるようにする）を使用しつつ、表情についても感度を高めにする。
・ホラーゲーム配信モード
口は専用プリセット（感度を低めにし、検出する周波数の閾値を低く設定する）を使用しつつ、表情も同様の感度設定を行う。または、専用の設定を使用する。
・雑談モード（基本設定を使用）
【0080】
また、ある局面において、サーバ２０は、上記モードの切り替えについて、ユーザに切り替えボタンを提示し、当該ボタンのユーザからの押下操作を受け付けることにより、アバターにモードに基づいて態様の変化の度合いの設定を反映させてもよい。
このとき、サーバ２０は、切り替えボタンを、視聴者には見えず、かつユーザには視認可能な状態でユーザに提示してもよい。また、サーバ２０は、当該切り替えボタンの配置をユーザの操作により変更してもよい。
これにより、ユーザは、視聴者に提供するコンテンツに応じて、プリセットを使い分けることができ、より幅広い表現が可能となる。
このとき、サーバ２０は、切り替えボタンを、視聴者には見えず、かつユーザには視認可能な状態でユーザに提示してもよい。また、サーバ２０は、当該切り替えボタンの配置をユーザの操作により変更してもよい。
これにより、ユーザは、視聴者に提供するコンテンツに応じて、プリセットを使い分けることができ、より幅広い表現が可能となる。
【0081】
また、サーバ２０は、仮想空間上の背景に関する情報を紐づけて記憶していてもよく、モードの切り替えに応答して、背景を変化させてもよい。他にも、サーバ２０は、下記に例示する所定のオブジェクトを紐づけて記憶しておき、モードの切り替えに応答して当該オブジェクトを仮想空間上に表示してもよい。
・音楽ライブ配信時のマイク、楽器などの機材オブジェクト
・ゲーム配信時のゲーム機器のオブジェクト
・汎用的なオブジェクト（観葉植物、部屋の家具など）
これにより、サーバ２０は、モードの切り替え時の読み込み処理を軽減でき、遅延などが生じ視聴者に違和感を与えることを防ぐことができる。
・音楽ライブ配信時のマイク、楽器などの機材オブジェクト
・ゲーム配信時のゲーム機器のオブジェクト
・汎用的なオブジェクト（観葉植物、部屋の家具など）
これにより、サーバ２０は、モードの切り替え時の読み込み処理を軽減でき、遅延などが生じ視聴者に違和感を与えることを防ぐことができる。
【0082】
上記設定は、基本設定等と組み合わせて使用されてもよい。組み合わせは、ユーザから任意の設定を受け付けてよく、ユーザ毎に専用の組み合わせとして、記憶部に保持してもよい。また、サーバ２０は、複数のプリセットにおいて、使用頻度の情報を取得してもよい。サーバ２０は、当該使用頻度の情報に基づいて、ユーザに対し、使用頻度の高いプリセットを「よく使う設定」、または「基本設定」として保持するかの通知を提示してもよい。サーバ２０は、ユーザから「よく使う設定」等に設定する旨の指示を受け付けると、当該プリセットを「よく使う設定」として記憶部に保持してもよい。
【0083】
項目「よく使う感情」は、ユーザがアバターを操作する際に、よく使用する感情の設定を示す。具体的には、例えば、ユーザが配信中に「喜び」の感情をよく使用する場合、サーバ２０は、当該感情に基づいたアバターの態様の変化の条件を予めデータベース内に保持していてもよい。このとき、態様の変化の条件は、口の態様の変化の程度の度合い、「喜び」の感情を表現する際に動作する顔の各種部位の変化量、センシング結果に追随させる度合いの程度、等を含む。
サーバ２０は、当該保持している感情の設定の選択をユーザから受け付けると、当該感情に基づいてアバターの態様を変化させ、視聴者に提示してもよい。
これにより、ユーザは、普段の配信で使用する感情に応じたアバターの態様の変化を即座に設定することができ、簡易に配信を行うことができる。
サーバ２０は、当該保持している感情の設定の選択をユーザから受け付けると、当該感情に基づいてアバターの態様を変化させ、視聴者に提示してもよい。
これにより、ユーザは、普段の配信で使用する感情に応じたアバターの態様の変化を即座に設定することができ、簡易に配信を行うことができる。
【0084】
項目「備考」は、ユーザの情報に特記事項などがある場合に保持される情報である。
【0085】
図４に示すように、アバター情報データベース２０２２は、項目「ＩＤ」と、項目「対応ユーザ」と、項目「属性」と、項目「関連付け部位」と、項目「特殊部位の有無」と、項目「特殊部位の動作設定」と、項目「標準変化速度」と、項目「よく使う感情」と、項目「備考」等を含む。
【0086】
項目「ＩＤ」は、配信に使用され、視聴者に提示されるアバターそれぞれを識別する情報である。
【0087】
項目「対応ユーザ」は、アバターを対応するユーザを識別する情報である。
【0088】
項目「属性」は、アバター毎に設定されている属性を識別する情報である。具体的には、属性は、例えば、アバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかを特定する情報を示す。
属性は、例えば、下記の情報を含む
・人間
・人間とは異なる生物（動物、植物等）
・空想上の生物（竜、天使、悪魔等）
・機械
・不定形の存在（ファンタジーにおけるスライム、ゴースト等）
ある局面において、当該レコードは下位概念の情報として、定義された属性に特有の情報を保持していてもよい。具体的には、例えば、属性が「無機物」である場合には、「目が存在しない」といった下位概念を保持していてもよく、属性が「仮想生物」である場合には、「目が複数ある」等の情報を保持していてもよい。サーバ２０は、当該属性の情報に基づいて、アバターの態様の変化の程度の度合いを補正するための情報を保持していてもよい。
これにより、ユーザは、人間以外のアバターを操作する際にも、適切に口、顔の態様を変化させることができる。
属性は、例えば、下記の情報を含む
・人間
・人間とは異なる生物（動物、植物等）
・空想上の生物（竜、天使、悪魔等）
・機械
・不定形の存在（ファンタジーにおけるスライム、ゴースト等）
ある局面において、当該レコードは下位概念の情報として、定義された属性に特有の情報を保持していてもよい。具体的には、例えば、属性が「無機物」である場合には、「目が存在しない」といった下位概念を保持していてもよく、属性が「仮想生物」である場合には、「目が複数ある」等の情報を保持していてもよい。サーバ２０は、当該属性の情報に基づいて、アバターの態様の変化の程度の度合いを補正するための情報を保持していてもよい。
これにより、ユーザは、人間以外のアバターを操作する際にも、適切に口、顔の態様を変化させることができる。
【0089】
項目「関連付け部位」は、アバターの１または複数の顔の部位のうち、関連付けられた部位に関する情報である。具体的には、関連付け部位は、例えば、アバターの顔の部位のうち「眉」同士が関連付けられている場合等に当該情報を保持してもよい。サーバ２０は、当該関連付けられた部位同士に対し、同一の態様の変化の程度の設定を受け付けてもよい。
これにより、ユーザは、関連付けられている部位に対し、個別に態様の変化の程度の設定をすることがないため、態様の変化の程度の設定の手間を軽減することができる。
これにより、ユーザは、関連付けられている部位に対し、個別に態様の変化の程度の設定をすることがないため、態様の変化の程度の設定の手間を軽減することができる。
【0090】
項目「特殊部位の有無」は、アバターに特殊部位があるか否かを識別するための情報である。具体的には、例えば、サーバ２０は、アバターの属性が人間以外である場合に、「角」、「尻尾」等の部位が存在する場合に、当該情報を保持していてもよい。ここで、特殊部位は、アバターの身体に属している必要はなく、アバターの周囲に浮遊しているオブジェクト等であってもよい。
特殊部位は、上記に限られない。例えば、アバターとは異なる生物等のオブジェクトが周囲に配置されていてもよい。
特殊部位は、上記に限られない。例えば、アバターとは異なる生物等のオブジェクトが周囲に配置されていてもよい。
【0091】
項目「特殊部位の動作設定」は、アバターの特殊部位を動作させる設定に関する情報である。具体的には、例えば、サーバ２０は、アバターに特殊部位（例えば、「角」、「尻尾」等）が存在する場合に、当該部位がどのような条件をトリガーとして動作するかの情報をこのレコードに保持していてもよい。例えば、特殊部位「角」を持つアバターにおいて、「目全体の動きと連動」となっている場合、サーバ２０は、ユーザが設定した目の態様の変化の程度の設定を、当該角に反映し、態様を変化させてもよい。
また、ある局面において、サーバ２０は、特殊部位ごとにユーザからの態様の変化の程度の設定を受け付けてもよい。例えば、特殊部位として、アバターの身体に接続されているものではなく、アバターの周囲に浮遊しているオブジェクトの態様が変化する場合等に、サーバ２０は、当該オブジェクトそれぞれに対し、ユーザからの設定の入力を受け付けてもよい。ただし、サーバ２０は、当該オブジェクトについても、アバターの部位（口、顔等）の設定を反映し態様を変化させてもよい。
また、ある局面において、サーバ２０は、特殊部位ごとにユーザからの態様の変化の程度の設定を受け付けてもよい。例えば、特殊部位として、アバターの身体に接続されているものではなく、アバターの周囲に浮遊しているオブジェクトの態様が変化する場合等に、サーバ２０は、当該オブジェクトそれぞれに対し、ユーザからの設定の入力を受け付けてもよい。ただし、サーバ２０は、当該オブジェクトについても、アバターの部位（口、顔等）の設定を反映し態様を変化させてもよい。
【0092】
また、サーバ２０は、特殊部位が、アバターとは異なる生物等のオブジェクトであり、アバターの周囲に存在している場合に、当該オブジェクトが有する部位（例えば、目、口等）が、ユーザの音声スペクトル、またはセンシング結果に基づいて態様を変化させる度合いの程度の設定を受け付けてもよい。例えば、サーバ２０は、当該オブジェクトの目の変化量を、アバターの変化量に所定の割合乗算して設定してもよいし、オブジェクトの部位ごとにユーザからの設定を受け付けてもよい。
これにより、ユーザは、人間以外のアバターを操作する場合でも、そのアバターの特性に合った操作を行うことができる。
これにより、ユーザは、人間以外のアバターを操作する場合でも、そのアバターの特性に合った操作を行うことができる。
【0093】
項目「備考」は、アバターの情報に特記事項などがある場合に保持される情報である。
【0094】
図４に示すように、ウェアラブルデバイス情報データベース２０２３は、項目「ＩＤ」と、項目「種類」と、項目「検出精度」と、項目「補正量」と、項目「備考」と、を含む。
【0095】
項目「ＩＤ」は、ユーザが着用しているウェアラブルデバイスそれぞれを識別する情報である。
【0096】
項目「種類」は、ユーザが着用しているウェアラブルデバイスの種類を示す情報である。ユーザが着用しているウェアラブルデバイスは特に限定されず、眼鏡等のアイウェア、ＨＭＤ等の頭部を覆うデバイスでもよい。
【0097】
項目「検出精度」は、ユーザがウェアラブルデバイスを装着している際の、ユーザの目、または顔の動きのセンシングの検出精度を示す。具体的には、例えば、サーバ２０は、ユーザが着用しているウェアラブルデバイスそれぞれに対し、センシングの検出精度をスコアリングし、当該情報を保持してもよい。例えば、透過率が高く、裸眼とほぼ変わらない眼鏡をユーザが着用している場合には、検出精度「〇」として情報を保持しておいてもよい。このとき、サーバ２０が保持するスコアは「〇」等の記号ではなく、透過率などを基準とした「１００」等の数値でもよいし、「Ａ」、「良」等の表記でも良く、限定されない。
【0098】
項目「補正量」は、ウェアラブルデバイスごとに設定された、アバターの変化の程度の補正量を示す。具体的には、例えば、サーバ２０は、前述の検出精度の値に基づいて、アバターの態様の変化の程度の補正量を設定する。例えば、ユーザが眼鏡を着用している場合には、その透過率等に基づいて所定の倍率を変化の程度に乗算する処理を実行してもよい。
ある局面において、サーバ２０は、ユーザがＨＭＤ等のデバイスを着用しており、検出精度は低い場合でも、当該デバイスからユーザの目、または顔のセンシング結果が取得できる場合には、特に補正の処理を実行しないこととしてもよい。
サーバ２０が保持するウェアラブルデバイスの情報は、他にも、マスク、眼帯等の情報であってもよい。その場合、サーバ２０は、マスク、眼帯などで遮蔽されている部位について、センシング結果に基づいた態様の変化ではなく、ユーザの発話、または遮蔽されていない他の部位の設定を反映する等により、当該部位の動きをアバターに反映させてもよい。
これにより、ユーザは、配信時の自身の姿を気にすることなく、配信に臨むことができる。
ある局面において、サーバ２０は、ユーザがＨＭＤ等のデバイスを着用しており、検出精度は低い場合でも、当該デバイスからユーザの目、または顔のセンシング結果が取得できる場合には、特に補正の処理を実行しないこととしてもよい。
サーバ２０が保持するウェアラブルデバイスの情報は、他にも、マスク、眼帯等の情報であってもよい。その場合、サーバ２０は、マスク、眼帯などで遮蔽されている部位について、センシング結果に基づいた態様の変化ではなく、ユーザの発話、または遮蔽されていない他の部位の設定を反映する等により、当該部位の動きをアバターに反映させてもよい。
これにより、ユーザは、配信時の自身の姿を気にすることなく、配信に臨むことができる。
【0099】
項目「備考」は、ウェアラブルデバイスの情報に特記事項等がある場合に保持される情報である。
【0100】
＜３ 動作＞
以下、システム１が、ユーザの発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様を演者の発話に応じて変化させる際の一連の処理について説明する。
以下、システム１が、ユーザの発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様を演者の発話に応じて変化させる際の一連の処理について説明する。
【0101】
図５は、ユーザの発話の音声スペクトルを取得し、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様を演者の発話に応じて変化させる際の一連の処理を表すフローチャートである。なお、本フローチャートでは、ユーザが使用する端末装置１０の制御部１９０が一連の処理を実行する例を開示するが、これに限られない。すなわち、一部の情報を端末装置１０がサーバ２０に送信し、当該処理をサーバ２０で実行してもよいし、サーバ２０が一連の全ての処理を実行してもよい。
【0102】
ステップＳ５０１において、端末装置１０の制御部１９０は、アバターを操作する演者であるユーザの発話の音声スペクトルを取得する。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０の音声スペクトル取得モジュール２０３５と同様に、マイク１４１を介して取得したユーザが発話した音声から、音声スペクトルを取得する処理を制御する。例えば、制御部１９０は、マイク１４１を介して、ユーザの音声を取得し、当該音声に含まれる音声スペクトルを取得する。例えば、制御部１９０は、マイク１４１から取得した音声をフーリエ変換し、音声に含まれる音声スペクトルの情報を取得してもよい。このとき、音声スペクトルを取得する演算は、フーリエ変換に限られず、既存のあらゆる方法であってもよい。
また、ある局面において、制御部１９０は、ユーザの音声から母音の音声スペクトルの情報を取得してもよい。例えば、制御部１９０は、予めユーザから入力する母音の設定を受け付けておき、その後、ユーザからの発声を、マイク１４１を介して受け付けることで、受け付けた母音の設定と取得した音声スペクトルとを関連付けて記憶する。
また、ある局面において、音声スペクトル取得モジュール２０３５は、子音に起因する音声の情報である「ｔ」、「ｃ」、「ｈ」、「ｋ」、「ｍ」、「ｒ」、「ｓ」、「ｎ」、「ｗ」等の音を取得し、当該記憶した母音の情報と組み合わせることで、ユーザが発話した言葉を推定してもよい。
これにより、システム１では、ユーザの音声スペクトルのうち、母音に関する音声スペクトルを別に特徴付けして記憶することができるため、アバターの口の態様の動きをより正確に変化させることができる。
また、ある局面において、制御部１９０は、ユーザの音声から母音の音声スペクトルの情報を取得してもよい。例えば、制御部１９０は、予めユーザから入力する母音の設定を受け付けておき、その後、ユーザからの発声を、マイク１４１を介して受け付けることで、受け付けた母音の設定と取得した音声スペクトルとを関連付けて記憶する。
また、ある局面において、音声スペクトル取得モジュール２０３５は、子音に起因する音声の情報である「ｔ」、「ｃ」、「ｈ」、「ｋ」、「ｍ」、「ｒ」、「ｓ」、「ｎ」、「ｗ」等の音を取得し、当該記憶した母音の情報と組み合わせることで、ユーザが発話した言葉を推定してもよい。
これにより、システム１では、ユーザの音声スペクトルのうち、母音に関する音声スペクトルを別に特徴付けして記憶することができるため、アバターの口の態様の動きをより正確に変化させることができる。
【0103】
ステップＳ５０２において、端末装置１０の制御部１９０は、取得した音声スペクトルに基づいて、ユーザに対応したアバターの口の態様をユーザの発話に応じて変化させる。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０のアバター変化モジュール２０３６と同様に、取得したユーザの音声スペクトルから、ユーザが発話した言葉を推定し、当該推定した言葉に応じてアバターの口の態様を変化させる。例えば、制御部１９０は、取得したユーザの音声スペクトルが「あ」である場合に、アバターの口の態様を「あ」に対応した形に変化させる。
【0104】
ステップＳ５０３において、端末装置１０の制御部１９０は、ユーザに対応したアバター及びユーザの音声を視聴者に提示する。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０のアバター提示モジュール２０３７と同様に、ユーザに対応するアバターの映像と、ユーザの音声とを、視聴者が使用する端末装置１０のディスプレイ１３０２及びスピーカ１４２に送信し当該視聴者に提示する。このとき、視聴者は一人とは限らず、複数の視聴者の端末装置１０にアバター及び音声とを提示してもよい。
【0105】
ステップＳ５０４において、端末装置１０の制御部１９０は、アバターの口の態様を演者の発話に応じて変化させる程度の設定を、ユーザの発話の変化よりも低い程度とすることが可能に受け付ける。具体的には、例えば、端末装置１０の制御部１９０は、サーバ２０の設定受付モジュール２０３８と同様に、下記を含む設定を受け付けてもよい。
・一定期間内にユーザの発話に基づいてアバターの動作を変更・更新する頻度（例えば、１秒間の更新数）の設定
ここで、ユーザの発話の変化について定義する。ユーザの発話の変化は、例えば、ユーザの発話の速度であり、下記に基づいて算出されてもよい。
・ユーザが発話した母音が変化する時間間隔（例えば、母音が「あ」から「い」に変化する際の時間間隔）
このとき、制御部１９０は、子音に由来する音（ｃ、ｋ等）を同時に取得し、同一の母音を連続して取得した場合でも、別の単語を発話しているとして発話の速度を推定してもよい。
・所定期間内に発せられる母音の数
また、このとき、制御部１９０は、当該設定を、ユーザの発話の変化から推定されるアバターの変化の程度よりも低い程度とすることが可能に受け付けてもよい。例えば、制御部１９０は、予めユーザの音声スペクトルから推定された発話（母音）に対応するように口の態様を変化させる際の所要時間を受け付けておいてもよい。制御部１９０は、受け付けた所要時間に基づいて、ユーザの音声スペクトルから、ユーザが母音を発話した時間の情報を取得し、予め設定された所要時間との比率を算出し、態様の変化量に乗算し、アバターの口の態様の変化量を算出する。制御部１９０は、取得した発話時間と、変化量とに基づき、口の態様を変化させる。例えば、ユーザが所要時間「１秒」でアバターの口が「あ」の態様に変化する設定を入力したとする。例えば、完全に「あ」の態様になるときを「１００」とし、「１秒」で「１００」になるように設定する。
このとき、制御部１９０は、１秒で態様が変化する際の度合い（口の変化量、速度）についても、ユーザから受けてつけておいてもよい。（すなわち、１秒間で口の態様が変化するうち、最初の０．５秒と残りの０．５秒とで態様の変化量に差分を設定してもよい）
制御部１９０は、ユーザが１秒間「あ」の音を発声した場合には、上記の変化量の設定等に基づき、１秒かけてアバターの口の態様を「あ」の態様に変化させる。しかし、ユーザが「あ」の発声を「０．５秒」しかしなかった場合には、制御部１９０は、アバターの口の態様の変化量を「５０」まで変化させる処理を行ってもよい。
・一定期間内にユーザの発話に基づいてアバターの動作を変更・更新する頻度（例えば、１秒間の更新数）の設定
ここで、ユーザの発話の変化について定義する。ユーザの発話の変化は、例えば、ユーザの発話の速度であり、下記に基づいて算出されてもよい。
・ユーザが発話した母音が変化する時間間隔（例えば、母音が「あ」から「い」に変化する際の時間間隔）
このとき、制御部１９０は、子音に由来する音（ｃ、ｋ等）を同時に取得し、同一の母音を連続して取得した場合でも、別の単語を発話しているとして発話の速度を推定してもよい。
・所定期間内に発せられる母音の数
また、このとき、制御部１９０は、当該設定を、ユーザの発話の変化から推定されるアバターの変化の程度よりも低い程度とすることが可能に受け付けてもよい。例えば、制御部１９０は、予めユーザの音声スペクトルから推定された発話（母音）に対応するように口の態様を変化させる際の所要時間を受け付けておいてもよい。制御部１９０は、受け付けた所要時間に基づいて、ユーザの音声スペクトルから、ユーザが母音を発話した時間の情報を取得し、予め設定された所要時間との比率を算出し、態様の変化量に乗算し、アバターの口の態様の変化量を算出する。制御部１９０は、取得した発話時間と、変化量とに基づき、口の態様を変化させる。例えば、ユーザが所要時間「１秒」でアバターの口が「あ」の態様に変化する設定を入力したとする。例えば、完全に「あ」の態様になるときを「１００」とし、「１秒」で「１００」になるように設定する。
このとき、制御部１９０は、１秒で態様が変化する際の度合い（口の変化量、速度）についても、ユーザから受けてつけておいてもよい。（すなわち、１秒間で口の態様が変化するうち、最初の０．５秒と残りの０．５秒とで態様の変化量に差分を設定してもよい）
制御部１９０は、ユーザが１秒間「あ」の音を発声した場合には、上記の変化量の設定等に基づき、１秒かけてアバターの口の態様を「あ」の態様に変化させる。しかし、ユーザが「あ」の発声を「０．５秒」しかしなかった場合には、制御部１９０は、アバターの口の態様の変化量を「５０」まで変化させる処理を行ってもよい。
【0106】
また、制御部１９０は、ユーザが連続して発話した場合（例えば、「あいうえお」と発話）には、それぞれの母音の発話時間を取得し、上記処理を行ってもよい。つまり、制御部１９０は、それぞれの母音の発話時間から、それぞれの母音に対応したアバターの口の態様の変化量を算出し、アバターの口の態様を変化させてもよい。例えば、各母音に対応したアバターの口の態様に変化するまでの所要時間を「１秒」とし、「あ」を「０．２秒」、「い」を「０．３」秒発話していた場合、「あ」に対応した変化量は「２０」であり、「い」に対応した変化量は「３０」である。また、ユーザが所要時間よりも長い時間発話した場合には、制御部１９０は、アバターの口の態様を所用時間後もその状態を維持してもよい。
これにより、ユーザは、「あ」の音声を発声した場合に即時的にアバターを口の態様が「あ」になるのではなく、自身の発話時間に応じて徐々にアバターの口の態様を変化させることができる。また、所用時間を設定し、当該時間に満たない発話の場合に、口の態様の変化量を乗算して変化させることで、ユーザが軽く発話した際でもアバターの口の態様が大きく変化する（例えば、３０程度の口の開きでもアバターの口の態様は１００として変化する）ことを防ぐことができる。これにより、ユーザは、視聴者にユーザの発話とアバターの口の態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。
これにより、ユーザは、「あ」の音声を発声した場合に即時的にアバターを口の態様が「あ」になるのではなく、自身の発話時間に応じて徐々にアバターの口の態様を変化させることができる。また、所用時間を設定し、当該時間に満たない発話の場合に、口の態様の変化量を乗算して変化させることで、ユーザが軽く発話した際でもアバターの口の態様が大きく変化する（例えば、３０程度の口の開きでもアバターの口の態様は１００として変化する）ことを防ぐことができる。これにより、ユーザは、視聴者にユーザの発話とアバターの口の態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。
【0107】
ある局面において、制御部１９０は、ユーザから取得した音声スペクトルの大きさ、高さ等の情報等に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザの音声スペクトルの周波数（Ｈｚ）、音圧（ｄＢ）の情報を取得し、当該情報が所定の閾値を超過した場合等に、アバターの口の態様を変化させてもよい。例えば、制御部１９０は、所用時間「１秒」でアバターの口の態様を変化させる設定を受け付けており、ユーザの発話時間が「１秒」であったとする。このとき、制御部１９０は、ユーザが「０．８秒」の時点で閾値を越す音圧で発声したことを検知した場合には、アバターの口の態様を、通常よりも大きく変化（大きく口を開けた態様にする）させてもよい。このとき、制御部１９０は、口だけでなく、顔の部位、身体の部位についても同様の設定を反映させてもよい。
これにより、ユーザは、急に大声を上げた場合でも、アバターの口の態様に反映させることができ、より自然なアバターの動きを視聴者に見せることができる。
これにより、ユーザは、急に大声を上げた場合でも、アバターの口の態様に反映させることができ、より自然なアバターの動きを視聴者に見せることができる。
【0108】
他にも、制御部１９０は、ユーザの発話から推定される発話の速度から推定されるアバターの動作の更新頻度よりも低い値になるよう、アバターの口の態様の変化の程度の設定を受け付けてもよい。
例えば、制御部１９０は、ユーザの発話を一定の時間間隔で区切り、その時間間隔の最初と最後の母音に対応した口の態様にアバターを変化させる。例えば、制御部１９０は、１秒間で「あいうえお」と変化した場合、このうち「あいうえお」の初めの「あ」のタイミングの口の形状、および「お」の口の態様をアバターに反映させることとしてもよい。
他にも制御部１９０は、ユーザの発話をバッファとして一時メモリに保持する場合、「あ」から「お」へと、一定の時間間隔（例えば１秒間）をかけて変化させてもよい。また、制御部１９０は、ユーザの母音が変化する際に経過した時間よりも遅くアバターの口の態様が変化するように設定を受け付けてもよい。例えば、サーバ２０は、ユーザの母音が「あ」から「う」に変化し、変化に１秒を要した際、アバターの口の態様が「あ」から「う」に変化するのに１．５秒の時間を要してもよい。また、このとき、サーバ２０は、態様の変化を補完する処理を実行してもよい。すなわち、サーバ２０は、アバターの態様を「あ」から即座に「う」に変化させるのではなく、「あ」と「う」の中間となる口の形を経由しながら口の態様を変化させてよい。
これにより、ユーザは、単語ごとに即座にアバターの口が切り替わるのではなく、実際の人の口の動きに近い態様でアバターの口の態様を変化させることができるため、視聴者がアバターを視聴する際の違和感を低減することができる。
このとき、制御部１９０は、ユーザから、程度の設定を、ユーザの発話速度よりも低く設定することが可能に受け付けてもよい。具体的には、例えば、制御部１９０は、ユーザから受け付けた発話の音声スペクトルから、ユーザの発話の速度を算出してもよい。その後、制御部１９０は、当該算出したユーザの発話の速度から、ユーザから受け付け可能なアバターの態様の単位時間あたりの変化量の上限値を設定することで、ユーザから程度の設定を、ユーザの発話速度よりも低く設定するように受け付ける。
これにより、ユーザは、自身の発話の変化よりも遅くアバターの変化の程度を設定でき、より滑らかにアバターの態様を変化させることができる。
例えば、制御部１９０は、ユーザの発話を一定の時間間隔で区切り、その時間間隔の最初と最後の母音に対応した口の態様にアバターを変化させる。例えば、制御部１９０は、１秒間で「あいうえお」と変化した場合、このうち「あいうえお」の初めの「あ」のタイミングの口の形状、および「お」の口の態様をアバターに反映させることとしてもよい。
他にも制御部１９０は、ユーザの発話をバッファとして一時メモリに保持する場合、「あ」から「お」へと、一定の時間間隔（例えば１秒間）をかけて変化させてもよい。また、制御部１９０は、ユーザの母音が変化する際に経過した時間よりも遅くアバターの口の態様が変化するように設定を受け付けてもよい。例えば、サーバ２０は、ユーザの母音が「あ」から「う」に変化し、変化に１秒を要した際、アバターの口の態様が「あ」から「う」に変化するのに１．５秒の時間を要してもよい。また、このとき、サーバ２０は、態様の変化を補完する処理を実行してもよい。すなわち、サーバ２０は、アバターの態様を「あ」から即座に「う」に変化させるのではなく、「あ」と「う」の中間となる口の形を経由しながら口の態様を変化させてよい。
これにより、ユーザは、単語ごとに即座にアバターの口が切り替わるのではなく、実際の人の口の動きに近い態様でアバターの口の態様を変化させることができるため、視聴者がアバターを視聴する際の違和感を低減することができる。
このとき、制御部１９０は、ユーザから、程度の設定を、ユーザの発話速度よりも低く設定することが可能に受け付けてもよい。具体的には、例えば、制御部１９０は、ユーザから受け付けた発話の音声スペクトルから、ユーザの発話の速度を算出してもよい。その後、制御部１９０は、当該算出したユーザの発話の速度から、ユーザから受け付け可能なアバターの態様の単位時間あたりの変化量の上限値を設定することで、ユーザから程度の設定を、ユーザの発話速度よりも低く設定するように受け付ける。
これにより、ユーザは、自身の発話の変化よりも遅くアバターの変化の程度を設定でき、より滑らかにアバターの態様を変化させることができる。
【0109】
ステップＳ５０５において、端末装置１０の制御部１９０は、アバターの口の態様を、設定に応じて変化させる。具体的には、例えば、端末装置１０の制御部１９０は、ステップＳ６０４において設定した情報に基づいて、アバターの口の態様を、設定に応じて変化させ、その後、視聴者にアバター及びユーザの音声を提示する。
これにより、ユーザは、より自身の発話に合わせて滑らかにアバターの口の態様を変化させることができ、視聴者により自然な口の動きを提示することができる。
ある局面において、端末装置１０の制御部１９０は、アバターの口の態様を変化させる際、音声スペクトルの強弱、または高低からなる群の少なくとも１つに基づいて前記口の態様を変化させてもよい。
具体的には、例えば、制御部１９０は、音声スペクトルの下記のパラメータを分析することで、強弱および高低を判定する。
・音声スペクトルの強弱のパラメータ：デジベル（ｄＢ）
・音声スペクトルの高低のパラメータ：ヘルツ（Ｈｚ）
例えば、制御部１９０は、基準となる音声スペクトルのデシベルよりも大きい音声スペクトルを取得した際に、アバターの口の態様を、基準時の口の態様の変化よりも大きく変化させてもよい。
これにより、ユーザは、繊細な音声の変化に基づいて、アバターの態様を変化させることができ、視聴者に違和感を与えることを低減することができる。
これにより、ユーザは、より自身の発話に合わせて滑らかにアバターの口の態様を変化させることができ、視聴者により自然な口の動きを提示することができる。
ある局面において、端末装置１０の制御部１９０は、アバターの口の態様を変化させる際、音声スペクトルの強弱、または高低からなる群の少なくとも１つに基づいて前記口の態様を変化させてもよい。
具体的には、例えば、制御部１９０は、音声スペクトルの下記のパラメータを分析することで、強弱および高低を判定する。
・音声スペクトルの強弱のパラメータ：デジベル（ｄＢ）
・音声スペクトルの高低のパラメータ：ヘルツ（Ｈｚ）
例えば、制御部１９０は、基準となる音声スペクトルのデシベルよりも大きい音声スペクトルを取得した際に、アバターの口の態様を、基準時の口の態様の変化よりも大きく変化させてもよい。
これにより、ユーザは、繊細な音声の変化に基づいて、アバターの態様を変化させることができ、視聴者に違和感を与えることを低減することができる。
【0110】
ある局面において、端末装置１０の制御部１９０は、音声スペクトルを検出する周波数の範囲の設定を受け付け、設定される範囲の音声スペクトルを検出したことに応答して、程度の第１の設定に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ステップS６０４において、ユーザから、音声スペクトルを検出する周波数の範囲として、上限、下限の値の設定を受け付ける。制御部１９０は、マイク１４１を介して取得したユーザの発話の音声スペクトルを解析し、音声スペクトルの周波数が当該範囲内にあるか否かを判定する。周波数が範囲内にある場合に、制御部１９０は、ステップＳ６０５において、程度の第１の設定、すなわち、ユーザにより予め設定されている、アバターの態様の変化の程度の設定に基づいて、アバターの態様を変化させてもよい。
【0111】
また、ある局面において、端末装置１０の制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、予め定められた程度の設定であって第１の設定とは異なる第２の設定に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザから受け付けた、音声スペクトルを検出する周波数の範囲外の周波数を検出した時、通常の設定（第１の設定）とは異なる設定（第２の設定）に基づいてアバターの態様を変化させてもよい。例えば、ユーザが通常使用する周波数の範囲外の音声（例えば、極端な金切声等）を発話した場合、音声スペクトルは検出の範囲外となる。その場合、制御部１９０は、ユーザから受け付けた変化の設定（第１の設定）ではなく、検出範囲外にのみ適用される設定（第２の設定）を適用し、アバターの態様を変化させてもよい。
これにより、ユーザは、通常とは異なる動作、発話を行っても、それに応じたアバターの態様の変化をすることができ、視聴者に、より没入感を与えることができる。
これにより、ユーザは、通常とは異なる動作、発話を行っても、それに応じたアバターの態様の変化をすることができ、視聴者に、より没入感を与えることができる。
【0112】
ある局面において、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、口以外の顔の部位、身体の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、アバターに下記のような動作をさせてもよい。
・顔の部位（眉、目尻、目頭、口角等）の態様を変化させる
・身体の部位（腕、手、肩等）の態様を変化させる
このほかにも、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、視聴者が視聴する画面上に、所定のオブジェクトを表示してもよい。
これにより、制御部１９０は、例えば、ユーザが急に大声を上げる、金切声を上げる等した際に、顔の部位、身体の部位の態様の変化、オブジェクトの表示等により、よりユーザの感情を視聴者に伝えることができる。
・顔の部位（眉、目尻、目頭、口角等）の態様を変化させる
・身体の部位（腕、手、肩等）の態様を変化させる
このほかにも、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、視聴者が視聴する画面上に、所定のオブジェクトを表示してもよい。
これにより、制御部１９０は、例えば、ユーザが急に大声を上げる、金切声を上げる等した際に、顔の部位、身体の部位の態様の変化、オブジェクトの表示等により、よりユーザの感情を視聴者に伝えることができる。
【0113】
ある局面において、端末装置１０の制御部１９０は、ユーザの１または複数の感情の候補を推定し、推定したユーザの１または複数の感情の候補をユーザに提示してもよい。また、その後、制御部１９０は、ユーザから、１または複数の感情の候補のうち、１つの感情を選択するための入力操作を受け付け、ユーザから感情の選択を受け付けた場合に、選択された感情に基づいて、アバターの口の態様を変化させる処理を実行してもよい。具体的には、例えば、制御部１９０は、ユーザから取得した音声スペクトルを分析し、ユーザが発話した時の感情の候補を推定する。
このとき、感情の候補は、例えば、下記を含む。
・怒り、激昂
・喜び、楽しみ
・驚き、恐怖
・悲しみ、嘆き
・平穏、安らぎ
ここで、音声スペクトルから感情の候補を推定する処理について例示する。例えば、制御部１９０は、ユーザから予め感情に対応した音声スペクトルの情報を受け付け、記憶部１８０等に記憶しておくことで、ユーザの音声スペクトルとユーザの感情とを関連付けておいてよい。その後、制御部１９０は、ユーザから音声スペクトルを取得すると、当該取得した音声スペクトルと波形の類似している音声スペクトルと関連付けられた感情の候補を推定する。波形が類似している、とは、例えば、複数の音声スペクトルの波形同士の類似度を判定し、波形が所定の割合一致している、あるいは複数の音声スペクトルの波形同士が所定の割合乖離している（例えば、±１０％の範囲等で一致している）ことを示す。
ある局面において、音声スペクトルからユーザの感情の候補を推定する方法として、学習済みモデルを利用してもよい。例えば、端末装置１０は、複数のユーザの音声スペクトルと、当該ユーザに対応する感情とを関連付けた学習済みモデルを記憶部１８０に保持していてもよい。その後、端末装置１０の制御部１９０は、ユーザから音声スペクトルの入力を受け付けると、学習済みモデルに基づいて、当該ユーザの音声スペクトルに対応する感情の候補を推定し、ユーザに提示してもよい。
このとき、感情の候補は、例えば、下記を含む。
・怒り、激昂
・喜び、楽しみ
・驚き、恐怖
・悲しみ、嘆き
・平穏、安らぎ
ここで、音声スペクトルから感情の候補を推定する処理について例示する。例えば、制御部１９０は、ユーザから予め感情に対応した音声スペクトルの情報を受け付け、記憶部１８０等に記憶しておくことで、ユーザの音声スペクトルとユーザの感情とを関連付けておいてよい。その後、制御部１９０は、ユーザから音声スペクトルを取得すると、当該取得した音声スペクトルと波形の類似している音声スペクトルと関連付けられた感情の候補を推定する。波形が類似している、とは、例えば、複数の音声スペクトルの波形同士の類似度を判定し、波形が所定の割合一致している、あるいは複数の音声スペクトルの波形同士が所定の割合乖離している（例えば、±１０％の範囲等で一致している）ことを示す。
ある局面において、音声スペクトルからユーザの感情の候補を推定する方法として、学習済みモデルを利用してもよい。例えば、端末装置１０は、複数のユーザの音声スペクトルと、当該ユーザに対応する感情とを関連付けた学習済みモデルを記憶部１８０に保持していてもよい。その後、端末装置１０の制御部１９０は、ユーザから音声スペクトルの入力を受け付けると、学習済みモデルに基づいて、当該ユーザの音声スペクトルに対応する感情の候補を推定し、ユーザに提示してもよい。
【0114】
制御部１９０は、当該推定した感情の候補をユーザに提示し、ユーザからの選択を受け付けてもよい。また、制御部１９０は、感情毎の口の態様の変化の程度の設定を予め受け付けており、当該ユーザから感情の選択を受け付けると、対応する感情の設定に基づいてアバターの口の態様を変化させる。
これにより、ユーザは、発話から推定される感情に基づいてアバターの態様を変化させることができる。
これにより、ユーザは、発話から推定される感情に基づいてアバターの態様を変化させることができる。
【0115】
このとき、制御部１９０は、ユーザの感情を推定できない場合は、ユーザが予め設定した条件に基づいて口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザから取得した音声スペクトルから、ユーザの感情の候補が推定できない、すなわち、類似した音声スペクトルが推定できない場合には、予めユーザが設定した条件に基づいてアバターの口の態様を変化させてもよい。
例えば、制御部１９０は、ユーザから正確に音声スペクトルが取得できない場合、取得した音声スペクトルに類似する感情の候補が推定できない場合等に、ユーザから「平穏」の口の対応の設定を受け付けていると、アバターの口の態様を、「平穏」の感情に基づいた態様に変化させる。
これにより、ユーザは、感情が推定できない場合でも、アバターを予め設定した態様に変化させることができるため、視聴者への違和感を抑えることができる。
例えば、制御部１９０は、ユーザから正確に音声スペクトルが取得できない場合、取得した音声スペクトルに類似する感情の候補が推定できない場合等に、ユーザから「平穏」の口の対応の設定を受け付けていると、アバターの口の態様を、「平穏」の感情に基づいた態様に変化させる。
これにより、ユーザは、感情が推定できない場合でも、アバターを予め設定した態様に変化させることができるため、視聴者への違和感を抑えることができる。
【0116】
また、ある局面において、制御部１９０は、推定された感情に基づいて、アバターの口とは異なる身体の部位を動作させてもよい。具体的には、例えば、制御部１９０は、アバターの口とは異なる身体の部位として、肩、腕、手等の部位を動作させてもよい。他にも、制御部１９０は、アバターの口とは異なる身体の部位として、特殊部位（例えば、アバターが人間以外の場合、羽、尻尾、周囲に浮遊するオブジェクト等）を動作させてもよい。例えば、制御部１９０は、ユーザから取得した音声スペクトルから推定された感情が「怒り」等であった場合、アバターの腕を振り上げる動作をしてもよい。
また、このとき、制御部１９０は、取得した音声スペクトルから推定した感情ではなく、ユーザに感情の候補を提示し、ユーザから選択された感情に基づいて、アバターの口とは異なる身体の部位を動作させてもよい。
また、このとき、制御部１９０は、取得した音声スペクトルから推定した感情ではなく、ユーザに感情の候補を提示し、ユーザから選択された感情に基づいて、アバターの口とは異なる身体の部位を動作させてもよい。
【0117】
この他にも、制御部１９０は、取得した音声スペクトルから推定される感情に基づいて、態様を変化させるアバターの口とは異なる１または複数の身体の部位の候補をユーザに提示し、ユーザからの態様を変化させる部位の選択を受け付けることに応答して、当該部位の態様を変化させてもよい、
これにより、ユーザは、自身の音声スペクトルから推定された感情に基づいて、アバターの口以外の部位も動作させることができ、より視聴者に没入感を与えることができる。
これにより、ユーザは、自身の音声スペクトルから推定された感情に基づいて、アバターの口以外の部位も動作させることができ、より視聴者に没入感を与えることができる。
【0118】
ある局面において、端末装置１０の制御部１９０は、ユーザの発話速度が、ユーザにより設定されている口の態様の変化の程度から推定される発話速度よりも、所定の速度乖離した場合には、ユーザにより設定された程度の設定ではなく、発話速度に基づいて口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザの発話から発話速度を算出する。発話速度の算出方法は、例えば、制御部１９０は、ユーザから取得した音声スペクトルからユーザが単位時間あたりの単語数を算出することで、発話速度の値として定義してもよい。また、制御部１９０は、ユーザにより設定されている口の態様の変化の程度から、単位時間当たりの発話数を算出し、アバターの口の態様の変化の程度から推定されるユーザの発話速度を算出する。その後、制御部１９０は、当該ユーザの発話から算出した発話速度と、アバターの口の態様の変化の程度から推定される発話速度との間で、所定の速度乖離した場合には、ユーザにより設定された程度の設定ではなく、ユーザの発話から算出された発話速度に基づいて口の態様を変化させてもよい。
これにより、ユーザは、自身の発話速度が、あまりにもアバターの口の態様の変化の程度から推定される発話速度よりも乖離する場合には、発話速度に基づいてアバターの口の態様を変化させることができる。そのため、視聴者に違和感を与えることを低減することができる。
これにより、ユーザは、自身の発話速度が、あまりにもアバターの口の態様の変化の程度から推定される発話速度よりも乖離する場合には、発話速度に基づいてアバターの口の態様を変化させることができる。そのため、視聴者に違和感を与えることを低減することができる。
【0119】
ある局面において、端末装置１０の制御部１９０は、ユーザからアバターの属性を受け付け、当該属性に基づいて、アバターの口の態様の変化量を補正してもよい。具体的には、例えば、制御部１９０は、アバターの属性として、人間、または人間とは口の態様の変化の様子が異なる人間以外のいずれかの情報を受け付け、当該属性に基づいて、口の態様の変化量を補正してもよい。例えば、制御部１９０は、サーバ２０の変化補正モジュール２０４０と同様に、ユーザが操作するアバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかの情報を取得し、当該情報に基づいて、アバターの態様の変化の程度を補正する処理を実行してもよい。例えば、ユーザが操作するアバターの属性が「竜」である場合には、目、口等の動きが、人間とは異なる挙動を示す可能性がある。その場合、制御部１９０は、当該「竜」の属性に基づいて、口角の変化量、眼球の変化量等を、アバターに沿った形に補正してもよい。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。
【0120】
【0121】
図６は、ユーザが自身の母音の音声スペクトルをシステム１に登録する際の画面例である。
【0122】
図６において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、設定画面６０１、アバター６０２等を表示する。
設定画面６０１は、ユーザから各母音に対応した音声スペクトルの情報を取得し関連付ける際にユーザに表示される設定画面である。例えば、端末装置１０の制御部１９０は、ユーザの音声スペクトルと関連付ける母音として「Ａ」「Ｉ」「Ｕ」「Ｅ」「Ｏ」「Ｎ」の６文字の設定画面を当該画面に表示する。その際、制御部１９０は、現在ユーザの音声スペクトルと関連付けている母音の情報を、当該画面の上部に表示していてもよい。
また、制御部１９０は、設定画面６０１の下部に、ユーザが使用しているマイク１４１の情報を表示してもよい。制御部１９０は、ユーザが使用するマイク１４１の種類により周波数特性が異なる場合には、使用されるマイク１４１毎にユーザの音声スペクトルと母音の情報とを関連付けてもよい。
設定画面６０１は、ユーザから各母音に対応した音声スペクトルの情報を取得し関連付ける際にユーザに表示される設定画面である。例えば、端末装置１０の制御部１９０は、ユーザの音声スペクトルと関連付ける母音として「Ａ」「Ｉ」「Ｕ」「Ｅ」「Ｏ」「Ｎ」の６文字の設定画面を当該画面に表示する。その際、制御部１９０は、現在ユーザの音声スペクトルと関連付けている母音の情報を、当該画面の上部に表示していてもよい。
また、制御部１９０は、設定画面６０１の下部に、ユーザが使用しているマイク１４１の情報を表示してもよい。制御部１９０は、ユーザが使用するマイク１４１の種類により周波数特性が異なる場合には、使用されるマイク１４１毎にユーザの音声スペクトルと母音の情報とを関連付けてもよい。
【0123】
アバター６０２は、ユーザの発話に応じて口の態様を変化させる対象となるアバターである。制御部１９０は、ユーザから取得した音声スペクトルに応答させて、当該アバター６０２の口の態様を変化させる。例えば、制御部１９０は、ユーザが「あ（Ａ）」の母音を発声すると、当該発声が、母音の「あ（Ａ）」として保持されている音声スペクトルと合致するかを判定する。その後、ユーザの発声が「あ（Ａ）」である場合に、制御部１９０は、アバター６０２の口の態様を「あ（Ａ）」の形に変化させる。
これにより、ユーザは、母音ごとに正確にアバターの口の態様を変化させることができる。
これにより、ユーザは、母音ごとに正確にアバターの口の態様を変化させることができる。
【0124】
図７は、ユーザがアバターの口、または顔の部位の態様の変化の程度の設定を行う際の画面例を示す。
【0125】
図７において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面７０１、ユーザ映像７０２、設定画面７０３、アバター７０４等を表示する。
【0126】
情報表示画面７０１は、ユーザから取得した音声スペクトルの周波数、および検出可能な音声スペクトルの範囲、検出範囲外となった場合の態様の設定等を表示する画面である。他にも、端末装置１０は、ユーザの発話から算出されるユーザの発話の速度、ユーザが設定可能な態様の変化の程度。ユーザの顔のセンシング結果等を当該画面に表示し、ユーザが設定可能な各種条件を視覚的に表示してもよい。
【0127】
ユーザ映像７０２は、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。端末装置１０の制御部１９０は、ユーザが端末装置１０の前で何かしらの発声を行うことで、端末装置１０に備えられているカメラ１６０およびマイク１４１により、ユーザ自身の映像と、ユーザの発話の音声スペクトル等の情報を、ユーザ映像７０２および情報表示画面７０１に表示する。
【0128】
設定画面７０３は、ユーザがアバターの態様の変化の程度を設定するための画面である。端末装置１０の制御部１９０は、例えば、下記の設定をユーザに提示し、入力を受け付ける。
・口の切り替え速さ
口の切り替え速さは、ユーザから取得した音声スペクトルに対し、どの程度の時間で最大の大きさ（１００）に到達するかの所要時間に関する情報である。
・目の動き：上方向の最大値
・目の動き：下方向の最大値
・目の動き：横方向の最大値
・目の動き：感度（端末のセンシング感度）
感度とは、ユーザの目等をセンシングした際に、アバターに反映させる感度のことを示す。具体的には、例えば、感度は、ユーザが真正面を向いている際の目等の位置の座標を「０」とした時に、左右方向に目等を移動させた際に、アバターの目等を実際の目等の移動量に対しどの程度反映させるかを設定するパラメータである。このとき、感度は、１００の時に比例関数であり、０に近づくほど下に凸の関数であってもよい。つまり、感度１００の場合は、ユーザの目の動きとアバターの目の動きは完全に同期しており、感度が５０等の場合には、ユーザの目等が中心からあまり動かない場合にはアバターの目等の動きはユーザの目の移動距離よりも小さく反映され、目尻などに目が移動した場合には、アバターの目等の動きはユーザの目の移動距離よりも大きく反映される。これにより、ユーザがあまり目を動かさない場合に、アバターの目が即時的に反映され「ギョロギョロ」と動くことを防ぐことができる。
また、上記感度の設定は、目に限られない。目以外の顔の部位、身体の部位についても、同様の設定を受け付けてもよい。
このとき、端末装置１０の制御部１９０は、ユーザから受け付け可能な変化の程度の設定として、ユーザの発話の変化よりも低い程度で受け付けてよい。例えば、制御部１９０は、ユーザの発話から推定さえるアバターの変化の度合い（オブジェクトの変化量、オブジェクトの変化速度）よりも低くなるよう、ユーザから当該設定を受け付けてもよい。このとき、制御部１９０は、ユーザが設定可能範囲にない数値等を設定しようとした場合には、所定のアラートを表示しても良いし、設定画面がスライダ式などの場合には、予めその数値にならないようにロックしていてもよい。
これにより、ユーザは、自身の発話の変化よりもアバターを緩やかに動かすことで、視聴者に与えるアバターの変化の度合いを滑らかにすることができ、より視聴者に没入感を与えることができる。
・口の切り替え速さ
口の切り替え速さは、ユーザから取得した音声スペクトルに対し、どの程度の時間で最大の大きさ（１００）に到達するかの所要時間に関する情報である。
・目の動き：上方向の最大値
・目の動き：下方向の最大値
・目の動き：横方向の最大値
・目の動き：感度（端末のセンシング感度）
感度とは、ユーザの目等をセンシングした際に、アバターに反映させる感度のことを示す。具体的には、例えば、感度は、ユーザが真正面を向いている際の目等の位置の座標を「０」とした時に、左右方向に目等を移動させた際に、アバターの目等を実際の目等の移動量に対しどの程度反映させるかを設定するパラメータである。このとき、感度は、１００の時に比例関数であり、０に近づくほど下に凸の関数であってもよい。つまり、感度１００の場合は、ユーザの目の動きとアバターの目の動きは完全に同期しており、感度が５０等の場合には、ユーザの目等が中心からあまり動かない場合にはアバターの目等の動きはユーザの目の移動距離よりも小さく反映され、目尻などに目が移動した場合には、アバターの目等の動きはユーザの目の移動距離よりも大きく反映される。これにより、ユーザがあまり目を動かさない場合に、アバターの目が即時的に反映され「ギョロギョロ」と動くことを防ぐことができる。
また、上記感度の設定は、目に限られない。目以外の顔の部位、身体の部位についても、同様の設定を受け付けてもよい。
このとき、端末装置１０の制御部１９０は、ユーザから受け付け可能な変化の程度の設定として、ユーザの発話の変化よりも低い程度で受け付けてよい。例えば、制御部１９０は、ユーザの発話から推定さえるアバターの変化の度合い（オブジェクトの変化量、オブジェクトの変化速度）よりも低くなるよう、ユーザから当該設定を受け付けてもよい。このとき、制御部１９０は、ユーザが設定可能範囲にない数値等を設定しようとした場合には、所定のアラートを表示しても良いし、設定画面がスライダ式などの場合には、予めその数値にならないようにロックしていてもよい。
これにより、ユーザは、自身の発話の変化よりもアバターを緩やかに動かすことで、視聴者に与えるアバターの変化の度合いを滑らかにすることができ、より視聴者に没入感を与えることができる。
【0129】
アバター７０４は、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。端末装置１０の制御部１９０は、ユーザから設定画面７０３の設定を受け付けると、ユーザ映像７０２とアバター７０４とを同期させてユーザに表示させてもよい。
これにより、ユーザは、自身の設定によりアバターの態様を変化させる際に、事前に違和感などを確認することができる。
これにより、ユーザは、自身の設定によりアバターの態様を変化させる際に、事前に違和感などを確認することができる。
【0130】
図８は、ユーザの発話から、ユーザの１または複数の感情の候補を推定し、当該推定したユーザの１または複数の感情に基づいて、アバターの態様を変化させる画面例を示す。
【0131】
図８において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面８０１、ユーザ映像８０２、アバター８０３等を表示する。
【0132】
情報表示画面８０１は、図７における、情報表示画面７０１と同様に、ユーザから取得した音声スペクトルの周波数等を表示する画面であり、図８においては、音声スペクトルから推定した１または複数の感情の候補、およびユーザがアバターの態様に反映させる感情の設定の候補を提示してもよい。
制御部１９０は、当該提示された設定の候補に対するユーザからの選択を受け付けることで、アバターの態様の変化、例えば、アバターの口の態様、口以外の顔の部位の態様を変化させてもよい。
制御部１９０は、当該提示された設定の候補に対するユーザからの選択を受け付けることで、アバターの態様の変化、例えば、アバターの口の態様、口以外の顔の部位の態様を変化させてもよい。
【0133】
ユーザ映像８０２は、図７におけるユーザ映像７０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。
【0134】
アバター８０３は、図７におけるアバター７０４と同様に、ユーザから受け付けた感情の設定に基づいて態様を変化させるアバターである。端末装置１０の制御部１９０は、ユーザから受け付けた感情の設定に基づいて、アバターの態様（例えば、口）を変化させユーザに表示する。このとき、制御部１９０は、アバターの口の態様に限らず、アバターの他の部位の態様を変化、または動作させてもよい。例えば、制御部１９０は、ユーザから選択を受け付けた感情が「怒り」である場合に、アバターの口の態様を「怒り」の感情に基づいて変化させ、かつ、アバターの他の部位として、顔の眉、目尻等の部位の態様を変化させてもよい。他にも、制御部１９０は、アバターの身体の部位（例えば、腕を振り上げる動作をさせるなど）を当該感情に基づいて動作させてもよい。他にも、制御部１９０は、当該感情に基づいて、アバターを表示させる画面に感情に対応した所定のオブジェクトなどを表示させてもよい。
これにより、ユーザは、発話から推定される感情に基づいて、アバターに様々な変化、動作をさせることができるため、視聴者により没入感を与えることができる。
これにより、ユーザは、発話から推定される感情に基づいて、アバターに様々な変化、動作をさせることができるため、視聴者により没入感を与えることができる。
【0135】
また、ある局面において、制御部１９０は、ユーザ情報１８０１またはユーザ情報データベース２０２１を参照し、ユーザがよく使う感情の情報を取得し、アバターに反映する感情の候補として提示してもよい。
これにより、ユーザは、発話に関係なく、演出等でアバターの態様を変化させようとしている時でも、簡易にアバターの態様を変化させることができる。
これにより、ユーザは、発話に関係なく、演出等でアバターの態様を変化させようとしている時でも、簡易にアバターの態様を変化させることができる。
【0136】
図９は、ユーザが人間とは異なる属性のアバターに対し、音声スペクトル等に基づいて各種設定を行う画面例を示す。
【0137】
図９において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面９０１、ユーザ映像９０２、設定画面９０３、アバター９０４等を表示する。
【0138】
情報表示画面９０１は、図７、図８における情報表示画面７０１、８０１と同様に、ユーザから取得した音声スペクトルの周波数、および検出可能な音声スペクトルの範囲、検出範囲外となった場合の態様の設定等を表示する画面である。このとき、制御部１９０は、情報表示画面９０１において、ユーザと対応するアバターの属性に関する情報を表示してもよい。例えば、制御部１９０は、ユーザ情報１８０１またはユーザ情報データベース２０２１を参照し、ユーザと対応するアバターの情報を取得することで、当該画面にアバターの属性に関する情報を表示してもよい。
【0139】
【0140】
設定画面９０３は、図７における設定画面７０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。図９において、制御部１９０は、設定画面７０３においてユーザに提示した画面の他に、アバターの属性に基づいて推奨される設定のサジェスト等を表示してもよい。具体的には、例えば、制御部１９０は、アバター情報１８０２、またはアバター情報データベース２０２２等を参照し、アバターによる態様の変化の度合いの補正量に関する情報を取得し、通常の人間のアバターの態様を変化させる際の基本的な設定に、当該補正結果を乗算した設定を、ユーザに提示してもよい。
これにより、ユーザは、自身のアバターが人間とは異なる属性である場合にも、違和感のない態様の変化の設定を行うことができる。
また、ある局面において、制御部１９０は、アバターに特殊部位が存在する場合に、ユーザに対し、当該部位の態様の変化の度合いを設定するための画面を表示してもよい。制御部１９０は、例えば、他の部位の設定と同期する場合には、当該他のアバターの部位の変化の設定を反映してもよいし、ユーザに対し、別途詳細に態様の変化の度合いを設定する画面を提示してもよい。
これにより、ユーザは、自身のアバターに特殊な部位が存在する場合でも、自由に態様の変化の度合いを設定することができ、視聴者により没入感を与えることができる。
これにより、ユーザは、自身のアバターが人間とは異なる属性である場合にも、違和感のない態様の変化の設定を行うことができる。
また、ある局面において、制御部１９０は、アバターに特殊部位が存在する場合に、ユーザに対し、当該部位の態様の変化の度合いを設定するための画面を表示してもよい。制御部１９０は、例えば、他の部位の設定と同期する場合には、当該他のアバターの部位の変化の設定を反映してもよいし、ユーザに対し、別途詳細に態様の変化の度合いを設定する画面を提示してもよい。
これにより、ユーザは、自身のアバターに特殊な部位が存在する場合でも、自由に態様の変化の度合いを設定することができ、視聴者により没入感を与えることができる。
【0141】
アバター９０４は、図７、図８におけるアバター７０４、８０３と同様に、ユーザから受け付けた感情の設定に基づいて態様を変化させるアバターである。図９において、制御部１９０は。アバター９０４にアバターの特殊部位等を同時に表示していてもよい。
これにより、ユーザは、アバターに特殊部位が存在する場合でも、その態様の変化を確認しながら視聴者に配信を行うことができる。
これにより、ユーザは、アバターに特殊部位が存在する場合でも、その態様の変化を確認しながら視聴者に配信を行うことができる。
【0142】
＜第２の実施形態＞
これまでは、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させる一連の処理について説明した。
第２の実施形態に係る発明では、ユーザの発話の音声スペクトル以外にも、ユーザのセンシング結果に基づいて、アバターの態様、例えば、１または複数の顔の部位の態様を変化させることができる。以下、当該一連の処理について説明する。なお、第１の実施形態と共通の構成を持つ部分（例えば、端末装置１０、サーバ２０等）についての説明は省略し、第２の実施形態に特有の構成、処理についてのみ説明する。
これまでは、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させる一連の処理について説明した。
第２の実施形態に係る発明では、ユーザの発話の音声スペクトル以外にも、ユーザのセンシング結果に基づいて、アバターの態様、例えば、１または複数の顔の部位の態様を変化させることができる。以下、当該一連の処理について説明する。なお、第１の実施形態と共通の構成を持つ部分（例えば、端末装置１０、サーバ２０等）についての説明は省略し、第２の実施形態に特有の構成、処理についてのみ説明する。
【0143】
＜５ 第２の実施形態における動作＞
以下、システム１が、ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングし、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる際の一連の処理について説明する。
以下、システム１が、ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングし、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる際の一連の処理について説明する。
【0144】
図１０は、ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングし、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる際の一連の処理を表すフローチャートである。なお、本フローチャートにおいても、ユーザが使用する端末装置１０の制御部１９０が一連の処理を実行する例を開示するが、これに限られない。すなわち、一部の情報を端末装置１０がサーバ２０に送信し、当該処理をサーバ２０で実行してもよいし、サーバ２０が一連の全ての処理を実行してもよい。
【0145】
ステップＳ１００１において、端末装置１０の制御部１９０は、ユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングする。具体的には、例えば、端末装置１０の制御部１９０は、ユーザが端末装置１０に備えられたカメラ１６０の前で顔を動作させた際のユーザの１または複数の顔の部位をセンシングする。このとき、制御部１９０が行うセンシングの方法は、既存のあらゆる技術であってよい。例えば、制御部１９０は、カメラ１６０にセンシング機能を備えさせてユーザの顔の部位をセンシングしても良いし、モーションセンサ１７０によりユーザの顔の部位をセンシングしても良い。
このとき、端末装置１０の制御部１９０は、ユーザの１または複数の顔の部位として、ユーザの眉、瞼、目頭、目尻、眼球、瞳孔、口からなる群の少なくとも１つをセンシングする。しかし、当該部位は限定されず、他の顔の部位（頬、額等）であってもよい。
このとき、端末装置１０の制御部１９０は、ユーザの１または複数の顔の部位として、ユーザの眉、瞼、目頭、目尻、眼球、瞳孔、口からなる群の少なくとも１つをセンシングする。しかし、当該部位は限定されず、他の顔の部位（頬、額等）であってもよい。
【0146】
ステップＳ１００２において、端末装置１０の制御部１９０は、センシングした１または複数の顔の部位の動きに基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させる。具体的には、例えば、制御部１９０は、ユーザの１または複数の顔の部位と、アバターの１または複数の顔の部位を予め対応付けておく。その後、制御部１９０は、センシングにより取得したユーザの１または複数の顔の部位と対応するアバターの顔の部位の態様を、当該センシング結果に基づいて変化させる。例えば、制御部１９０は、ユーザの目とアバターの目とを対応付けていた場合、ユーザの目のセンシング結果に基づいて、アバターの目の態様を変化させる。
【0147】
ステップＳ１００３において、端末装置１０の制御部１９０は、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定を受け付け、度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させる。具体的には、例えば、制御部１９０は、ユーザのセンシング結果に追随させる度合いとして、下記を含む条件の設定を受け付ける。
・アバターの態様の変化量（例えば、目等の開閉の変化量等）
これにより、ユーザは、自身のセンシング結果にアバターの態様の変化を追随させる度合いを細かく調整でき、動きの違和感を視聴者に与えることを防ぐことができる。
・アバターの態様の変化量（例えば、目等の開閉の変化量等）
これにより、ユーザは、自身のセンシング結果にアバターの態様の変化を追随させる度合いを細かく調整でき、動きの違和感を視聴者に与えることを防ぐことができる。
【0148】
第２の実施形態において、制御部１９０は、第１の実施形態における、アバターの口の態様の変化の度合いの設定と同様に、アバターの顔の部位、顔以外の身体の部位の態様の変化の度合いについても、ユーザからの設定を受け付けてもよい。すなわち、制御部１９０は、予めユーザから、ユーザが各種母音に対応する口の態様、各種顔、身体の部位をセンシングにより取得しておいてもよい。制御部１９０は、ユーザのセンシング結果から、予め取得していたユーザの口、顔の部位、身体の部位の変化との差異を特定し、予め取得しておいたセンシング結果との比率を算出し、態様の変化量に乗算することで、アバターの口、顔の部位、身体の部位の態様の変化量を算出してもよい。制御部１９０は、算出した変化量に基づき、アバターの口、顔の部位、身体の部位の態様を変化させてもよい。例えば、ユーザが口、眉を一部しか動かさない（予め１００の位置を設定しておき、センシング結果から、５０の位置までしかユーザが口、眉等を動かしていない）等の場合には、アバターの口、眉等も５０までしか動かさない等の処理を行ってよい。
これにより、ユーザは、自身のセンシング結果に応じて徐々にアバターの態様を変化させることができ、自然な動きを視聴者に見せることができる。これにより、ユーザは、視聴者にユーザの動作とアバターの態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。
これにより、ユーザは、自身のセンシング結果に応じて徐々にアバターの態様を変化させることができ、自然な動きを視聴者に見せることができる。これにより、ユーザは、視聴者にユーザの動作とアバターの態様の変化とに生じる違和感を与えることを防ぐことができるため、より視聴者に没入感を与えることができる。
【0149】
ある局面において、制御部１９０は、アバターの１または複数の顔の部位のうち、関連付けられた所定の部位同士について、同一の設定を受け付けてもよい。具体的には、制御部１９０は、ユーザから、アバターの１または複数の顔の部位のうち、例えば、下記の部位同士を関連付ける設定を受け付け、当該部位同士に対して度合いの設定に関する同一の設定を受け付けてもよい。
・眉、目等の顔の部位のうち対になっている部位
・眉と目のように連動して動作する部位
・顔の部位と顔以外の身体の部位（肩、腕、足、首等）
他にも、制御部１９０は、後述するアバターの属性によって、顔の部位と顔以外の特殊部位とを関連付ける設定を受け付けてもよい。
これにより、ユーザは、複数の顔の部位のうち、対になっている部位、連動して動作する部位などに対し、個別に度合いを設定することがなく、簡易にアバターの態様を変化させ配信することができる。
・眉、目等の顔の部位のうち対になっている部位
・眉と目のように連動して動作する部位
・顔の部位と顔以外の身体の部位（肩、腕、足、首等）
他にも、制御部１９０は、後述するアバターの属性によって、顔の部位と顔以外の特殊部位とを関連付ける設定を受け付けてもよい。
これにより、ユーザは、複数の顔の部位のうち、対になっている部位、連動して動作する部位などに対し、個別に度合いを設定することがなく、簡易にアバターの態様を変化させ配信することができる。
【0150】
ある局面において、端末装置１０の制御部１９０は、ユーザに対し、センシングされた結果に追随させる度合いの設定の１または複数の候補を提示し、ユーザから１または複数の度合いの設定の候補の選択を受け付けてもよい。また、その後、制御部１９０は、選択を受け付けた度合いの設定に基づいて、アバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザのセンシング結果を取得した際に、ユーザからセンシング結果に追随させる度合いの設定を受け付けるのではなく、追随の程度を１または複数の候補（プリセット）として提示してもよい。このとき、候補の提示方法として、制御部１９０は、予めユーザから使用する追随の程度の１または複数の候補の情報を受け付けておき、当該情報に基づいて候補を提示してもよい。
これにより、ユーザは、センシング結果に基づいてアバターの顔の部位の態様を変化させる際、逐一追随の程度を設定せずともよく、より配信を簡易に行うことができる。
これにより、ユーザは、センシング結果に基づいてアバターの顔の部位の態様を変化させる際、逐一追随の程度を設定せずともよく、より配信を簡易に行うことができる。
【0151】
また、ある局面において、端末装置１０の制御部１９０は、ユーザからアバターの属性を受け付け、当該属性に基づいて、度合いを補正してもよい。ここで、制御部１９０は、属性として、人間、または人間とは１または複数の顔の部位の態様の変化の様子が異なる人間以外のいずれかの情報を受け付け、当該属性に基づいて度合いを補正してもよい。例えば、制御部１９０は、サーバ２０の変化補正モジュール２０４０と同様に、ユーザが操作するアバターが人間、または人間とは態様の変化の様子が異なる人間以外のいずれかであるかの情報を取得し、当該情報に基づいて、アバターの態様の変化の程度を補正する処理を実行してもよい。例えば、ユーザが操作するアバターの属性が「竜」である場合には、目、口等の動きが、人間とは異なる挙動を示す可能性がある。その場合、制御部１９０は、当該「竜」の属性に基づいて、口角の変化量、眼球の変化量等を、アバターに沿った形に補正してもよい。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。
これにより、ユーザは、人間とは異なるアバターを操作していても、自身の発話、顔のセンシング結果に基づいて、より自然な動きを視聴者に提示することができる。
【0152】
他にも、ある局面において、端末装置１０の制御部１９０は、ユーザの音声スペクトルを取得し、取得した音声スペクトルから、ユーザの発話の変化の程度の情報を取得してもよい。その後、制御部１９０は、度合いの設定を、ユーザの発話の変化の程度に関連付けられた範囲で設定可能に受け付け、当該度合いの設定に従って、アバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、マイク１４１等を介し、ユーザの発話から音声スペクトルを取得し、ユーザの発話の変化の程度として、下記の情報を取得してもよい。
・ユーザが単位時間に発話した単語の量（発話の速度）
・ユーザの音声の大小の変化
・ユーザの音声の高低の変化
例えば、制御部１９０は、下記のような処理を実行することで、ユーザの発話の変化から推定されるアバターの変化の程度よりも低くアバターの態様を変化させる。
・ユーザから取得した音声スペクトルにおける母音の変化にかかわらず、一定の時間間隔で、口の動きをアバターに反映させる
制御部１９０は、当該取得した発話の変化の程度の情報に基づいて、センシング結果に追随する度合いの程度の設定可能な範囲を特定する。例えば、制御部１９０は、上記取得した発話の変化の程度から前述の変化量等が、当該発話の変化の程度を超えないようにユーザからの度合いの設定を受け付けることとしてもよい。
これにより、ユーザは、センシング結果だけでなく、音声スペクトルの情報に基づいてアバターの顔の態様を変化させることができ、より自然な動きでアバターを視聴者に見せることができる。
・ユーザが単位時間に発話した単語の量（発話の速度）
・ユーザの音声の大小の変化
・ユーザの音声の高低の変化
例えば、制御部１９０は、下記のような処理を実行することで、ユーザの発話の変化から推定されるアバターの変化の程度よりも低くアバターの態様を変化させる。
・ユーザから取得した音声スペクトルにおける母音の変化にかかわらず、一定の時間間隔で、口の動きをアバターに反映させる
制御部１９０は、当該取得した発話の変化の程度の情報に基づいて、センシング結果に追随する度合いの程度の設定可能な範囲を特定する。例えば、制御部１９０は、上記取得した発話の変化の程度から前述の変化量等が、当該発話の変化の程度を超えないようにユーザからの度合いの設定を受け付けることとしてもよい。
これにより、ユーザは、センシング結果だけでなく、音声スペクトルの情報に基づいてアバターの顔の態様を変化させることができ、より自然な動きでアバターを視聴者に見せることができる。
【0153】
このとき、制御部１９０は、音声スペクトルを検出する周波数の範囲の設定を受け付け、当該設定される範囲の音声スペクトルを検出したことに応答して、度合いの第１の設定に基づいて、アバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザの発話から音声スペクトルを取得する際、検出可能な範囲の設定をユーザから受け付けていてもよい。制御部１９０は、ユーザから取得した音声スペクトルが当該周波数の範囲内にある場合には、上述したユーザから受け付けた度合いの設定に基づいてアバターの顔の態様を変化させてもよい。
また、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、予め定められた度合いの設定であって、第１の度合いの設定とは異なる第２の度合いの設定に基づいて、アバターの１または複数の顔の部位の態様を変化させてもよい。このとき、第２の度合いの設定は、例えば、ユーザが極端に高い周波数の声（金切声等）を発した場合等に、ユーザから受け付けた度合い（第１の度合い）の設定ではなく、予め設定されていた、当該周波数に対応した度合い（第２の度合い）を反映してアバターの顔の態様を変化させてもよい。
これにより、ユーザは、通常発声しない周波数の発声を行った場合でも、アバターの顔の態様を変化させることができ、視聴者により没入感を与えることができる。
また、制御部１９０は、設定される範囲外の音声スペクトルを検出したことに応答して、予め定められた度合いの設定であって、第１の度合いの設定とは異なる第２の度合いの設定に基づいて、アバターの１または複数の顔の部位の態様を変化させてもよい。このとき、第２の度合いの設定は、例えば、ユーザが極端に高い周波数の声（金切声等）を発した場合等に、ユーザから受け付けた度合い（第１の度合い）の設定ではなく、予め設定されていた、当該周波数に対応した度合い（第２の度合い）を反映してアバターの顔の態様を変化させてもよい。
これにより、ユーザは、通常発声しない周波数の発声を行った場合でも、アバターの顔の態様を変化させることができ、視聴者により没入感を与えることができる。
【0154】
また、ある局面において、端末装置１０の制御部１９０は、ユーザの口の動きがセンシングできない場合には、ユーザの発話の変化の程度に基づいて、アバターの口の態様を変化させてもよい。具体的には、例えば、制御部１９０は、下記のような場合に、前述したように、ユーザのセンシング結果ではなく、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させてもよい。
・ユーザが口にマスク等を着用しており、口の動きをセンシングできない場合
・端末装置１０のセンシング機能のエラーにより口の動きをセンシングできない場合
・外部環境により口の動きをセンシングできない場合
これにより、ユーザは、例えば、マスクを着用して配信しなければならない時などでも、アバターの口の態様を自身の発話に合わせて変化させることができる。
・ユーザが口にマスク等を着用しており、口の動きをセンシングできない場合
・端末装置１０のセンシング機能のエラーにより口の動きをセンシングできない場合
・外部環境により口の動きをセンシングできない場合
これにより、ユーザは、例えば、マスクを着用して配信しなければならない時などでも、アバターの口の態様を自身の発話に合わせて変化させることができる。
【0155】
ある局面において、端末装置１０の制御部１９０は、ユーザの１または複数の感情の候補を推定し、推定したユーザの１または複数の感情の候補をユーザに提示してもよい。その後、制御部１９０は、ユーザから、１または複数の感情の候補のうち、１つの感情を選択するための入力操作を受け付け、選択された感情に基づいて、ユーザに対応するアバターの１または複数の顔の部位の態様を変化させてもよい。具体的には、例えば、制御部１９０は、ユーザから予め、ユーザの感情に応じた顔の部位のセンシング結果を取得して関連付けておいてもよい。その後、制御部１９０は、カメラ１６０等を介してユーザの顔のセンシングを行い、当該関連付けた感情に含まれる顔のセンシング結果と全て、または一部が合致するかを判定する。その後、制御部１９０は、当該判定結果に基づいて、ユーザの感情の候補を提示し、ユーザからの選択を受け付け、当該選択された感情に基づいて、アバターの顔の態様を変化させてもよい。
また、このとき、ユーザの感情を推定できない場合、制御部１９０は、ユーザが予め設定した設定に基づいて１または複数の顔の部位の態様を変化させてもよい。
例えば、制御部１９０は、ユーザの顔の部位のセンシングが正確に行えない場合、センシング結果に類似する感情の候補が推定できない場合等に、ユーザから「平穏」の口の対応の設定を受け付けていると、アバターの口の態様を、「平穏」の感情に基づいた態様に変化させる。
これにより、ユーザは、センシングが正確に行えない場合でも、感情の候補を選択することで、アバターの態様の変化にユーザの感情を反映させることができる。
また、このとき、ユーザの感情を推定できない場合、制御部１９０は、ユーザが予め設定した設定に基づいて１または複数の顔の部位の態様を変化させてもよい。
例えば、制御部１９０は、ユーザの顔の部位のセンシングが正確に行えない場合、センシング結果に類似する感情の候補が推定できない場合等に、ユーザから「平穏」の口の対応の設定を受け付けていると、アバターの口の態様を、「平穏」の感情に基づいた態様に変化させる。
これにより、ユーザは、センシングが正確に行えない場合でも、感情の候補を選択することで、アバターの態様の変化にユーザの感情を反映させることができる。
【0156】
また、ある局面において、端末装置１０の制御部１９０は、ユーザの１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つのセンシング結果が取得できない場合、センシング結果が取得できた部位の度合いを、関連付けられている、当該部位に適用してもよい。具体的には、例えば、制御部１９０は、ユーザが眼帯等を着用しており、片目のセンシングが困難、または不可能である場合、センシング結果を取得したもう一方の目の変化の度合いを反映させてもよい。これにより、ユーザは、眼帯などを着用している場合でも、ユーザに対応するアバターはその影響を受けずに態様を変化させることができる。
【0157】
さらに、ある局面において、端末装置１０の制御部１９０は、ユーザが装着しているウェアラブルデバイスの情報を取得し、取得したウェアラブルデバイスの情報に基づいて、度合いの設定を補正してもよい。また、制御部１９０は、度合いの設定を補正する際、ユーザから、補正の度合いを調整するための入力操作を受け付けてもよい。具体的には、例えば、制御部１９０は、ウェアラブルデバイス情報１８０３、またはウェアラブルデバイス情報データベース２０２３を参照し、ユーザが着用しているウェアラブルデバイスの情報を取得する。その後、制御部１９０は、前述のサーバ２０における変化補正モジュール２０４０と同様の処理を実行し、度合いの設定を補正してもよい。
【0158】
ある局面において、端末装置１０の制御部１９０は、アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、度合いの設定の差異が所定の閾値を超過した場合に、所定の通知をユーザに提示してもよい。具体的には、制御部１９０は、アバターの１または複数の顔の部位のうち、例えば、眉等の対になっている部位を関連付け、当該部位同士で、変化の度合いが所定の差異を超えないように度合いの数値を受け付け可能に設定する。その後、制御部１９０は、ユーザから当該部位の変化の度合いの入力を受け付ける際に、当該閾値を超過する数値の入力を受け付けた場合に、ユーザに対しアラート等の通知を提示してもよい。
これにより、ユーザは、関連付けて態様を変化させる部位に対し、極端に変化の度合いに差が生じた状態で態様を変化させることを防ぐことができる。
また、制御部１９０は、当該設定を対になる部位以外にも、頬と眉等、連動して変化する部位（特殊部位等も含んでいてもよい）に対して設定しても良い。
これにより、ユーザは、関連付けて態様を変化させる部位に対し、極端に変化の度合いに差が生じた状態で態様を変化させることを防ぐことができる。
また、制御部１９０は、当該設定を対になる部位以外にも、頬と眉等、連動して変化する部位（特殊部位等も含んでいてもよい）に対して設定しても良い。
【0159】
このとき、制御部１９０は、所定の通知をユーザに提示する際、度合いの差が所定の閾値を超過した部位を異なる態様で当該数値とともにユーザに提示してもよい。具体的には、例えば、制御部１９０は、ユーザから目の態様の変化の程度の度合いの入力を受け付けた際、両方の目の変化の程度の度合いが大きすぎる（例えば、片目の変化量が大きすぎる等）場合に、目を異なる態様（例えば、異なる色の態様）でユーザに通知と共に提示してもよい。このとき、制御部１９０が提示する異なる態様は、色、ポップアップ通知、該当する部位の形状を変化させるなど、限定されない。
さらに、制御部１９０は、所定の通知をユーザに提示する際、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子をユーザに提示してもよい。例えば、制御部１９０は、上述した通知を表示する画面とは異なる画面上に、度合いの差が適正範囲（視聴者に違和感を与えない範囲）である場合のアバターの態様の変化の様子を表示してもよい。
これにより、ユーザは、自身が設定した態様の変化の程度の度合いが所定の閾値を超過した場合に、適切な数値に設定した場合の態様の変化の様子とともに確認することができる。
さらに、制御部１９０は、所定の通知をユーザに提示する際、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子をユーザに提示してもよい。例えば、制御部１９０は、上述した通知を表示する画面とは異なる画面上に、度合いの差が適正範囲（視聴者に違和感を与えない範囲）である場合のアバターの態様の変化の様子を表示してもよい。
これにより、ユーザは、自身が設定した態様の変化の程度の度合いが所定の閾値を超過した場合に、適切な数値に設定した場合の態様の変化の様子とともに確認することができる。
【0160】
また、ある局面において、端末装置１０の制御部１９０は、度合いの設定を受け付けた１または複数の顔の部位と関連する部位の度合いを、予め定められた値に設定してもよい。また、制御部１９０は、アバターの１または複数の部位ごとに、予め定められた範囲内で度合いの設定を受け付けてもよい。具体的には、例えば、制御部１９０は、アバターの１または複数の顔の部位と関連する部位として、下記の部位を関連付け、ユーザから度合いの設定を受け付けてもよい。
・角、尻尾、羽等、アバターが人間以外であった場合に備えている特殊部位
・アバターの顔とは異なる身体の部位（腕、肩、足など）
これにより、ユーザは、アバターが人間以外、また、無機物などであった場合にも、自身のセンシング結果に追随して態様を変化させることができる。
・角、尻尾、羽等、アバターが人間以外であった場合に備えている特殊部位
・アバターの顔とは異なる身体の部位（腕、肩、足など）
これにより、ユーザは、アバターが人間以外、また、無機物などであった場合にも、自身のセンシング結果に追随して態様を変化させることができる。
【0161】
【0162】
図１１は、ユーザの１または複数の顔の部位の動きをセンシングし、当該センシングした１または複数の顔の部位の動きに基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。
【0163】
図１１において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１１０１、ユーザ映像１１０２、設定画面１１０３、アバター１１０４等を表示する。
【0164】
情報表示画面１１０１は、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このとき、端末装置１０の制御部１９０は、下記の選択をユーザから受け付けてもよい。
・ユーザの顔の部位のうち、センシングを実行する部位の選択
・センシングした部位のうち、関連付ける部位の選択
・変化の度合いの候補の選択
これにより、ユーザは、場合によりセンシング箇所を減らすこともでき、配信時の負荷を減らすことができる。
・ユーザの顔の部位のうち、センシングを実行する部位の選択
・センシングした部位のうち、関連付ける部位の選択
・変化の度合いの候補の選択
これにより、ユーザは、場合によりセンシング箇所を減らすこともでき、配信時の負荷を減らすことができる。
【0165】
ユーザ映像１１０２は、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。端末装置１０の制御部１９０は、端末装置１０に備えられているカメラ１６０により、ユーザ自身の映像を、ユーザ映像１１０２に表示する。
【0166】
設定画面１１０３は、ユーザがアバターの態様の変化の程度を設定するための画面である。端末装置１０の制御部１９０は、例えば、下記の設定をユーザに提示し、入力を受け付ける。
・口の切り替え速さ
・目の動き：上方向の最大値
・目の動き：下方向の最大値
・目の動き：横方向の最大値
・目の動き：感度
このとき、端末装置１０の制御部１９０は、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定として、演者の発話の変化の程度に関連付けられた範囲で設定可能に受け付けてよい。例えば、制御部１９０は、ユーザの発話から推定さえるアバターの変化の度合い（オブジェクトの変化量、オブジェクトの変化速度）よりも低くなるよう、ユーザから当該設定を受け付けてもよい。このとき、制御部１９０は、ユーザが設定可能範囲にない数値等を設定しようとした場合には、所定のアラートを表示しても良いし、設定画面がスライダ式などの場合には、予めその数値にならないようにロックしていてもよい。
これにより、ユーザは、自身の発話の変化よりもアバターを緩やかに動かすことで、視聴者に与えるアバターの変化の度合いを滑らかにすることができ、より視聴者に没入感を与えることができる。
・口の切り替え速さ
・目の動き：上方向の最大値
・目の動き：下方向の最大値
・目の動き：横方向の最大値
・目の動き：感度
このとき、端末装置１０の制御部１９０は、アバターの１または複数の顔の部位の態様を、センシングされた結果に追随させる度合いの設定として、演者の発話の変化の程度に関連付けられた範囲で設定可能に受け付けてよい。例えば、制御部１９０は、ユーザの発話から推定さえるアバターの変化の度合い（オブジェクトの変化量、オブジェクトの変化速度）よりも低くなるよう、ユーザから当該設定を受け付けてもよい。このとき、制御部１９０は、ユーザが設定可能範囲にない数値等を設定しようとした場合には、所定のアラートを表示しても良いし、設定画面がスライダ式などの場合には、予めその数値にならないようにロックしていてもよい。
これにより、ユーザは、自身の発話の変化よりもアバターを緩やかに動かすことで、視聴者に与えるアバターの変化の度合いを滑らかにすることができ、より視聴者に没入感を与えることができる。
【0167】
アバター１１０４は、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。端末装置１０の制御部１９０は、ユーザから設定画面１１０３の設定を受け付けると、ユーザ映像１１０２とアバター１１０４とを同期させてユーザに表示させてもよい。
これにより、ユーザは、自身の設定によりアバターの態様を変化させる際に、事前に違和感などを確認することができる。
これにより、ユーザは、自身の設定によりアバターの態様を変化させる際に、事前に違和感などを確認することができる。
【0168】
図１２は、ユーザの１または複数の感情を候補を推定し、ユーザから選択された感情に基づいて、対応するアバターの１または複数の顔の部位の態様を変化させる際の画面例を示す。
【0169】
図１２において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１２０１、ユーザ映像１２０２、設定画面１２０３、アバター１２０４等を表示する。
【0170】
情報表示画面１２０１は、図１１における情報表示画面と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、センシング結果から特定されるユーザの１または複数の感情の候補の情報を表示してもよい。
制御部１９０は、ユーザから感情の候補の選択を受け付けると、当該感情に対応したアバターの態様の変化の程度の度合いを反映させる。
例えば、制御部１９０は、ユーザから予め、ユーザの感情に応じた顔の部位のセンシング結果を取得して関連付けておいてもよい。その後、制御部１９０は、カメラ１６０等を介してユーザの顔のセンシングを行い、当該関連付けた感情に含まれる顔のセンシング結果と全て、または一部が合致するかを判定する。その後、制御部１９０は、当該判定結果に基づいて、ユーザの感情の候補を提示し、ユーザからの選択を受け付け、当該選択された感情に基づいて、アバターの顔の態様を変化させてもよい。
また、このとき、ユーザの感情を推定できない場合、制御部１９０は、ユーザが予め設定した設定に基づいて１または複数の顔の部位の態様を変化させてもよい。
これにより、ユーザは、センシングが正確に行えない場合でも、感情の候補を選択することで、アバターの態様の変化にユーザの感情を反映させることができる。
制御部１９０は、ユーザから感情の候補の選択を受け付けると、当該感情に対応したアバターの態様の変化の程度の度合いを反映させる。
例えば、制御部１９０は、ユーザから予め、ユーザの感情に応じた顔の部位のセンシング結果を取得して関連付けておいてもよい。その後、制御部１９０は、カメラ１６０等を介してユーザの顔のセンシングを行い、当該関連付けた感情に含まれる顔のセンシング結果と全て、または一部が合致するかを判定する。その後、制御部１９０は、当該判定結果に基づいて、ユーザの感情の候補を提示し、ユーザからの選択を受け付け、当該選択された感情に基づいて、アバターの顔の態様を変化させてもよい。
また、このとき、ユーザの感情を推定できない場合、制御部１９０は、ユーザが予め設定した設定に基づいて１または複数の顔の部位の態様を変化させてもよい。
これにより、ユーザは、センシングが正確に行えない場合でも、感情の候補を選択することで、アバターの態様の変化にユーザの感情を反映させることができる。
【0171】
ユーザ映像１２０２は、図１１におけるユーザ映像１１０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。
【0172】
設定画面１２０３は、図１１における設定画面１１０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。
【0173】
アバター１２０４は、図１１におけるアバター１１０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。
【0174】
図１３は、ユーザの１または複数の顔の部位のうち、関連づけられている部位の少なくとも１つのセンシング結果が取得できない場合のアバターの態様の変化の程度の度合いを設定する際の画面例を示す。
【0175】
図１３において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１３５１、ユーザ映像１３５２、設定画面１３５３、アバター１３５４等を表示する。
【0176】
情報表示画面１３５１は、図１２における情報表示画面１２０１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、ユーザが着用しており、ユーザの顔の一部を遮蔽する備品、装着具等の情報を表示してもよい。
例えば、制御部１９０は、ユーザが眼帯等を着用しており、片目のセンシングが困難、または不可能である場合、センシング結果を取得したもう一方の目の変化の度合いを反映させてもよい。これにより、ユーザは、眼帯などを着用している場合でも、ユーザに対応するアバターはその影響を受けずに態様を変化させることができる。
例えば、制御部１９０は、ユーザが眼帯等を着用しており、片目のセンシングが困難、または不可能である場合、センシング結果を取得したもう一方の目の変化の度合いを反映させてもよい。これにより、ユーザは、眼帯などを着用している場合でも、ユーザに対応するアバターはその影響を受けずに態様を変化させることができる。
【0177】
ユーザ映像１３５２は、図１２におけるユーザ映像１２０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。
【0178】
設定画面１３５３は、図１２における設定画面１２０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。
【0179】
アバター１３５４は、図１２におけるアバター１２０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。
【0180】
図１４は、ユーザが眼鏡等のウェアラブルデバイスを装着している際に、アバターの態様の変化の程度の度合いを補正する際の画面例を示す。
【0181】
図１４において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１４０１、ユーザ映像１４０２、設定画面１４０３、アバター１４０４等を表示する。
【0182】
情報表示画面１４０１は、図１３における情報表示画面１３５１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、ユーザが着用しているウェアラブルデバイスの情報、ウェアラブルデバイスごとの変化の度合いの補正量の情報等を表示してもよい。
例えば、制御部１９０は、ウェアラブルデバイス情報１８０３、またはウェアラブルデバイス情報データベース２０２３を参照し、ユーザが着用しているウェアラブルデバイスの情報を取得する。その後、制御部１９０は、前述のサーバ２０における変化補正モジュール２０４０と同様の処理を実行し、度合いの設定を補正してもよい。
例えば、制御部１９０は、ウェアラブルデバイス情報１８０３、またはウェアラブルデバイス情報データベース２０２３を参照し、ユーザが着用しているウェアラブルデバイスの情報を取得する。その後、制御部１９０は、前述のサーバ２０における変化補正モジュール２０４０と同様の処理を実行し、度合いの設定を補正してもよい。
【0183】
ユーザ映像１４０２は、図１３におけるユーザ映像１３５２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。
【0184】
設定画面１４０３は、図１３における設定画面１３５３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。
【0185】
アバター１４０４は、図１３におけるアバター１３５４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。
【0186】
図１５は、ユーザの口の動きがセンシングできない場合に、発話の変化の程度に基づいて、アバターの口の態様を変化させる際の画面例を示す。
【0187】
図１５において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１５０１、ユーザ映像１５０２、設定画面１５０３、アバター１５０４等を表示する。
【0188】
情報表示画面１５０１は、図１４における情報表示画面１４０１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。このほか、制御部１９０は、当該画面に、ユーザが着用しているマスク等の情報、ユーザの発話から取得した音声スペクトルの情報等を表示してもよい。
例えば、制御部１９０は、ユーザが口にマスク等を着用しており、口の動きをセンシングできない場合には、前述したように、ユーザのセンシング結果ではなく、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させてもよい。
これにより、ユーザは、例えば、マスクを着用して配信しなければならない時などでも、アバターの口の態様を自身の発話に合わせて変化させることができる。
例えば、制御部１９０は、ユーザが口にマスク等を着用しており、口の動きをセンシングできない場合には、前述したように、ユーザのセンシング結果ではなく、ユーザの発話の音声スペクトルから、アバターの口の態様を変化させてもよい。
これにより、ユーザは、例えば、マスクを着用して配信しなければならない時などでも、アバターの口の態様を自身の発話に合わせて変化させることができる。
【0189】
ユーザ映像１５０２は、図１４におけるユーザ映像１４０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。
【0190】
設定画面１５０３は、図１４における設定画面１４０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。
【0191】
アバター１５０４は、図１４におけるアバター１４０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。
【0192】
図１６は、アバターの１または複数の顔の部位のうち、予め関連付けられている部位同士で、度合いの設定の差異が所定の閾値を超過した場合に、所定の通知をユーザに提示する際の画面例を示す。
【0193】
図１６において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、情報表示画面１６０１、ユーザ映像１６０２、設定画面１６０３、アバター１６０４等を表示する。
【0194】
情報表示画面１６０１は、図１５における情報表示画面１５０１と同様に、ユーザの顔の部位のセンシング結果、顔の部位のうち、関連付けられている部位、予め設定されている態様の変化の程度の度合いの候補（プリセット）等を表示する画面である。
【0195】
ユーザ映像１６０２は、図１５におけるユーザ映像１５０２と同様に、端末装置１０に備えられているカメラ１６０を介して撮影されたユーザ自身の映像を表示する画面である。
【0196】
設定画面１６０３は、図１５における設定画面１５０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。制御部１９０は、このとき、当該画面において、例えば、ユーザから顔の部位の態様の変化の程度の度合いの入力を受け付けた際、対になる、または関連する部位（両目等）の変化の程度の度合いが大きすぎる（例えば、片目の変化量が大きすぎる等）場合に、当該箇所が異常な設定値であることと、推奨される設定について表示してもよい。
【0197】
アバター１６０４は、図１５におけるアバター１５０４と同様に、ユーザから受け付けた設定に基づいて態様を変化させるアバターである。制御部１９０は、上述の設定画面１５０３において、ユーザから顔の態様の変化の程度の度合いの入力を受け付けた際、対になる、または関連する部位の変化の程度の度合いが大きすぎる場合に、当該部位を異なる態様（例えば、異なる色の態様）でユーザに通知と共に提示してもよい。このとき、制御部１９０が提示する異なる態様は、色、ポップアップ通知、該当する部位の形状を変化させるなど、限定されない。
【0198】
これにより、ユーザは、アバターの顔の部位の態様を変化させるための設定を行う際、異常値を入力した場合でも視覚的に判断することができ、視聴者に違和感を与えることを防ぐことができる。
【0199】
図１７は、所定の通知をユーザに提示する際、度合いの差を、所定の範囲内に設定した場合の少なくとも１または複数の顔の部位が変化する様子をユーザに提示する際の画面例を示す。
【0200】
図１７において、端末装置１０の制御部１９０は、ディスプレイ１３０２に、設定画面１７０１、アバター１７０２、設定プレビュー画面１７０３、アバタープレビュー画面１７０４等を表示する。
【0201】
設定画面１６０３は、図１５における設定画面１５０３と同様に、ユーザがアバターの態様の変化の程度を設定するための画面である。制御部１９０は、このとき、当該画面において、例えば、ユーザから顔の部位の態様の変化の程度の度合いの入力を受け付けた際、対になる、または関連する部位（両目等）の変化の程度の度合いが大きすぎる（例えば、片目の変化量が大きすぎる等）場合に、当該箇所が異常な設定値であることと、推奨される設定について表示してもよい。
【0202】
設定プレビュー画面１７０３は、設定画面１７０１において、アバターの顔の部位等において、対になる、関連する部位同士で変化の程度の度合いに異常値があった場合に、推奨される設定を表示する画面である。端末装置１０の制御部１９０は、設定プレビュー画面１７０３に、設定画面１７０１に入力された設定とは異なる設定の態様の変化の程度の度合いを表示する。このとき、制御部１９０は、数値、またはオブジェクトなどを、設定画面１７０１において表示されている態様とは異なる態様で表示してもよい。（例えば、異なる色、大きさ、図形等）
【0203】
アバタープレビュー画面１７０４は、設定プレビュー画面１７０３において推奨される設定を反映させたアバターを表示する画面である。例えば、端末装置１０の制御部１９０は、上述した通知を表示する画面とは異なる画面上に、度合いの差が適正範囲（視聴者に違和感を与えない範囲）である場合のアバターの態様の変化の様子を表示してもよい。
これにより、ユーザは、自身が設定した態様の変化の程度の度合いが所定の閾値を超過した場合に、適切な数値に設定した場合の態様の変化の様子とともに確認することができる。
これにより、ユーザは、自身が設定した態様の変化の程度の度合いが所定の閾値を超過した場合に、適切な数値に設定した場合の態様の変化の様子とともに確認することができる。
【0204】
＜第３の実施の形態＞
＜概要＞
これまでは、ユーザの発話の音声スペクトル以外にも、ユーザのセンシング結果に基づいて、アバターの態様、例えば、１または複数の顔の部位の態様を変化させる一連の処理について説明した。
第３の実施形態に係る発明では、取得したユーザの顔のセンシング結果に基づいて、アバターの表示態様を変化させることができる。以下、当該一連の処理について説明する。なお、第１の実施形態、第２の実施形態と共通の構成を持つ部分（例えば、端末装置１０、サーバ２０等）についての説明は省略し、第３の実施形態に特有の構成、処理についてのみ説明する。
＜概要＞
これまでは、ユーザの発話の音声スペクトル以外にも、ユーザのセンシング結果に基づいて、アバターの態様、例えば、１または複数の顔の部位の態様を変化させる一連の処理について説明した。
第３の実施形態に係る発明では、取得したユーザの顔のセンシング結果に基づいて、アバターの表示態様を変化させることができる。以下、当該一連の処理について説明する。なお、第１の実施形態、第２の実施形態と共通の構成を持つ部分（例えば、端末装置１０、サーバ２０等）についての説明は省略し、第３の実施形態に特有の構成、処理についてのみ説明する。
【0205】
＜７ 第３の実施形態におけるデータ構造＞
第３の実施形態において、サーバ２０は、新たに図１８～図２１に示すデータベースを備える。以下、それぞれのデータ構造について例示する。
図１８は、サーバ２０が記憶する変化条件データベース２０２４のデータ構造を示す図である。
第３の実施形態において、サーバ２０は、新たに図１８～図２１に示すデータベースを備える。以下、それぞれのデータ構造について例示する。
図１８は、サーバ２０が記憶する変化条件データベース２０２４のデータ構造を示す図である。
【0206】
図１８に示すように、変化条件データベース２０２４は、項目「条件ＩＤ」と、項目「変化条件」と、項目「評価項目」と、項目「出力値」と、を含む。
このとき、項目「変化条件」は、サブレコードとして、項目「表情種別」と、項目「楽曲種別」と、を含む。
項目「評価項目」は、サブレコードとして、項目「目の閾値」と、項目「眉の閾値」と、項目「口の閾値」と、項目「頬の閾値」と、を含む。
項目「出力値」は、サブレコードとして、項目「目の出力値」と、項目「眉の出力値」と、項目「口の出力値」と、項目「頬の出力値」と、を含む。
このとき、項目「変化条件」は、サブレコードとして、項目「表情種別」と、項目「楽曲種別」と、を含む。
項目「評価項目」は、サブレコードとして、項目「目の閾値」と、項目「眉の閾値」と、項目「口の閾値」と、項目「頬の閾値」と、を含む。
項目「出力値」は、サブレコードとして、項目「目の出力値」と、項目「眉の出力値」と、項目「口の出力値」と、項目「頬の出力値」と、を含む。
【0207】
項目「条件ＩＤ」は、センシング結果に対する閾値の条件を識別する情報を示す。
【0208】
項目「変化条件」は、取得したセンシング結果に対し参照する閾値の条件設定を示す。
具体的には、項目「変化条件」は、端末装置１０Ａが取得したユーザの顔の各部位のセンシング結果各々について、予め設定された１または複数の閾値の条件に所定の定義づけを行い設定された条件である。
例えば、項目「変化条件」は、取得したセンシング結果が、所定の閾値の条件を満たし、アバターの表示態様を変化させる際に、その特性により定義付けられた条件であり、例えば、ユーザの感情の種別を示す条件、ユーザが動画配信において使用する楽曲の種別を示す条件を示す。例えば、変化条件は、ユーザの感情の種別を示す定義が、サブレコードの項目「表情種別」として定義され、ユーザが動画配信において用いる楽曲の種別を示す定義が、サブレコードの項目「楽曲種別」として定義される。
ここで、感情の種別を示す定義は、下記を含む。
・喜び
・怒り
・哀しみ
・楽しみ
・驚き
・アンニュイ
・興奮している
・落ち込んでいる
ここで、楽曲の種別を示す定義は、例えば、下記を含む。
・ポップス
・バラード
・悲し目な曲
・激しい曲
具体的には、項目「変化条件」は、端末装置１０Ａが取得したユーザの顔の各部位のセンシング結果各々について、予め設定された１または複数の閾値の条件に所定の定義づけを行い設定された条件である。
例えば、項目「変化条件」は、取得したセンシング結果が、所定の閾値の条件を満たし、アバターの表示態様を変化させる際に、その特性により定義付けられた条件であり、例えば、ユーザの感情の種別を示す条件、ユーザが動画配信において使用する楽曲の種別を示す条件を示す。例えば、変化条件は、ユーザの感情の種別を示す定義が、サブレコードの項目「表情種別」として定義され、ユーザが動画配信において用いる楽曲の種別を示す定義が、サブレコードの項目「楽曲種別」として定義される。
ここで、感情の種別を示す定義は、下記を含む。
・喜び
・怒り
・哀しみ
・楽しみ
・驚き
・アンニュイ
・興奮している
・落ち込んでいる
ここで、楽曲の種別を示す定義は、例えば、下記を含む。
・ポップス
・バラード
・悲し目な曲
・激しい曲
【0209】
項目「評価項目」は、取得したセンシング結果のうち、閾値の条件が設定されている項目を示す。
項目「評価項目」は、サブレコードとして、項目「目の閾値」と、項目「眉の閾値」と、項目「口の閾値」と、項目「頬の閾値」と、を含む。それぞれの詳細については、後述する。
ここで、顔の各部位の「閾値」が定義されているパラメータについて例示する。顔の各部位において、「閾値」が定義されているパラメータは、各部位の開閉度合い、及び移動度合い（すなわち、各部位において、基準となる状態からの変化度合い）であり、例えば、下記を含む。
・目のパラメータ：目の開閉度合い
・口のパラメータ：口の開閉度合い
ここで、開閉度合いは、縦方向の開閉度合いと横方向の開閉度合いを含んでいてもよい。
・頬のパラメータ：口角の上下への移動度合い
・眉のパラメータ：眉の上下への移動度合い
項目「評価項目」は、サブレコードとして、項目「目の閾値」と、項目「眉の閾値」と、項目「口の閾値」と、項目「頬の閾値」と、を含む。それぞれの詳細については、後述する。
ここで、顔の各部位の「閾値」が定義されているパラメータについて例示する。顔の各部位において、「閾値」が定義されているパラメータは、各部位の開閉度合い、及び移動度合い（すなわち、各部位において、基準となる状態からの変化度合い）であり、例えば、下記を含む。
・目のパラメータ：目の開閉度合い
・口のパラメータ：口の開閉度合い
ここで、開閉度合いは、縦方向の開閉度合いと横方向の開閉度合いを含んでいてもよい。
・頬のパラメータ：口角の上下への移動度合い
・眉のパラメータ：眉の上下への移動度合い
【0210】
項目「目の閾値」は、ユーザの目のセンシング結果に対する閾値の条件を示す。
具体的には、項目「目の閾値」は、ユーザの顔のセンシング結果のうち、目のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
例えば、目のセンシング結果が所定の閾値を下回る場合には、予め設定されている目の開閉度に変更し、当該変更した値をアバターに反映させ、表情を変化させる。
ここで、目の開閉度について例示する。ユーザは、顔の部位のうち、センシング対象となる部位について、予め基準となる状態における開閉度（開閉しない部位の場合には、変化量等と表現してもよい。呼称については任意でよく、限定されない。）を設定しておく。例えば、目の基準となる開閉度の設定方法について例示すると、ユーザは、目に力を入れない（開こうとも閉じようともしない）状態におけるセンシング結果を、基準値として例えば「１．００」等と設定する。その後、ユーザの目の開閉をセンシングした際に、当該基準値との差分から、目の開閉度を算出する。
端末装置１０Ａは、上記基準となる目の開閉度等から、センシング結果に基づいた目の開閉度等を算出する。その後、算出された開閉度が閾値として設定された条件を満たす（閾値を超過する、閾値の範囲内に入る、等）と、顔の各部位ごとに設定された出力値をアバターに反映させ、アバターの表示態様を変化させる。
これにより、ユーザは、アバターが自身のセンシング結果を正確に反映しすぎてしまい、アバターを見るユーザに対し違和感を与えることを防ぐことができる。
具体的には、項目「目の閾値」は、ユーザの顔のセンシング結果のうち、目のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
例えば、目のセンシング結果が所定の閾値を下回る場合には、予め設定されている目の開閉度に変更し、当該変更した値をアバターに反映させ、表情を変化させる。
ここで、目の開閉度について例示する。ユーザは、顔の部位のうち、センシング対象となる部位について、予め基準となる状態における開閉度（開閉しない部位の場合には、変化量等と表現してもよい。呼称については任意でよく、限定されない。）を設定しておく。例えば、目の基準となる開閉度の設定方法について例示すると、ユーザは、目に力を入れない（開こうとも閉じようともしない）状態におけるセンシング結果を、基準値として例えば「１．００」等と設定する。その後、ユーザの目の開閉をセンシングした際に、当該基準値との差分から、目の開閉度を算出する。
端末装置１０Ａは、上記基準となる目の開閉度等から、センシング結果に基づいた目の開閉度等を算出する。その後、算出された開閉度が閾値として設定された条件を満たす（閾値を超過する、閾値の範囲内に入る、等）と、顔の各部位ごとに設定された出力値をアバターに反映させ、アバターの表示態様を変化させる。
これにより、ユーザは、アバターが自身のセンシング結果を正確に反映しすぎてしまい、アバターを見るユーザに対し違和感を与えることを防ぐことができる。
【0211】
項目「眉の閾値」は、ユーザの眉のセンシング結果に対する閾値の条件を示す。
具体的には、項目「眉の閾値」は、項目「目の閾値」と同様に、ユーザの顔のセンシング結果のうち、眉のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
具体的には、項目「眉の閾値」は、項目「目の閾値」と同様に、ユーザの顔のセンシング結果のうち、眉のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
【0212】
項目「口の閾値」は、ユーザの口のセンシング結果に対する閾値の条件を示す。
具体的には、項目「口の閾値」は、項目「目の閾値」等と同様に、ユーザの顔のセンシング結果のうち、口のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
具体的には、項目「口の閾値」は、項目「目の閾値」等と同様に、ユーザの顔のセンシング結果のうち、口のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
【0213】
項目「頬の閾値」は、ユーザの頬のセンシング結果に対する閾値の条件を示す。
具体的には、項目「頬の閾値」は、項目「目の閾値」等と同様に、ユーザの顔のセンシング結果のうち、頬のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
具体的には、項目「頬の閾値」は、項目「目の閾値」等と同様に、ユーザの顔のセンシング結果のうち、頬のセンシング結果を取得したときに、値を所定の出力値に補正させる条件を示す。
【0214】
項目「出力値」は、センシング結果が変化条件を満たす場合に、アバターの動きに反映させる顔の各部位の動作値を示す。
項目「出力値」は、サブレコードとして、項目「目の出力値」と、項目「眉の出力値」と、項目「口の出力値」と、項目「頬の出力値」と、を含み、それぞれの詳細については、後述する。
項目「出力値」は、サブレコードとして、項目「目の出力値」と、項目「眉の出力値」と、項目「口の出力値」と、項目「頬の出力値」と、を含み、それぞれの詳細については、後述する。
【0215】
項目「目の出力値」は、ユーザの目のセンシング結果をアバターに反映させる出力値に変更した値を示す。
具体的には、項目「目の出力値」は、ユーザの顔の部位のうち、目のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
例えば、閾値ＩＤ「Ｓ００１」が識別する、表現「半目」の場合を例示する。
端末装置１０Ａは、ユーザからセンシングした顔の部位のうち、目のセンシング結果に基づく目の開閉度を算出する。その後、端末装置１０Ａは、当該開閉度が「＜０．５０」の条件を満たす場合（例えば、０．４５等）には、開閉度を「０」と出力してアバターに反映させ、表示態様を変化させる。すなわち、表現「半目」の場合には、閾値の条件をセンシング結果が満たす場合には、ユーザが実際には目を閉じておらずとも、アバターの表情を、目を閉じた表情として視聴者に表示する。
これにより、視聴者は、アバターが半分目を開けた状態になっている（つまり半目）等の状態を見ることを防ぐことができる。そのため、視聴者は、アバターの表情に違和感を覚えることなく、動画配信への没入感を高めることができる。
なお、上記「半目」に限らず、本開示において例示される閾値の条件は限定されない。例えば、表現「半目」における閾値の条件は、上記の値（＜０．５０）に限らず、ユーザの任意に設定されてよい。これにより、ユーザは、一般的な閾値の条件だと、不自然なアバターの顔の表示態様になる亞場合に、条件を変更し、視聴者に違和感を与えることを防ぐことができる。
具体的には、項目「目の出力値」は、ユーザの顔の部位のうち、目のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
例えば、閾値ＩＤ「Ｓ００１」が識別する、表現「半目」の場合を例示する。
端末装置１０Ａは、ユーザからセンシングした顔の部位のうち、目のセンシング結果に基づく目の開閉度を算出する。その後、端末装置１０Ａは、当該開閉度が「＜０．５０」の条件を満たす場合（例えば、０．４５等）には、開閉度を「０」と出力してアバターに反映させ、表示態様を変化させる。すなわち、表現「半目」の場合には、閾値の条件をセンシング結果が満たす場合には、ユーザが実際には目を閉じておらずとも、アバターの表情を、目を閉じた表情として視聴者に表示する。
これにより、視聴者は、アバターが半分目を開けた状態になっている（つまり半目）等の状態を見ることを防ぐことができる。そのため、視聴者は、アバターの表情に違和感を覚えることなく、動画配信への没入感を高めることができる。
なお、上記「半目」に限らず、本開示において例示される閾値の条件は限定されない。例えば、表現「半目」における閾値の条件は、上記の値（＜０．５０）に限らず、ユーザの任意に設定されてよい。これにより、ユーザは、一般的な閾値の条件だと、不自然なアバターの顔の表示態様になる亞場合に、条件を変更し、視聴者に違和感を与えることを防ぐことができる。
【0216】
項目「眉の出力値」は、ユーザの眉のセンシング結果をアバターに反映させる出力値に変更した値を示す。
具体的には、項目「眉の出力値」は、項目「目の出力値」と同様に、ユーザの顔の部位のうち、眉のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
具体的には、項目「眉の出力値」は、項目「目の出力値」と同様に、ユーザの顔の部位のうち、眉のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
【0217】
項目「口の出力値」は、ユーザの口のセンシング結果をアバターに反映させる出力値に変更した値を示す。
具体的には、項目「口の出力値」は、項目「目の出力値」等と同様に、ユーザの顔の部位のうち、口のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
具体的には、項目「口の出力値」は、項目「目の出力値」等と同様に、ユーザの顔の部位のうち、口のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
【0218】
項目「頬の出力値」は、ユーザの頬のセンシング結果をアバターに反映させる出力値に変更した値を示す。
具体的には、項目「頬の出力値」は、項目「目の出力値」等と同様に、ユーザの顔の部位のうち、頬のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
具体的には、項目「頬の出力値」は、項目「目の出力値」等と同様に、ユーザの顔の部位のうち、頬のセンシング結果が、各種変化条件において設定された閾値の条件を満たした場合に、アバターの動作に反映させる出力値として出力する値を示す。
【0219】
図１９は、サーバ２０が記憶する属性データベース２０２５のデータ構造を示す図である。
【0220】
図１９に示すように、属性データベース２０２５は、項目「属性ＩＤ」と、項目「属性」と、項目「目の補正係数」と、項目「眉の補正係数」と、項目「口の補正係数」と、項目「頬の補正係数」と、を含む。
【0221】
項目「属性ＩＤ」は、ユーザが使用するアバターの属性の識別情報を示す。
具体的には、項目「属性ＩＤ」は、アバターがキャラクター等である場合に、当該キャラクターの特徴を定義したものである属性をそれぞれ識別したものである。
例えば、属性は、下記の情報を含む。
・人間
・人間であるが、特定の職業（アイドル等）
・人間とは異なる生物（動物、植物等）
・空想上の生物（竜、天使、悪魔等）
・機械
・不定形の存在（ファンタジーにおけるスライム、ゴースト等）
具体的には、項目「属性ＩＤ」は、アバターがキャラクター等である場合に、当該キャラクターの特徴を定義したものである属性をそれぞれ識別したものである。
例えば、属性は、下記の情報を含む。
・人間
・人間であるが、特定の職業（アイドル等）
・人間とは異なる生物（動物、植物等）
・空想上の生物（竜、天使、悪魔等）
・機械
・不定形の存在（ファンタジーにおけるスライム、ゴースト等）
【0222】
項目「属性」は、各種属性を定義するための情報を示す。
具体的には、項目「属性」は、アバターに予め紐づけられた、アバターそれぞれの種族、種別、性質等を表現する情報である。
例えば、属性は、下記を含む。
・人間（種族）
・アイドル（性質）
・ドラゴン（種族、種別）
・ロボット（種別）
・無機物（種別）
具体的には、項目「属性」は、アバターに予め紐づけられた、アバターそれぞれの種族、種別、性質等を表現する情報である。
例えば、属性は、下記を含む。
・人間（種族）
・アイドル（性質）
・ドラゴン（種族、種別）
・ロボット（種別）
・無機物（種別）
【0223】
項目「目の補正係数」は、属性に応じてアバターの目の出力値を補正する際の係数を示す。
具体的には、項目「目の補正係数」は、取得したユーザの目のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
例えば、アバターの属性が「人」である場合には、目の補正係数は「１．００」である。すなわち、ユーザのセンシング結果に対し、「１．００」の値を乗算した結果を、アバターに反映させる出力値として出力し、アバターの表情を変化させる。
これにより、ユーザは、自身に対応するアバターの属性に応じて、より表示態様を強調等した態様で表示できるため、視聴者に与える没入感をいっそう高めることができる。
具体的には、項目「目の補正係数」は、取得したユーザの目のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
例えば、アバターの属性が「人」である場合には、目の補正係数は「１．００」である。すなわち、ユーザのセンシング結果に対し、「１．００」の値を乗算した結果を、アバターに反映させる出力値として出力し、アバターの表情を変化させる。
これにより、ユーザは、自身に対応するアバターの属性に応じて、より表示態様を強調等した態様で表示できるため、視聴者に与える没入感をいっそう高めることができる。
【0224】
項目「眉の補正係数」は、属性に応じてアバターの眉の出力値を補正する際の係数を示す。
具体的には、項目「眉の補正係数」は、項目「目の補正値」と同様に、取得したユーザの眉のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
具体的には、項目「眉の補正係数」は、項目「目の補正値」と同様に、取得したユーザの眉のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
【0225】
項目「口の補正係数」は、属性に応じてアバターの口の出力値を補正する際の係数を示す。
具体的には、項目「口の補正係数」は、項目「目の補正値」等と同様に、取得したユーザの口のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
具体的には、項目「口の補正係数」は、項目「目の補正値」等と同様に、取得したユーザの口のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
【0226】
項目「頬の補正係数」は、属性に応じてアバターの頬の出力値を補正する際の係数を示す。
具体的には、項目「頬の補正係数」は、項目「目の補正値」等と同様に、取得したユーザの頬のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
具体的には、項目「頬の補正係数」は、項目「目の補正値」等と同様に、取得したユーザの頬のセンシング結果を、変化条件の各々を参照して出力される出力値として出力する際に、アバターの属性に応じて補正した値を示す。
【0227】
図２０は、サーバ２０が記憶する画面補正データベース２０２６のデータ構造を示す図である。
【0228】
図２０に示すように、画面補正データベース２０２６は、項目「補正ＩＤ」と、項目「専有割合」と、項目「目の補正係数」と、項目「眉の補正係数」と、項目「口の補正係数」と、項目「頬の補正係数」と、を含む。
【0229】
項目「補正ＩＤ」は、出力値を補正する条件を識別する情報を示す。
【0230】
項目「専有割合」は、出力値を補正する条件となる、撮影されたユーザの顔のサイズの画面サイズに占める割合の情報を示す。
具体的には、項目「専有割合」は、端末装置１０Ａが、カメラ１６０等を介して取得したユーザのセンシング結果に含まれるユーザの顔のサイズが、撮影された動画の画面サイズに占める割合を算出した結果である。
例えば、端末装置１０Ａは、カメラ１６０等を介して撮影されたユーザの顔のサイズ（画面に表示される際のサイズ、ピクセル数）が、画面全体のサイズ、ピクセル数に占める割合を算出する。
具体的には、項目「専有割合」は、端末装置１０Ａが、カメラ１６０等を介して取得したユーザのセンシング結果に含まれるユーザの顔のサイズが、撮影された動画の画面サイズに占める割合を算出した結果である。
例えば、端末装置１０Ａは、カメラ１６０等を介して撮影されたユーザの顔のサイズ（画面に表示される際のサイズ、ピクセル数）が、画面全体のサイズ、ピクセル数に占める割合を算出する。
【0231】
項目「目の補正係数」は、センシング結果に含まれるユーザの顔のサイズが補正条件を満たした場合に、目の出力値に用いられる補正係数の値を示す。
例えば、補正ＩＤ「Ｃ００２」の場合を例示する。取得したユーザのセンシング結果のうち、顔のサイズが、画面全体のサイズに占める割合が「０．６」である場合に、目の補正係数として「１．２０」を用い出力値を補正する。すなわち、端末装置１０Ａは、カメラ１６０等により撮影されたユーザの顔のサイズが画面サイズの所定の割合を占める場合には、通常よりも出力値を強調してアバターの表示態様を変化させる。
これにより、ユーザは、自身に対応するアバターが画面に大きく表示される場合に、より強調した表現で視聴者に配信動画を視聴させることができる。
例えば、補正ＩＤ「Ｃ００２」の場合を例示する。取得したユーザのセンシング結果のうち、顔のサイズが、画面全体のサイズに占める割合が「０．６」である場合に、目の補正係数として「１．２０」を用い出力値を補正する。すなわち、端末装置１０Ａは、カメラ１６０等により撮影されたユーザの顔のサイズが画面サイズの所定の割合を占める場合には、通常よりも出力値を強調してアバターの表示態様を変化させる。
これにより、ユーザは、自身に対応するアバターが画面に大きく表示される場合に、より強調した表現で視聴者に配信動画を視聴させることができる。
【0232】
項目「眉の補正係数」は、センシング結果に含まれるユーザの顔のサイズが補正条件を満たした場合に、眉の出力値に用いられる補正係数の値を示す。
【0233】
項目「口の補正係数」は、センシング結果に含まれるユーザの顔のサイズが補正条件を満たした場合に、口の出力値に用いられる補正係数の値を示す。
【0234】
項目「頬の補正係数」は、センシング結果に含まれるユーザの顔のサイズが補正条件を満たした場合に、頬の出力値に用いられる補正係数の値を示す。
【0235】
図２１は、サーバ２０が記憶する楽曲データベース２０２７のデータ構造を示す図である。
【0236】
図２１において、楽曲データベース２０２７は、項目「楽曲ＩＤ」と、項目「楽曲メタデータ」と、項目「対応する変化条件」と、を含む。
項目「楽曲メタデータ」は、サブレコードとして、項目「アルバム名」と、項目「楽曲の名称」と、項目「トラック番号」と、項目「歌手名」と、項目「作詞者名」と、項目「作曲者名」と、項目「編曲者名」と、項目「演奏時間」と、項目「歌詞」と、項目「作品コード」と、項目「商品番号」と、項目「権利者名」と、項目「楽曲のジャンル」等を含む。
項目「楽曲メタデータ」は、サブレコードとして、項目「アルバム名」と、項目「楽曲の名称」と、項目「トラック番号」と、項目「歌手名」と、項目「作詞者名」と、項目「作曲者名」と、項目「編曲者名」と、項目「演奏時間」と、項目「歌詞」と、項目「作品コード」と、項目「商品番号」と、項目「権利者名」と、項目「楽曲のジャンル」等を含む。
【0237】
項目「楽曲ＩＤ」は、動画配信において用いられる楽曲を識別する情報を示す。
【0238】
項目「楽曲メタデータ」は、楽曲それぞれの付帯情報を示す。
具体的には、項目「楽曲メタデータ」は、楽曲がリリースされる際に、当該楽曲のリリース元等から楽曲データに付与される付帯情報であり、楽曲の性質等を識別するために付与される情報である。楽曲メタデータは楽曲データの一部に格納されている場合と、楽曲データのＩＤをキーとして外部データベースを検索することにより取得される場合とがある。ここでは、楽曲メタデータの取得方法に特段の制限は設けない。
例えば、サーバ２０は、楽曲のメタデータとして、下記の情報等を含む。
・アルバム名
・楽曲の名称
・トラック番号
・歌手名
・作詞者名
・作曲者名
・編曲者名
・演奏時間
・歌詞
・作品コード
・商品番号
・権利者名
・楽曲のジャンル
なお、当該メタデータに含まれる情報は限定されない。
具体的には、項目「楽曲メタデータ」は、楽曲がリリースされる際に、当該楽曲のリリース元等から楽曲データに付与される付帯情報であり、楽曲の性質等を識別するために付与される情報である。楽曲メタデータは楽曲データの一部に格納されている場合と、楽曲データのＩＤをキーとして外部データベースを検索することにより取得される場合とがある。ここでは、楽曲メタデータの取得方法に特段の制限は設けない。
例えば、サーバ２０は、楽曲のメタデータとして、下記の情報等を含む。
・アルバム名
・楽曲の名称
・トラック番号
・歌手名
・作詞者名
・作曲者名
・編曲者名
・演奏時間
・歌詞
・作品コード
・商品番号
・権利者名
・楽曲のジャンル
なお、当該メタデータに含まれる情報は限定されない。
【0239】
項目「対応する変化条件」は、楽曲ごとに対応する変化条件の情報を示す。
具体的には、項目「対応する変化条件」は、楽曲それぞれに対し紐づけられた、変化条件データベース２０２４における項目「変化条件」のレコードを示す。
例えば、楽曲ＩＤ「Ｍ００１」の場合を例示する。端末装置１０Ａの制御部１９０は、配信に用いられる楽曲の情報を取得し、当該楽曲に含まれるメタデータと、楽曲データベース２０２７に含まれる情報とを照会し、取得した楽曲に関する情報を特定する。その後、制御部１９０は、当該楽曲に対応する変化条件が「ポップス」であることを特定する。その後、制御部１９０は、変化条件データベース２０２４を参照し、変化条件「ポップス」に対応する変化条件に含まれる閾値の条件を参照する。
これにより、ユーザは、自身が配信において使用する楽曲に応じて、適切にアバターの表示態様を変化させることができる。
具体的には、項目「対応する変化条件」は、楽曲それぞれに対し紐づけられた、変化条件データベース２０２４における項目「変化条件」のレコードを示す。
例えば、楽曲ＩＤ「Ｍ００１」の場合を例示する。端末装置１０Ａの制御部１９０は、配信に用いられる楽曲の情報を取得し、当該楽曲に含まれるメタデータと、楽曲データベース２０２７に含まれる情報とを照会し、取得した楽曲に関する情報を特定する。その後、制御部１９０は、当該楽曲に対応する変化条件が「ポップス」であることを特定する。その後、制御部１９０は、変化条件データベース２０２４を参照し、変化条件「ポップス」に対応する変化条件に含まれる閾値の条件を参照する。
これにより、ユーザは、自身が配信において使用する楽曲に応じて、適切にアバターの表示態様を変化させることができる。
【0240】
＜８ 第３の実施形態における動作＞
以下、システム１が、取得したユーザの顔の部位のセンシング結果に基づいて、アバターの表示態様を変化させる際の一連の処理について説明する。
以下、システム１が、取得したユーザの顔の部位のセンシング結果に基づいて、アバターの表示態様を変化させる際の一連の処理について説明する。
【0241】
図２２は、取得したセンシング結果に基づいて、ユーザに対応するアバターの表示態様を変化させる一連の処理を示すフローチャートである。
【0242】
ステップＳ２２０１において、端末装置１０Ａは、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付ける。
具体的には、例えば、端末装置１０Ａの制御部１９０は、端末装置１０Ａに備えられたカメラ１６０等を介して、ユーザの顔の部位をセンシングした結果を受け付ける。
このとき、センシングする方法は既存のあらゆる方法であってもよい。例えば、制御部１９０は、カメラ１６０にセンシング機能を備えさせてユーザの顔の部位をセンシングしても良いし、モーションセンサ１７０によりユーザの顔の部位をセンシングしても良い。このとき、端末装置１０の制御部１９０は、ユーザの１または複数の顔の部位として、ユーザの眉、瞼、目頭、目尻、眼球、瞳孔、口からなる群の少なくとも１つをセンシングする。しかし、当該部位は限定されず、他の顔の部位（頬、額等）であってもよい。
具体的には、例えば、端末装置１０Ａの制御部１９０は、端末装置１０Ａに備えられたカメラ１６０等を介して、ユーザの顔の部位をセンシングした結果を受け付ける。
このとき、センシングする方法は既存のあらゆる方法であってもよい。例えば、制御部１９０は、カメラ１６０にセンシング機能を備えさせてユーザの顔の部位をセンシングしても良いし、モーションセンサ１７０によりユーザの顔の部位をセンシングしても良い。このとき、端末装置１０の制御部１９０は、ユーザの１または複数の顔の部位として、ユーザの眉、瞼、目頭、目尻、眼球、瞳孔、口からなる群の少なくとも１つをセンシングする。しかし、当該部位は限定されず、他の顔の部位（頬、額等）であってもよい。
【0243】
ステップＳ２２０２において、端末装置１０Ａは、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させる。
具体的には、例えば、制御部１９０は。ユーザが所定の動画配信プラットフォーム等において、自身に対応するアバター（２次元の画像でもよいし、３次元モデルでもよい）を動作させ配信する。このとき、制御部１９０は、ユーザの顔の部位のセンシング結果を、当該アバターの対応する顔の部位（目、頬、眉、口等）に反映させ動作させる。
具体的には、例えば、制御部１９０は。ユーザが所定の動画配信プラットフォーム等において、自身に対応するアバター（２次元の画像でもよいし、３次元モデルでもよい）を動作させ配信する。このとき、制御部１９０は、ユーザの顔の部位のセンシング結果を、当該アバターの対応する顔の部位（目、頬、眉、口等）に反映させ動作させる。
【0244】
このとき、端末装置１０Ａは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定し、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させる。
【0245】
具体的には、第１の条件とは、ユーザが目を所定の閾値以上閉じることであり、第１の表情とは、アバターの目が閉じられた表情であることを示す。
例えば、第１の条件は、ユーザの目の開閉度合いの基準値を設定しておき、当該基準値から所定の値離れた値を閾値とし、ユーザの目が当該閾値を超過して閉じることを示す。目の開閉度合いの基準値は、例えば、ユーザが目に力を入れずに開いている状態（つまり、自然に目を開いている状態）の開閉度合いを基準値（例えば、数値で設定する場合には１．００等）として設定する。
第１の条件は、例えば、当該設定された基準値に対し、所定の数値離れた数値を閾値とし、当該閾値を超過することを条件とする（例えば、目の開閉度合いが０．５０よりも小さい、等）。
例えば、第１の条件は、ユーザの目の開閉度合いの基準値を設定しておき、当該基準値から所定の値離れた値を閾値とし、ユーザの目が当該閾値を超過して閉じることを示す。目の開閉度合いの基準値は、例えば、ユーザが目に力を入れずに開いている状態（つまり、自然に目を開いている状態）の開閉度合いを基準値（例えば、数値で設定する場合には１．００等）として設定する。
第１の条件は、例えば、当該設定された基準値に対し、所定の数値離れた数値を閾値とし、当該閾値を超過することを条件とする（例えば、目の開閉度合いが０．５０よりも小さい、等）。
【0246】
第１の表情は、例えば、ユーザの目のセンシング結果が当該第１の条件を満たした場合にアバターの表情として動作させる表情を示す。例えば、第１の表情は、ユーザの目のセンシング結果が第１の条件（例えば、目の開閉度合いが０．５０未満である）を満たした場合に、アバターの目の開閉度合いを所定の値に設定（例えば、アバターの目の開閉度合いを０にする）し、アバターの表情として動作させる。具体的には、例えば、制御部１９０は、ユーザの目の開閉度合いが第１の条件（目の開閉度合いが０．５０未満）を満たすときに、アバターの目の開閉度合いを所定の値（例えば、アバターの目の開閉度合いを０にする）に設定した表情（第１の表情）、すなわち、アバターの目を閉じさせた態様で動作させる。
より具体的にいえば、第１の条件、および第１の表情は、例えば、変化条件データベース２０２４における項目「変化条件」が「半目」である場合の閾値の条件、および当該条件に基づいたアバターの表示態様の変化を示す。例えば、制御部１９０は、ユーザのセンシング結果を取得したのち、参照する変化条件が「半目」である場合、取得したユーザの顔のセンシング結果のうち、目のセンシング結果が、当該「半目」において設定されている閾値の条件を満たすか否かを判定する。その後、制御部１９０は、目のセンシング結果が、「半目」の閾値の条件を満たしている場合には、アバターの目の動きに反映させる出力値を「０」として反映させる。
より具体的にいえば、第１の条件、および第１の表情は、例えば、変化条件データベース２０２４における項目「変化条件」が「半目」である場合の閾値の条件、および当該条件に基づいたアバターの表示態様の変化を示す。例えば、制御部１９０は、ユーザのセンシング結果を取得したのち、参照する変化条件が「半目」である場合、取得したユーザの顔のセンシング結果のうち、目のセンシング結果が、当該「半目」において設定されている閾値の条件を満たすか否かを判定する。その後、制御部１９０は、目のセンシング結果が、「半目」の閾値の条件を満たしている場合には、アバターの目の動きに反映させる出力値を「０」として反映させる。
【0247】
これにより、ユーザは、自身の目の開閉度合いが所定の条件を満たす場合、すなわち、アバターの表情が、配信されている動画を視聴する視聴者に違和感を与えるような表情になりかねない場合に、視聴者に違和感を与えない表情にアバターの表情を変化さあせることができる。そのため、視聴者の没入感を高めることができる。
【0248】
ある局面において、端末装置１０Ａの制御部１９０は、特定されたユーザの目の動き、およびユーザの目以外の顔の各部位の動きが、第１の条件とは異なる第２の条件を満たす場合に、アバターの表示態様を、第１の表情とは異なる第２の表情に変化させてもよい。
具体的には、制御部１９０は、ユーザの目のセンシング結果、および目以外の顔の部位のセンシング結果が、ユーザの目のセンシング結果の閾値を条件とした第１の条件とは異なり、目および目以外の顔の部位のセンシング結果の閾値を条件とした第２の条件を満たした場合に、アバターの表情を特定の表情に変化させる。
具体的には、制御部１９０は、ユーザの目のセンシング結果、および目以外の顔の部位のセンシング結果が、ユーザの目のセンシング結果の閾値を条件とした第１の条件とは異なり、目および目以外の顔の部位のセンシング結果の閾値を条件とした第２の条件を満たした場合に、アバターの表情を特定の表情に変化させる。
【0249】
ここで、制御部１９０がアバターの表情を第２の表情にする処理を例示する。例えば、サーバ２０は、記憶部に、表示態様を変化させる条件である変化条件として、センシングしたユーザの目の動き、およびユーザの目以外の顔の各部位の動きの範囲と、当該範囲を満たす場合にアバターを表示させるべき表示態様として、当該アバターの目および顔の各部位を表示させる出力値と、が予め対応づけられて複数記憶されている。制御部１９０は、サーバ２０にアクセスし、当該変化条件を参照して、センシングしたユーザの目の動き、およびユーザの目以外の顔の各部位の動きそれぞれが、該当する変化条件における各出力値となるように、アバターの表示態様を変化させる。
より具体的には、第２の条件、および第２の表情は、例えば、変化条件データベース２０２４における項目「変化条件」が「半目」以外の条件である場合の閾値の条件、および当該条件に基づいたアバターの表示態様の変化を示す。
例えば、端末装置１０Ａの制御部１９０は、参照する変化条件が、変化条件データベース２０２４の「驚き」等の「半目」以外の条件である場合、ユーザの顔のセンシング結果を取得すると、目、眉、口、頬等のセンシング結果が、当該参照する変化条件に含まれる閾値の条件を満たすか否かを判定する。センシング結果が条件を満たす場合、制御部１９０は、アバターの顔の各部位の変化量（動作量）を対応する出力値に設定し、アバターの表示態様を変化させる。
より具体的には、第２の条件、および第２の表情は、例えば、変化条件データベース２０２４における項目「変化条件」が「半目」以外の条件である場合の閾値の条件、および当該条件に基づいたアバターの表示態様の変化を示す。
例えば、端末装置１０Ａの制御部１９０は、参照する変化条件が、変化条件データベース２０２４の「驚き」等の「半目」以外の条件である場合、ユーザの顔のセンシング結果を取得すると、目、眉、口、頬等のセンシング結果が、当該参照する変化条件に含まれる閾値の条件を満たすか否かを判定する。センシング結果が条件を満たす場合、制御部１９０は、アバターの顔の各部位の変化量（動作量）を対応する出力値に設定し、アバターの表示態様を変化させる。
【0250】
このとき、サーバ２０は、変化条件として、下記を含む条件を定義して記憶部に記憶してもよい。
・アバターに反映させるユーザの感情に対応して定義された変化条件（喜怒哀楽等）
・動画配信において用いられる楽曲に関する情報に対応して定義された変化条件（楽曲のジャンル等）
・ユーザの声に関する情報に対応して定義された変化条件（ユーザの感情等）
ここで、変化条件について例示する。
変化条件は、取得したユーザの顔の各部位のセンシング結果それぞれに対する閾値の条件を設定された条件であり、上述した喜怒哀楽等に応じて定義され、記憶部２０２に記憶されている。制御部１９０は、当該変化条件の一つを参照することで、当該変化条件に含まれるユーザの顔の各部位に対する閾値の条件をユーザのセンシング結果に適用し、アバターの表示態様（表情）が、対応する出力値になるようアバターの表情を変化させる。
・アバターに反映させるユーザの感情に対応して定義された変化条件（喜怒哀楽等）
・動画配信において用いられる楽曲に関する情報に対応して定義された変化条件（楽曲のジャンル等）
・ユーザの声に関する情報に対応して定義された変化条件（ユーザの感情等）
ここで、変化条件について例示する。
変化条件は、取得したユーザの顔の各部位のセンシング結果それぞれに対する閾値の条件を設定された条件であり、上述した喜怒哀楽等に応じて定義され、記憶部２０２に記憶されている。制御部１９０は、当該変化条件の一つを参照することで、当該変化条件に含まれるユーザの顔の各部位に対する閾値の条件をユーザのセンシング結果に適用し、アバターの表示態様（表情）が、対応する出力値になるようアバターの表情を変化させる。
【0251】
これにより、ユーザは、各種変化条件によりアバターの表情を変化させることで、アバターの表情が視聴者に違和感を与えることを防ぐことができ、より視聴者の没入感を高めることができる。
このとき、変化条件はサーバ２０の記憶部ではなく、端末装置１０Ａの記憶部１８０に記憶されていてもよい。
このとき、変化条件はサーバ２０の記憶部ではなく、端末装置１０Ａの記憶部１８０に記憶されていてもよい。
【0252】
ある局面において、端末装置１０Ａの制御部１９０は、アバターの種類に応じて設定される属性の情報を取得し、当該取得したアバターの属性に応じて、アバターの属性ごとに予め設定された補正係数を用いて出力値を補正したうえで、アバターの表示態様を変化させてもよい。
具体的には、制御部１９０は、アバターの種類に紐づけられた属性として、下記の情報を取得する。
・人間
・人間であるが、特定の職業（アイドル等）
・人間とは異なる生物（動物、植物等）
・空想上の生物（竜、天使、悪魔等）
・機械
・不定形の存在（ファンタジーにおけるスライム、ゴースト等）
また、サーバ２０は、記憶部２０２に、当該属性に対応して、アバターの顔の動作を補正するための補正係数に関する情報を記憶していてもよい。
例えば、端末装置１０Ａの制御部１９０は、動画配信を行うユーザから、予め、配信において用いるアバターに関する情報を受け付ける。アバターには、上記属性の情報が紐づけられており、制御部１９０は、受け付けたアバターの情報に基づいて、属性データベース２０２５を参照する。制御部１９０は、当該属性データベース２０２５から、ユーザが使用するアバターごとの出力値の補正係数を取得する。制御部１９０は、前述した変化条件に基づき、ユーザのセンシング結果をアバターの表示態様を変化させる出力値として出力する際に、当該属性に紐づけられた補正係数を用い、実際の出力値として出力し、アバターの表示態様を変化させる。
具体的には、制御部１９０は、アバターの種類に紐づけられた属性として、下記の情報を取得する。
・人間
・人間であるが、特定の職業（アイドル等）
・人間とは異なる生物（動物、植物等）
・空想上の生物（竜、天使、悪魔等）
・機械
・不定形の存在（ファンタジーにおけるスライム、ゴースト等）
また、サーバ２０は、記憶部２０２に、当該属性に対応して、アバターの顔の動作を補正するための補正係数に関する情報を記憶していてもよい。
例えば、端末装置１０Ａの制御部１９０は、動画配信を行うユーザから、予め、配信において用いるアバターに関する情報を受け付ける。アバターには、上記属性の情報が紐づけられており、制御部１９０は、受け付けたアバターの情報に基づいて、属性データベース２０２５を参照する。制御部１９０は、当該属性データベース２０２５から、ユーザが使用するアバターごとの出力値の補正係数を取得する。制御部１９０は、前述した変化条件に基づき、ユーザのセンシング結果をアバターの表示態様を変化させる出力値として出力する際に、当該属性に紐づけられた補正係数を用い、実際の出力値として出力し、アバターの表示態様を変化させる。
【0253】
また、ある局面において、制御部１９０は、記憶部１８０に記憶された複数の変化条件のうち、参照する変化条件についての選択をユーザから受け付け、当該選択された変化条件を参照して、アバターの表示態様を変化させてもよい。
具体的には、制御部１９０は、アバターの表示態様を変化させる際に参照する変化条件の候補に関する情報をユーザに提示し、ユーザから当該候補を選択する入力操作を受け付けてもよい。
このとき、端末装置１０Ａの制御部１９０は、変化条件データベース２０２４に記憶されている変化条件をユーザに候補として表示し、当該候補に対するユーザからの選択を受け付けることで、参照する変化条件を決定してもよい。
その後、制御部１９０は、当該選択された変化条件をユーザの顔のセンシング結果に適用し、アバターの顔の表示態様を、当該変化条件において設定されている出力値に応じて変化させる。
これにより、ユーザは、動画配信等を行う際、状況に適した変化条件に応じてアバターの顔の表示態様を変化させることができる。
具体的には、制御部１９０は、アバターの表示態様を変化させる際に参照する変化条件の候補に関する情報をユーザに提示し、ユーザから当該候補を選択する入力操作を受け付けてもよい。
このとき、端末装置１０Ａの制御部１９０は、変化条件データベース２０２４に記憶されている変化条件をユーザに候補として表示し、当該候補に対するユーザからの選択を受け付けることで、参照する変化条件を決定してもよい。
その後、制御部１９０は、当該選択された変化条件をユーザの顔のセンシング結果に適用し、アバターの顔の表示態様を、当該変化条件において設定されている出力値に応じて変化させる。
これにより、ユーザは、動画配信等を行う際、状況に適した変化条件に応じてアバターの顔の表示態様を変化させることができる。
【0254】
ある局面において、制御部１９０は、ユーザから動画配信に用いられる楽曲の指定を受け付けてもよい。このとき、変化条件には、楽曲に関する情報が紐づけられており、制御部１９０は、動画配信に用いられる楽曲に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させてもよい。
【0255】
このとき、楽曲に関する情報としては、楽曲の名称、歌手、曲種、歌詞、曲調からなる群の少なくとも１つが含まれてもよい。
具体的には、サーバ２０は、予め、楽曲のメタデータに関する情報と、当該メタデータに関する情報と紐づいた変化条件の情報とを記憶部２０２に楽曲データベース２０２７として記憶している。例えば、端末装置１０Ａは、楽曲の情報を取得すると、楽曲データベース２０２７を参照し、当該楽曲に含まれるメタデータを参照することで、楽曲の情報のうち、アルバム名、トラックのタイトル（楽曲の名称）、アルバム内のトラック番号、実演家名（歌手名）、作詞者名、作曲者名、編曲者名、演奏時間、歌詞、作品コード、商品番号、権利者名、楽曲のジャンル（曲調）等の情報を取得する。このとき、楽曲データベース２０２７には、楽曲に関する情報と、対応する変化条件の情報とが紐づけられている。制御部１９０は、当該メタデータに対応する楽曲の変化条件を参照し、アバターの表示態様の変化に適用する。
これにより、ユーザは、動画配信において用いる楽曲の情報に基づいて、適切なアバターの顔の表示態様に変化させることができる。
具体的には、サーバ２０は、予め、楽曲のメタデータに関する情報と、当該メタデータに関する情報と紐づいた変化条件の情報とを記憶部２０２に楽曲データベース２０２７として記憶している。例えば、端末装置１０Ａは、楽曲の情報を取得すると、楽曲データベース２０２７を参照し、当該楽曲に含まれるメタデータを参照することで、楽曲の情報のうち、アルバム名、トラックのタイトル（楽曲の名称）、アルバム内のトラック番号、実演家名（歌手名）、作詞者名、作曲者名、編曲者名、演奏時間、歌詞、作品コード、商品番号、権利者名、楽曲のジャンル（曲調）等の情報を取得する。このとき、楽曲データベース２０２７には、楽曲に関する情報と、対応する変化条件の情報とが紐づけられている。制御部１９０は、当該メタデータに対応する楽曲の変化条件を参照し、アバターの表示態様の変化に適用する。
これにより、ユーザは、動画配信において用いる楽曲の情報に基づいて、適切なアバターの顔の表示態様に変化させることができる。
【0256】
ある局面において、制御部１９０は、異なる楽曲が連続して配信される動画配信において、先に配信される楽曲の終了前の所定の時間帯では、その後に配信される楽曲に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させてもよい。
具体的には、制御部１９０は、ユーザが異なる複数の楽曲を連続して配信するとき（例えば、歌唱等を配信する場面において、連続して異なる楽曲を歌唱する場合等）、先に配信される楽曲のメタデータから再生時間を特定し、当該再生時間の所定の時間前に、次に配信される楽曲の変化条件を参照し、アバターの表示態様の変化に反映させてもよい。
これにより、ユーザは、複数の異なる楽曲を連続して配信する際にも、円滑に変化条件を適応させてアバターの表示態様を変化させることができる。
具体的には、制御部１９０は、ユーザが異なる複数の楽曲を連続して配信するとき（例えば、歌唱等を配信する場面において、連続して異なる楽曲を歌唱する場合等）、先に配信される楽曲のメタデータから再生時間を特定し、当該再生時間の所定の時間前に、次に配信される楽曲の変化条件を参照し、アバターの表示態様の変化に反映させてもよい。
これにより、ユーザは、複数の異なる楽曲を連続して配信する際にも、円滑に変化条件を適応させてアバターの表示態様を変化させることができる。
【0257】
また、ある局面において、変化条件には、ユーザの声に関する情報が紐づけられており、制御部１９０は、ユーザの声に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させてもよい。
【0258】
このとき、ユーザの声に関する情報としては、ユーザの音声スペクトルから特定される、ユーザの声の高低、速さ、テンポ、大きさからなる少なくとも１つの情報が含まれてもよい。
具体的には、制御部１９０は、マイク１４１等を介して取得したユーザの声に含まれる音声スペクトルから、下記を含む情報を特定する。
・ユーザの声の高低
・ユーザの声の速さ
・ユーザの声のテンポ
・ユーザの声の大きさ
サーバ２０は、当該ユーザの音声スペクトルから特定された情報と、変化条件とを紐づけて記憶部に記憶しており（例えば、ユーザの声の高低が所定の値だった場合に、変化条件の「アンニュイ」等を紐づけている）、マイク１４１等を介して取得したユーザの声に関する情報から、参照する変化条件を特定する。
これにより、ユーザは、自身の声の特徴等に応じて、適切な変化条件を参照することができる。
具体的には、制御部１９０は、マイク１４１等を介して取得したユーザの声に含まれる音声スペクトルから、下記を含む情報を特定する。
・ユーザの声の高低
・ユーザの声の速さ
・ユーザの声のテンポ
・ユーザの声の大きさ
サーバ２０は、当該ユーザの音声スペクトルから特定された情報と、変化条件とを紐づけて記憶部に記憶しており（例えば、ユーザの声の高低が所定の値だった場合に、変化条件の「アンニュイ」等を紐づけている）、マイク１４１等を介して取得したユーザの声に関する情報から、参照する変化条件を特定する。
これにより、ユーザは、自身の声の特徴等に応じて、適切な変化条件を参照することができる。
【0259】
ある局面において、制御部１９０は、センシング結果に含まれるユーザの顔が、撮影された動画の画面サイズに占める割合を算出し、当該算出された割合に応じて、予め設定された補正係数を用いて出力値を補正したうえで、アバターの表示態様を変化させてもよい。
具体的には、制御部１９０は、カメラ１６０等を介して取得したユーザのセンシング結果に含まれるユーザの顔のサイズが、撮影された動画の画面サイズに占める割合を算出する。例えば、カメラ１６０等を介して撮影されたユーザの顔のサイズ（画面に表示される際のサイズ、ピクセル数）が、画面全体のサイズ、ピクセル数に占める割合を算出する。その後、制御部１９０は。当該割合が所定の割合であった場合に、ユーザのセンシング結果を変化条件に基づいて出力した出力値を、補正係数を用いて補正し、アバターの表示態様を変化させる。
具体的には、制御部１９０は、カメラ１６０等を介して取得したユーザのセンシング結果に含まれるユーザの顔のサイズが、撮影された動画の画面サイズに占める割合を算出する。例えば、カメラ１６０等を介して撮影されたユーザの顔のサイズ（画面に表示される際のサイズ、ピクセル数）が、画面全体のサイズ、ピクセル数に占める割合を算出する。その後、制御部１９０は。当該割合が所定の割合であった場合に、ユーザのセンシング結果を変化条件に基づいて出力した出力値を、補正係数を用いて補正し、アバターの表示態様を変化させる。
【0260】
例えば、制御部１９０は、上記処理により、ユーザのセンシング結果に含まれるユーザの顔の
サイズが撮影された動画の画面サイズに占める割合を算出したのち、画面補正データベース２０２６を参照する。その後、制御部１９０は、当該割合から、画面補正データベース２０２６において紐づけられている補正係数の情報を取得し、変化条件データベース２０２４を参照して出力された出力値を補正係数により補正する。制御部１９０は、当該補正された出力値を、アバターの表示態様を変化させる数値として反映させ、アバターの表示態様を変化させる。
これにより、ユーザは、自身の顔が画面に近い時などに、通常より誇張した表現でアバターの表示態様を変化させることができ、視聴者により没入感を与えることができる。
なお、上記一連の処理において、ユーザが使用する端末装置１０Ａが全ての処理を担う場合を例示したが、本開示は上記に限られず、一部処理をサーバ２０が担ってもよい。例えば、制御部１９０は、カメラ１６０等を介して取得したユーザのセンシング結果の情報を、サーバ２０に送信し、サーバ２０によりアバターの出力値の出力を行わせてもよい。その後、制御部１９０は、サーバ２０から出力値の情報を受信し、当該出力値に基づいて、アバターの表示態様を変化させてもよい。
サイズが撮影された動画の画面サイズに占める割合を算出したのち、画面補正データベース２０２６を参照する。その後、制御部１９０は、当該割合から、画面補正データベース２０２６において紐づけられている補正係数の情報を取得し、変化条件データベース２０２４を参照して出力された出力値を補正係数により補正する。制御部１９０は、当該補正された出力値を、アバターの表示態様を変化させる数値として反映させ、アバターの表示態様を変化させる。
これにより、ユーザは、自身の顔が画面に近い時などに、通常より誇張した表現でアバターの表示態様を変化させることができ、視聴者により没入感を与えることができる。
なお、上記一連の処理において、ユーザが使用する端末装置１０Ａが全ての処理を担う場合を例示したが、本開示は上記に限られず、一部処理をサーバ２０が担ってもよい。例えば、制御部１９０は、カメラ１６０等を介して取得したユーザのセンシング結果の情報を、サーバ２０に送信し、サーバ２０によりアバターの出力値の出力を行わせてもよい。その後、制御部１９０は、サーバ２０から出力値の情報を受信し、当該出力値に基づいて、アバターの表示態様を変化させてもよい。
【0261】
＜９ 第３の実施形態における画面例＞
図２３～図２５は、第３の実施形態において開示される、取得したユーザのセンシング結果を、変化条件に基づいて出力値に応じてアバターの態様を変化させる際の各種画面例を示す図である。
図２３～図２５は、第３の実施形態において開示される、取得したユーザのセンシング結果を、変化条件に基づいて出力値に応じてアバターの態様を変化させる際の各種画面例を示す図である。
【0262】
図２３は、ユーザの目のセンシング結果を、所定の変化条件により出力した出力値に応じてアバターの表示態様を変化させる際の画面例を示す。
【0263】
図２３において、端末装置１０Ａのディスプレイ１３０２には、設定画面２３０１と、ユーザ２３０２と、アバター２３０３とが表示されている。
設定画面２３０１において、端末装置１０Ａの制御部１９０は、アバターに反映するユーザのセンシング結果に対する閾値の情報を表示する。
例えば、制御部１９０は、下記の情報を表示する。
・ユーザのセンシング部位
・センシング部位のセンシング結果
・センシング部位に対する閾値の条件
・閾値の条件を満たした場合にアバターに反映させる表情
端末装置１０Ａは、カメラ１６０等を介してユーザ２２０２を撮影し、設定画面２２０１にセンシング結果等を表示する。また、端末装置１０Ａは、取得したセンシング結果を、設定された変化条件に基づいて動きを反映させたアバター２３０３を併せてディスプレイ１３０２等に表示してもよい。
これにより、ユーザは、自身のセンシング結果と併せて、視聴者に表示されるアバターの様子を把握することができる。
設定画面２３０１において、端末装置１０Ａの制御部１９０は、アバターに反映するユーザのセンシング結果に対する閾値の情報を表示する。
例えば、制御部１９０は、下記の情報を表示する。
・ユーザのセンシング部位
・センシング部位のセンシング結果
・センシング部位に対する閾値の条件
・閾値の条件を満たした場合にアバターに反映させる表情
端末装置１０Ａは、カメラ１６０等を介してユーザ２２０２を撮影し、設定画面２２０１にセンシング結果等を表示する。また、端末装置１０Ａは、取得したセンシング結果を、設定された変化条件に基づいて動きを反映させたアバター２３０３を併せてディスプレイ１３０２等に表示してもよい。
これにより、ユーザは、自身のセンシング結果と併せて、視聴者に表示されるアバターの様子を把握することができる。
【0264】
図２４は、ユーザの目、目以外の顔の部位のセンシング結果を、所定の変化条件により出力した出力値に応じてアバターの表示態様を変化させる際の画面例を示す。
【0265】
図２４において、端末装置１０Ａのディスプレイ１３０２には、設定画面２４０１と、ユーザ２４０２と、アバター２４０３とが表示されている。
設定画面２４０１において、端末装置１０Ａの制御部１９０は、図２３における設定画面２３０１と同様に、アバターに反映するユーザのセンシング結果に対する閾値の情報を表示する。
例えば、制御部１９０は、下記の情報を表示する。
・ユーザのセンシング部位
・センシング部位各部のセンシング結果
・センシング部位各部に対する閾値の条件
・閾値の条件を満たした場合にアバターに反映させる表情
端末装置１０Ａは、カメラ１６０等を介してユーザ２４０２を撮影し、設定画面２４０１にセンシング結果等を表示する。また、端末装置１０Ａは、取得したセンシング結果を、設定された変化条件に基づいて動きを反映させたアバター２４０３を併せてディスプレイ１３０２等に表示してもよい。
これにより、ユーザは、複数センシング部位がある場合でも、適切に表情を変化させることができる。
設定画面２４０１において、端末装置１０Ａの制御部１９０は、図２３における設定画面２３０１と同様に、アバターに反映するユーザのセンシング結果に対する閾値の情報を表示する。
例えば、制御部１９０は、下記の情報を表示する。
・ユーザのセンシング部位
・センシング部位各部のセンシング結果
・センシング部位各部に対する閾値の条件
・閾値の条件を満たした場合にアバターに反映させる表情
端末装置１０Ａは、カメラ１６０等を介してユーザ２４０２を撮影し、設定画面２４０１にセンシング結果等を表示する。また、端末装置１０Ａは、取得したセンシング結果を、設定された変化条件に基づいて動きを反映させたアバター２４０３を併せてディスプレイ１３０２等に表示してもよい。
これにより、ユーザは、複数センシング部位がある場合でも、適切に表情を変化させることができる。
【0266】
図２５は、ユーザのアバターの属性が所定の属性の時に、ユーザの目のセンシング結果を、所定の変化条件により出力した出力値に応じてアバターの表示態様を変化させる際の画面例を示す。
【0267】
図２５において、端末装置１０Ａのディスプレイ１３０２には、設定画面２５０１と、ユーザ２５０２と、アバター２５０３とが表示されている。
設定画面２５０１において、端末装置１０Ａの制御部１９０は、図２３における設定画面２３０１等と同様に、アバターに反映するユーザのセンシング結果に対する閾値の条件の情報を表示する。
例えば、制御部１９０は、下記の情報を表示する。
・ユーザのセンシング部位
・センシング部位各部のセンシング結果
・センシング部位各部に対する閾値
・閾値の条件を満たした場合にアバターに反映させる表情
・ユーザに対応するアバターの属性
端末装置１０Ａは、カメラ１６０等を介してユーザ２５０２を撮影し、設定画面２５０１にセンシング結果等を表示する。また、端末装置１０Ａは、取得したセンシング結果を、変化条件およびアバターの属性に基づいて動きを反映させたアバター２５０３を併せてディスプレイ１３０２等に表示してもよい。
例えば、図２５において、目のセンシング結果は「０．４０」であり、閾値の条件が「＜０．５０」であるため、目の部位の開閉度合いの出力値は「０」としてアバターの動きに反映されるが、目以外の部位（例えば、口等）は、アバターの属性に応じて出力値を所定の補正係数を用いて補正した値を反映させる。
これにより、ユーザは、アバターが多種多様であっても、適切に表情を変化させることができる。
設定画面２５０１において、端末装置１０Ａの制御部１９０は、図２３における設定画面２３０１等と同様に、アバターに反映するユーザのセンシング結果に対する閾値の条件の情報を表示する。
例えば、制御部１９０は、下記の情報を表示する。
・ユーザのセンシング部位
・センシング部位各部のセンシング結果
・センシング部位各部に対する閾値
・閾値の条件を満たした場合にアバターに反映させる表情
・ユーザに対応するアバターの属性
端末装置１０Ａは、カメラ１６０等を介してユーザ２５０２を撮影し、設定画面２５０１にセンシング結果等を表示する。また、端末装置１０Ａは、取得したセンシング結果を、変化条件およびアバターの属性に基づいて動きを反映させたアバター２５０３を併せてディスプレイ１３０２等に表示してもよい。
例えば、図２５において、目のセンシング結果は「０．４０」であり、閾値の条件が「＜０．５０」であるため、目の部位の開閉度合いの出力値は「０」としてアバターの動きに反映されるが、目以外の部位（例えば、口等）は、アバターの属性に応じて出力値を所定の補正係数を用いて補正した値を反映させる。
これにより、ユーザは、アバターが多種多様であっても、適切に表情を変化させることができる。
【0268】
＜１０ 変形例＞
本実施形態の変形例について説明する。すなわち、以下のような態様を採用してもよい。
（１）情報処理装置であって、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
（２）方法であって、コンピュータを情報処理装置として機能させ、当該情報処理装置に、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
本実施形態の変形例について説明する。すなわち、以下のような態様を採用してもよい。
（１）情報処理装置であって、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
（２）方法であって、コンピュータを情報処理装置として機能させ、当該情報処理装置に、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
【0269】
＜１１ 付記＞
以上の各実施形態で説明した事項を以下に付記する。
以上の各実施形態で説明した事項を以下に付記する。
【0270】
（付記１）
プロセッサ２９を備えるコンピュータ２０によって実行されるプログラムであって、プログラムは、プロセッサ２９に、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、表示態様を変化させるステップでは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定するステップと、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行させるプログラム。
プロセッサ２９を備えるコンピュータ２０によって実行されるプログラムであって、プログラムは、プロセッサ２９に、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、表示態様を変化させるステップでは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定するステップと、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行させるプログラム。
【0271】
（付記２）
第１の条件とは、ユーザが目を所定の閾値以上閉じることであり、第１の表情とは、アバターの目が閉じられた表情である、付記１に記載のプログラム。
第１の条件とは、ユーザが目を所定の閾値以上閉じることであり、第１の表情とは、アバターの目が閉じられた表情である、付記１に記載のプログラム。
【0272】
（付記３）
表示態様を変化させるステップでは、特定されたユーザの目の動き、およびユーザの目以外の顔の各部位の動きが、第１の条件とは異なる第２の条件を満たす場合に、アバターの表示態様を、第１の表情とは異なる第２の表情に変化させる、付記１又は２に記載のプログラム。
表示態様を変化させるステップでは、特定されたユーザの目の動き、およびユーザの目以外の顔の各部位の動きが、第１の条件とは異なる第２の条件を満たす場合に、アバターの表示態様を、第１の表情とは異なる第２の表情に変化させる、付記１又は２に記載のプログラム。
【0273】
（付記４）
コンピュータ２０は記憶部１６を備え、この記憶部１６には、表示態様を変化させる条件である変化条件として、センシングしたユーザの目の動き、およびユーザの目以外の顔の各部位の動きの範囲と、当該範囲を満たす場合にアバターを表示させるべき表示態様として、当該アバターの目および顔の各部位を表示させる出力値と、が予め対応づけられて複数記憶されており、表示態様を変化させるステップでは、変化条件を参照して、センシングしたユーザの目の動き、およびユーザの目以外の顔の各部位の動きそれぞれが、該当する変化条件における各出力値となるように、アバターの表示態様を変化させる、付記１に記載のプログラム。
コンピュータ２０は記憶部１６を備え、この記憶部１６には、表示態様を変化させる条件である変化条件として、センシングしたユーザの目の動き、およびユーザの目以外の顔の各部位の動きの範囲と、当該範囲を満たす場合にアバターを表示させるべき表示態様として、当該アバターの目および顔の各部位を表示させる出力値と、が予め対応づけられて複数記憶されており、表示態様を変化させるステップでは、変化条件を参照して、センシングしたユーザの目の動き、およびユーザの目以外の顔の各部位の動きそれぞれが、該当する変化条件における各出力値となるように、アバターの表示態様を変化させる、付記１に記載のプログラム。
【0274】
（付記５）
プロセッサ２９に、さらに、アバターの種類に応じて設定される属性の情報を取得するステップを実行させ、表示態様を変化させるステップでは、取得したアバターの属性に応じて、アバターの属性ごとに予め設定された補正係数を用いて出力値を補正したうえで、アバターの表示態様を変化させる、付記４に記載のプログラム。
プロセッサ２９に、さらに、アバターの種類に応じて設定される属性の情報を取得するステップを実行させ、表示態様を変化させるステップでは、取得したアバターの属性に応じて、アバターの属性ごとに予め設定された補正係数を用いて出力値を補正したうえで、アバターの表示態様を変化させる、付記４に記載のプログラム。
【0275】
（付記６）
プロセッサ２９に、さらに、記憶部１６に記憶された複数の変化条件のうち、参照する変化条件についての選択をユーザから受け付けるステップを実行させ、表示態様を変化させるステップでは、選択された変化条件を参照して、アバターの表示態様を変化させる、付記４に記載のプログラム。
プロセッサ２９に、さらに、記憶部１６に記憶された複数の変化条件のうち、参照する変化条件についての選択をユーザから受け付けるステップを実行させ、表示態様を変化させるステップでは、選択された変化条件を参照して、アバターの表示態様を変化させる、付記４に記載のプログラム。
【0276】
（付記７）
プロセッサ２９に、さらに、動画配信に用いられる楽曲の指定を受け付けるステップを実行させ、変化条件には、楽曲に関する情報が紐づけられており、表示態様を変化させるステップでは、動画配信に用いられる楽曲に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させる、付記４に記載のプログラム。
プロセッサ２９に、さらに、動画配信に用いられる楽曲の指定を受け付けるステップを実行させ、変化条件には、楽曲に関する情報が紐づけられており、表示態様を変化させるステップでは、動画配信に用いられる楽曲に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させる、付記４に記載のプログラム。
【0277】
（付記８）
楽曲に関する情報としては、楽曲の名称、歌手、曲種、歌詞、曲調からなる群の少なくとも１つが含まれる、付記７に記載のプログラム。
楽曲に関する情報としては、楽曲の名称、歌手、曲種、歌詞、曲調からなる群の少なくとも１つが含まれる、付記７に記載のプログラム。
【0278】
（付記９）
表示態様を変化させるステップでは、異なる楽曲が連続して配信される動画配信において、先に配信される楽曲の終了前の所定の時間帯では、その後に配信される楽曲に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させる、付記７に記載のプログラム。
表示態様を変化させるステップでは、異なる楽曲が連続して配信される動画配信において、先に配信される楽曲の終了前の所定の時間帯では、その後に配信される楽曲に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させる、付記７に記載のプログラム。
【0279】
（付記１０）
変化条件には、ユーザの声に関する情報が紐づけられており、表示態様を変化させるステップでは、ユーザの声に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させる、付記４に記載のプログラム。
変化条件には、ユーザの声に関する情報が紐づけられており、表示態様を変化させるステップでは、ユーザの声に関する情報と紐づけられた変化条件を参照して、アバターの表示態様を変化させる、付記４に記載のプログラム。
【0280】
（付記１１）
ユーザの声に関する情報としては、ユーザの音声スペクトルから特定される、ユーザの声の高低、速さ、テンポ、大きさからなる少なくとも１つの情報が含まれる、付記１０に記載のプログラム。
ユーザの声に関する情報としては、ユーザの音声スペクトルから特定される、ユーザの声の高低、速さ、テンポ、大きさからなる少なくとも１つの情報が含まれる、付記１０に記載のプログラム。
【0281】
（付記１２）
プロセッサ２９に、さらに、センシング結果に含まれるユーザの顔が、撮影された動画の画面サイズに占める割合を算出するステップを実行させ、表示態様を変化させるステップでは、算出された割合に応じて、予め設定された補正係数を用いて出力値を補正したうえで、アバターの表示態様を変化させる、付記４に記載のプログラム。
プロセッサ２９に、さらに、センシング結果に含まれるユーザの顔が、撮影された動画の画面サイズに占める割合を算出するステップを実行させ、表示態様を変化させるステップでは、算出された割合に応じて、予め設定された補正係数を用いて出力値を補正したうえで、アバターの表示態様を変化させる、付記４に記載のプログラム。
【0282】
（付記１３）
プロセッサ２９を備えるコンピュータ２０によって実行される方法であって、方法は、プロセッサ２９が、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、表示態様を変化させるステップでは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定するステップと、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行する、方法。
プロセッサ２９を備えるコンピュータ２０によって実行される方法であって、方法は、プロセッサ２９が、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、表示態様を変化させるステップでは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定するステップと、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行する、方法。
【0283】
（付記１４）
制御部２０３を備える情報処理装置２０であって、制御部２０３が、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付ける手段と、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させる手段と、を備え、表示態様を変化させる手段では、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定する手段と、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させる手段と、を備える、情報処理装置２０。
制御部２０３を備える情報処理装置２０であって、制御部２０３が、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付ける手段と、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させる手段と、を備え、表示態様を変化させる手段では、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定する手段と、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させる手段と、を備える、情報処理装置２０。
【符号の説明】
【0284】
１０ 端末装置、１２ 通信インタフェース、１３ 入力装置、１４ 出力装置、１５ メモリ、１６ 記憶部、１９ プロセッサ、２０ サーバ、２２ 通信インタフェース、２３ 入出力インタフェース、２５ メモリ、２６ ストレージ、２９ プロセッサ、８０ ネットワーク、１８０１ ユーザ情報、１８０２ アバター情報、１８０３ ウェアラブルデバイス情報、１９０１ 入力操作受付部、１９０２ 送受信部、１９０３ データ処理部、１９０４ 報知制御部、１３０２ ディスプレイ、１４０ 音声処理部、１４１ マイク、１４２ スピーカ、１５０ 位置情報センサ、１６０ カメラ、１７０ モーションセンサ、２０２１ ユーザ情報データベース、２０２２ アバター情報データベース、２０２３ ウェアラブルデバイス情報データベース、２０２４ 変化条件データベース、２０２５ 属性データベース、２０２６ 画面補正データベース、２０２７ 楽曲データベース、２０３１ 受信制御モジュール、２０３２ 送信制御モジュール、２０３３ ユーザ情報取得モジュール、２０３４ アバター情報取得モジュール、２０３５ 音声スペクトル取得モジュール、２０３６ アバター変化モジュール、２０３７ アバター提示モジュール、２０３８ 設定受付モジュール、２０３９ ウェアラブルデバイス情報取得モジュール、２０４０ 変化補正モジュール。
【要約】
【課題】アバターの表情の違和感を低減させ、より視聴者の没入感を高める技術を提供する。
【解決手段】プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、表示態様を変化させるステップでは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定するステップと、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行させるプログラム。
【選択図】図２３
【解決手段】プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、動画配信を行うユーザの顔の部位であって、１または複数の顔の部位の動きをセンシングした結果を受け付けるステップと、受け付けた、１または複数の顔の部位の動きをセンシングした結果に基づいて、ユーザに対応するアバターを用いて動画配信を行い、このとき、アバターの１または複数の顔の部位の表示態様を変化させるステップと、を実行させ、表示態様を変化させるステップでは、センシング結果に基づき、ユーザの顔の部位のうち、目の動きを特定するステップと、特定されたユーザの目の動きが、第１の条件を満たす場合に、ユーザに対応するアバターの表示態様を、第１の表情に変化させるステップと、を実行させるプログラム。
【選択図】図２３
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
