(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-20
(45)【発行日】2023-12-28
(54)【発明の名称】情報処理装置、制御方法、及び制御プログラム
(51)【国際特許分類】
H04L 67/131 20220101AFI20231221BHJP
【ＦＩ】
H04L67/131
【請求項の数】
29
(21)【出願番号】P 2022570931
(86)(22)【出願日】2020-12-25
(86)【国際出願番号】 JP2020048642
(87)【国際公開番号】W WO2022137486
(87)【国際公開日】2022-06-30
【審査請求日】2022-09-07
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100116964
【弁理士】
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100120477
【弁理士】
【氏名又は名称】佐藤 賢改
(74)【代理人】
【識別番号】100135921
【弁理士】
【氏名又は名称】篠原 昌彦
(74)【代理人】
【氏名又は名称】半田 淳一
(74)【代理人】
【識別番号】100203677
【弁理士】
【氏名又は名称】山口 力
(72)【発明者】
【氏名】大澤 壮平
【審査官】岩田 玲彦
(56)【参考文献】
【文献】特開２０１８－０７５２５９（ＪＰ，Ａ）
【文献】特開２０１２－２５７１１６（ＪＰ，Ａ）
【文献】特開２０１８－１９１１８６（ＪＰ，Ａ）
【文献】山本倫也・渡辺富夫，教師と生徒のＩｎｔｅｒＡｃｔｏｒを一人二役で演じるエデュテインメントシステムの開発，情報処理学会 論文誌（ジャーナル） Ｖｏｌ．５４ Ｎｏ．４ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2013年04月15日，第54巻，P.1677-1685
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｌ ６７／１３１
(57)【特許請求の範囲】
【請求項1】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置であって、前記発表者の目を含む映像を取得し、視線とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記映像に基づいて、発表中の前記発表者の視線を解析し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項2】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置であって、前記発表者の目を含む映像を取得し、視線とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記映像に基づいて、発表中の前記発表者の視線を解析し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項3】
前記関係情報は、アバタと視線の動き方向との対応関係を示し、
前記切替制御部は、前記映像に基づいて、前記発表者の視線の動きを解析し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する、
請求項１又は２に記載の情報処理装置。
【請求項4】
前記取得部は、前記映像と前記発表者の目の位置情報とを取得し、前記切替制御部は、前記映像と前記位置情報とに基づいて、前記発表者の視線を解析する、
請求項１又は２に記載の情報処理装置。
【請求項5】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置であって、声色とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記音声信号に基づいて音声特徴量を抽出し、前記音声特徴量を用いて、前記発表者の音声の声色を特定し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項6】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置であって、声色とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記音声信号に基づいて音声特徴量を抽出し、前記音声特徴量を用いて、前記発表者の音声の声色を特定し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項7】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置であって、話し方とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記音声信号に基づいて、前記発表者の発話内容を検出し、前記発話内容に基づいて、話し方を特定し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項8】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置であって、話し方とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記音声信号に基づいて、前記発表者の発話内容を検出し、前記発話内容に基づいて、話し方を特定し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項9】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置であって、シナリオとアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記音声信号に基づいて、前記発表者の発話内容を検出し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項10】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置であって、シナリオとアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、
前記音声信号に基づいて、前記発表者の発話内容を検出し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、
新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、
前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、
を有する情報処理装置。
【請求項11】
前記生成部は、前記第２のアバタの発話内容が表示されている画面を生成する、請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項12】
前記通信制御部は、前記表示装置に表示される前記第２のアバタの位置に音像が形成されるように、前記聴講者装置を制御する、請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記生成部は、画面に表示されるアバタの数を変更する、請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項14】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置が、前記発表者の目を含む映像を取得し、視線とアバタとの対応関係を示す関係情報を取得し、
前記映像に基づいて、発表中の前記発表者の視線を解析し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記発表者の音声の信号である音声信号を取得し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項15】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置が、前記発表者の目を含む映像を取得し、視線とアバタとの対応関係を示す関係情報を取得し、
前記映像に基づいて、発表中の前記発表者の視線を解析し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記発表者の音声の信号である音声信号を取得し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項16】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置が、声色とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて音声特徴量を抽出し、
前記音声特徴量を用いて、前記発表者の音声の声色を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項17】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置が、声色とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて音声特徴量を抽出し、
前記音声特徴量を用いて、前記発表者の音声の声色を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項18】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置が、話し方とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記発話内容に基づいて、話し方を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項19】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置が、話し方とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記発話内容に基づいて、話し方を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項20】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置が、シナリオとアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項21】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置が、シナリオとアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
制御方法。
【請求項22】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置に、前記発表者の目を含む映像を取得し、視線とアバタとの対応関係を示す関係情報を取得し、
前記映像に基づいて、発表中の前記発表者の視線を解析し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記発表者の音声の信号である音声信号を取得し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【請求項23】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置に、前記発表者の目を含む映像を取得し、視線とアバタとの対応関係を示す関係情報を取得し、
前記映像に基づいて、発表中の前記発表者の視線を解析し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記発表者の音声の信号である音声信号を取得し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【請求項24】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置に、声色とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて音声特徴量を抽出し、
前記音声特徴量を用いて、前記発表者の音声の声色を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【請求項25】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置に、声色とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて音声特徴量を抽出し、
前記音声特徴量を用いて、前記発表者の音声の声色を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【請求項26】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置に、話し方とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記発話内容に基づいて、話し方を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【請求項27】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置に、話し方とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記発話内容に基づいて、話し方を特定し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【請求項28】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信し、かつ発表者が用いる情報処理装置に、シナリオとアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【請求項29】
発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有し、かつ聴講者が用いる聴講者装置と、発表者が用いる発表者装置と通信する情報処理装置に、シナリオとアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得し、
前記音声信号に基づいて、前記発表者の発話内容を検出し、
前記関係情報に基づいて、前記発話担当アバタの切替を決定し、
新しい発話担当アバタである第２のアバタを含む画面を生成し、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換し、
声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する、
処理を実行させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、制御方法、及び制御プログラムに関する。
【背景技術】
【0002】
近年、ネットワークを介したプレゼンテーションが行われている。例えば、プレゼンテーションは、アバタを用いて、行われる。ここで、アバタに関する技術が提案されている（非特許文献１を参照）。非特許文献１には、複数のアバタのいずれかが発表者の発話を話すことが記載されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Ｋｅｉｓｕｋｅ Ｓｅｔａ、Ｍａｓａｎｏｒｉ Ｙｏｋｏｙａｍａ、Ｓｈｉｇｅｏ Ｙｏｓｈｉｄａ、Ｔａｋｕｊｉ Ｎａｒｕｍｉ、Ｔｏｍｏｈｉｒｏ Ｔａｎｉｋａｗａ、Ｍｉｃｈｉｔａｋａ Ｈｉｒｏｓｅ、「Ｄｉｖｉｄｅｄ Ｐｒｅｓｅｎｃｅ：Ｉｍｐｒｏｖｉｎｇ Ｇｒｏｕｐ Ｄｅｃｉｓｉｏｎ－Ｍａｋｉｎｇ ｖｉａ Ｐｓｅｕｄｏ－Ｐｏｐｕｌａｔｉｏｎ Ｉｎｃｒｅａｓｅ」、２０１８年
【発明の概要】
【発明が解決しようとする課題】
【0004】
発表者は、複数のアバタのうち、任意のアバタに発話を行わせたい場合がある。しかし、上記の技術では、任意のアバタが発話を行うことができない。
【0005】
本開示の目的は、任意のアバタに発話を行わせることである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理装置が提供される。情報処理装置は、発話担当アバタである第１のアバタを表示している表示装置と接続し、又は前記表示装置を有する聴講者装置と通信する。情報処理装置は、発表者が用いる装置である。情報処理装置は、前記発表者の目を含む映像を取得し、視線とアバタとの対応関係を示す関係情報を取得し、前記発表者の音声の信号である音声信号を取得する取得部と、前記映像に基づいて、発表中の前記発表者の視線を解析し、前記関係情報に基づいて、前記発話担当アバタの切替を決定する切替制御部と、新しい発話担当アバタである第２のアバタを含む画面を生成する生成部と、前記音声信号に基づいて、前記発表者の音声の声色を、前記第２のアバタ用の声色に変換する声色変換部と、声色の変換によって得られた変換後音声信号と前記画面とを前記聴講者装置に送信する通信制御部と、を有する。
【発明の効果】
【0007】
本開示によれば、任意のアバタに発話を行わせることができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１の通信システムを示す図である。
【図2】実施の形態１の発表者装置と聴講者装置とが有するハードウェアを示す図である。
【図3】実施の形態１のディスプレイに表示されるアバタの具体例を示す図である。
【図4】実施の形態１の発表者装置が有する機能のブロック図である。
【図5】実施の形態１の発表者装置が実行する処理の例を示すフローチャートである。
【図6】実施の形態１の通信システムで行われる処理の具体例を示す図である。
【図7】実施の形態１の変形例１の発表者装置が実行する処理の例を示すフローチャートである。
【図8】実施の形態１の変形例１の関係テーブルの例を示す図である。
【図9】実施の形態１の変形例２の発表者装置が実行する処理の例を示すフローチャートである。
【図10】実施の形態１の変形例２の関係テーブルの例を示す図である。
【図11】実施の形態１の変形例３の発表者装置が実行する処理の例を示すフローチャートである。
【図12】実施の形態１の変形例３の関係テーブルの例を示す図である。
【図13】実施の形態１の変形例４の発表者装置が実行する処理の例を示すフローチャートである。
【図14】実施の形態１の変形例４の関係テーブルの例を示す図である。
【図15】実施の形態２の通信システムを示す図である。
【図16】実施の形態２のサーバが有する機能のブロック図である。
【図17】実施の形態２の通信システムで実行される処理の例を示すシーケンス図である。
【図18】実施の形態２の変形例１の通信システムで実行される処理の例を示すシーケンス図である。
【図19】実施の形態２の変形例２の通信システムで実行される処理の例を示すシーケンス図である。
【図20】実施の形態２の変形例３の通信システムで実行される処理の例を示すシーケンス図である。
【図21】実施の形態２の変形例４の通信システムで実行される処理の例を示すシーケンス図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
【0010】
実施の形態１．
図１は、実施の形態１の通信システムを示す図である。通信システムは、発表者装置１００と聴講者装置２００とを含む。発表者装置１００と聴講者装置２００とは、ネットワークを介して、通信する。
図１は、実施の形態１の通信システムを示す図である。通信システムは、発表者装置１００と聴講者装置２００とを含む。発表者装置１００と聴講者装置２００とは、ネットワークを介して、通信する。
【0011】
発表者装置１００は、発表者が用いる装置である。発表者装置１００は、情報処理装置とも言う。発表者装置１００は、制御方法を実行する装置である。聴講者装置２００は、聴講者が用いる装置である。例えば、発表者装置１００と聴講者装置２００とは、ノート型、デスクトップ型、又はタブレット型のコンピュータである。
【0012】
発表者は、発表者装置１００を用いて、プレゼンテーション、オンラインの講演などを行う。プレゼンテーション、当該講演などを聴講する聴講者の数は、１以上である。そのため、発表者装置１００は、１以上の聴講者装置と通信する。ここで、以下の説明を簡単にするため、図１では、１つの聴講者装置が例示されている。よって、聴講者装置の数は、２以上でもよい。
【0013】
次に、発表者装置１００と聴講者装置２００とが有するハードウェアを説明する。
図２は、実施の形態１の発表者装置と聴講者装置とが有するハードウェアを示す図である。発表者装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
図２は、実施の形態１の発表者装置と聴講者装置とが有するハードウェアを示す図である。発表者装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
【0014】
プロセッサ１０１は、発表者装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。発表者装置１００は、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。
【0015】
揮発性記憶装置１０２は、発表者装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、発表者装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。
【0016】
発表者装置１００には、ディスプレイ３００、マウス３１０、キーボード３２０、撮像装置３３０、及びマイク３４０が接続されている。また、発表者装置１００は、ディスプレイ３００、キーボード３２０、撮像装置３３０、及びマイク３４０のうちの少なくとも１つを有してもよい。ディスプレイ３００は、発表者が見るディスプレイである。ディスプレイ３００、マウス３１０、キーボード３２０、撮像装置３３０、及びマイク３４０は、発表者側のディスプレイ、マウス、キーボード、撮像装置、及びマイクと呼んでもよい。
ここで、ディスプレイは、表示装置とも言う。また、マイクは、マイクロフォンである。
ここで、ディスプレイは、表示装置とも言う。また、マイクは、マイクロフォンである。
【0017】
聴講者装置２００は、発表者装置１００と同様に、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。聴講者装置２００には、ディスプレイ４００、及びスピーカ４１０，４１１が接続されている。聴講者装置２００は、ディスプレイ４００、及びスピーカ４１０，４１１のうちの少なくとも１つを有してもよい。また、聴講者装置２００には、マウス、キーボード、撮像装置、及びマイクが接続されてもよい。さらに、聴講者装置２００は、当該キーボード、当該撮像装置、及び当該マイクのうちの少なくとも１つを有してもよい。ディスプレイ４００は、聴講者が見るディスプレイである。なお、ディスプレイ４００、スピーカ４１０，４１１、当該マウス、当該キーボード、当該撮像装置、及び当該マイクは、聴講者側のディスプレイ、複数のスピーカ、マウス、キーボード、撮像装置、及びマイクと呼んでもよい。また、スピーカの数は、１つでもよい。
【0018】
上述したように、発表者は、発表者装置１００を用いて、プレゼンテーション、オンラインの講演などを行う。詳細には、発表者は、アバタを用いて、プレゼンテーション、オンラインの講演などを行う。以下、発表者は、アバタを用いて、プレゼンテーションを行うものとする。ここで、アバタの例を示す。
【0019】
図３は、実施の形態１のディスプレイに表示されるアバタの具体例を示す図である。ディスプレイ４００には、アバタ４０１、アバタ４０２、及び範囲４０３が表示されている。
また、ディスプレイ３００にも、アバタ４０１、アバタ４０２、及び範囲４０３が表示されている。発表者は、ディスプレイ３００を見ながら、プレゼンテーションを行う。聴講者は、ディスプレイ４００を見ながら、プレゼンテーションを聞く。
また、ディスプレイ３００にも、アバタ４０１、アバタ４０２、及び範囲４０３が表示されている。発表者は、ディスプレイ３００を見ながら、プレゼンテーションを行う。聴講者は、ディスプレイ４００を見ながら、プレゼンテーションを聞く。
【0020】
アバタ４０１とアバタ４０２とのそれぞれには、役割が与えられている。例えば、アバタ４０１は、プレゼンテーションを行うアバタである。アバタ４０１は、発表者の発話に合わせて発話する。例えば、アバタ４０１は、リップシンクの技術によって、発表者の発話に合わせて発話する。例えば、アバタ４０２は、後述する範囲４０３に表示されている内容を読み上げる。また、例えば、アバタ４０２は、アバタ４０１の発話内容を分かりやすく要約して発話する。ここで、アバタ４０２が当該内容を読み上げる行為及びアバタ４０２が発話する行為は、発表者によって行われる。後述するように、発表者装置１００の処理により、発話担当アバタが切り替わる。発表者は、発話担当アバタを切替えながら、プレゼンテーションを行う。例えば、発表者は、アバタ４０１が発話した後、発表者装置１００を用いて、発話担当アバタをアバタ４０２に切り替える。発表者は、アバタ４０１の発話内容の要約を発話する。発表者装置１００は、アバタ４０２が発表者の当該発話に合わせて発話するように、制御を行う。これにより、アバタ４０２は、アバタ４０１の発話内容の要約を発話する。
【0021】
範囲４０３は、チャットの内容が表示される範囲である。例えば、聴講者が入力した文字が、範囲４０３に表示される。
【0022】
なお、図３には、２つのアバタが例示されている。アバタの数は、３つ以上でもよい。また、例えば、アバタ４０１は、第１のアバタ又は第２のアバタとも言う。アバタ４０１が第１のアバタである場合、アバタ４０２は、第２のアバタであると考えてもよい。アバタ４０１が第２のアバタである場合、アバタ４０２は、第１のアバタであると考えてもよい。
【0023】
次に、発表者装置１００が有する機能を説明する。
図４は、実施の形態１の発表者装置が有する機能のブロック図である。発表者装置１００は、記憶部１１０、取得部１２０、切替制御部１３０、生成部１４０、声色変換部１５０、及び通信制御部１６０を有する。
図４は、実施の形態１の発表者装置が有する機能のブロック図である。発表者装置１００は、記憶部１１０、取得部１２０、切替制御部１３０、生成部１４０、声色変換部１５０、及び通信制御部１６０を有する。
【0024】
記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
取得部１２０、切替制御部１３０、生成部１４０、声色変換部１５０、及び通信制御部１６０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、切替制御部１３０、生成部１４０、声色変換部１５０、及び通信制御部１６０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。
取得部１２０、切替制御部１３０、生成部１４０、声色変換部１５０、及び通信制御部１６０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、切替制御部１３０、生成部１４０、声色変換部１５０、及び通信制御部１６０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。
【0025】
記憶部１１０は、様々な情報を記憶する。
取得部１２０は、発話担当アバタの切替判定で用いられる情報を取得する。具体的には、当該情報は、ポインティング情報である。例えば、ポインティング情報は、アバタ４０２がポインティングされたことを示す情報である。ポインティングは、発表者がマウス３１０を用いることによって行われる。ここで、以下、当該情報は、ポインティング情報とする。
取得部１２０は、発話担当アバタの切替判定で用いられる情報を取得する。具体的には、当該情報は、ポインティング情報である。例えば、ポインティング情報は、アバタ４０２がポインティングされたことを示す情報である。ポインティングは、発表者がマウス３１０を用いることによって行われる。ここで、以下、当該情報は、ポインティング情報とする。
【0026】
取得部１２０は、音声信号を取得する。例えば、取得部１２０は、音声信号をマイク３４０から取得する。なお、音声信号は、発表者の音声の信号である。
切替制御部１３０は、ポインティング情報に基づいて、発話担当アバタの切替を決定する。
生成部１４０は、新しい発話担当アバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれてもよい。
切替制御部１３０は、ポインティング情報に基づいて、発話担当アバタの切替を決定する。
生成部１４０は、新しい発話担当アバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれてもよい。
【0027】
声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、新しい発話担当アバタ用の声色に変換する。なお、声色変換部１５０は、声色を変換する場合、公知技術を用いて声色を変換する。
通信制御部１６０は、声色の変換によって得られた変換後音声信号と、生成された画面とを聴講者装置２００に送信する。
通信制御部１６０は、声色の変換によって得られた変換後音声信号と、生成された画面とを聴講者装置２００に送信する。
【0028】
次に、発表者装置１００が実行する処理を、フローチャートを用いて、説明する。
図５は、実施の形態１の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ１１）取得部１２０は、ポインティング情報を取得する。例えば、取得部１２０は、ポインティング情報を記憶部１１０から取得する。なお、例えば、ポインティング情報は、アバタ（例えば、アバタ４０２）がポインティングされたことを示す情報である。
図５は、実施の形態１の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ１１）取得部１２０は、ポインティング情報を取得する。例えば、取得部１２０は、ポインティング情報を記憶部１１０から取得する。なお、例えば、ポインティング情報は、アバタ（例えば、アバタ４０２）がポインティングされたことを示す情報である。
【0029】
（ステップＳ１２）切替制御部１３０は、現在の発話担当アバタとポインティング情報が示すアバタとが同じであるか否かを判定する。ここで、例えば、現在の発話担当アバタを示す情報は、記憶部１１０に格納されている。
条件を満たす場合、処理は、終了する。また、条件を満たす場合、現在の発話担当アバタ（例えば、アバタ４０１）が発話の担当を継続する。条件を満たさない場合、切替制御部１３０は、ポインティング情報に基づいて、現在の発話担当アバタとポインティング情報が示すアバタとが異なることを特定する。そして、処理は、ステップＳ１３に進む。
条件を満たす場合、処理は、終了する。また、条件を満たす場合、現在の発話担当アバタ（例えば、アバタ４０１）が発話の担当を継続する。条件を満たさない場合、切替制御部１３０は、ポインティング情報に基づいて、現在の発話担当アバタとポインティング情報が示すアバタとが異なることを特定する。そして、処理は、ステップＳ１３に進む。
【0030】
（ステップＳ１３）切替制御部１３０は、発話担当アバタの切替を決定する。
（ステップＳ１４）生成部１４０は、ポインティング情報が示すアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれるものとする。
（ステップＳ１４）生成部１４０は、ポインティング情報が示すアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれるものとする。
【0031】
（ステップＳ１５）取得部１２０は、音声信号をマイク３４０から取得する。
（ステップＳ１６）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、ポインティング情報が示すアバタ用の声色に変換する。これにより、変換後音声信号が生成される。このように、発話担当アバタの切替が決定されることで、新しい発話担当アバタ用の声色の音声信号である変換後音声信号が生成される。
（ステップＳ１６）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、ポインティング情報が示すアバタ用の声色に変換する。これにより、変換後音声信号が生成される。このように、発話担当アバタの切替が決定されることで、新しい発話担当アバタ用の声色の音声信号である変換後音声信号が生成される。
【0032】
（ステップＳ１７）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
聴講者装置２００は、当該画面がディスプレイ４００に表示されるための制御を行う。また、聴講者装置２００は、変換後音声信号に基づく音が、スピーカ４１０とスピーカ４１１とのうちの少なくとも１つから出力されるための制御を行う。
これにより、聴講者は、ディスプレイ４００に表示された当該画面を見ながら、ポインティング情報が示すアバタによる、変換後音声信号に基づく発話を聞くことができる。
また、ステップＳ１４は、ステップＳ１６の後に実行されてもよい。
聴講者装置２００は、当該画面がディスプレイ４００に表示されるための制御を行う。また、聴講者装置２００は、変換後音声信号に基づく音が、スピーカ４１０とスピーカ４１１とのうちの少なくとも１つから出力されるための制御を行う。
これにより、聴講者は、ディスプレイ４００に表示された当該画面を見ながら、ポインティング情報が示すアバタによる、変換後音声信号に基づく発話を聞くことができる。
また、ステップＳ１４は、ステップＳ１６の後に実行されてもよい。
【0033】
次に、通信システムで行われる処理を、具体例を用いて説明する。
図６は、実施の形態１の通信システムで行われる処理の具体例を示す図である。まず、アバタ４０１が発話担当アバタであるものとする。聴講者は、アバタ４０１の発話を聞く。
図６は、実施の形態１の通信システムで行われる処理の具体例を示す図である。まず、アバタ４０１が発話担当アバタであるものとする。聴講者は、アバタ４０１の発話を聞く。
【0034】
発表者は、マウス３１０を用いて、ディスプレイ３００に表示されているアバタ４０２をポインティングする。発表者装置１００は、発話担当アバタをアバタ４０１からアバタ４０２に切り替えることを決定する。発表者は、アバタ４０１の発話内容の要約を発話する。発表者装置１００は、音声信号を取得する。発表者装置１００は、音声信号に基づく変換後音声信号と画面とを聴講者装置２００に送信する。
【0035】
これにより、ディスプレイ４００には、当該画面が表示される。また、聴講者は、アバタ４０２の発話を聞くことができる。なお、アバタ４０２の声色は、アバタ４０１の声色と異なる。
【0036】
実施の形態１によれば、例えば、発表者がマウス３１０を用いてアバタ４０２をポインティングすることで、発話担当アバタが、アバタ４０１からアバタ４０２に切り替わる。このように、発表者の意図に従って、発話担当アバタが、切り替わる。よって、発表者装置１００は、発表者の意図に従って、任意のアバタに発話を行わせることができる。また、アバタが切り替わることで、発表が分かりやすくなる。
【0037】
発表者装置１００は、次の処理を実行してもよい。取得部１２０は、発表者によってマウス３１０又はキーボード３２０が操作されていることを示す操作情報を取得する。例えば、取得部１２０は、操作情報を記憶部１１０から取得する。取得部１２０は、操作情報とアバタとの対応関係を示す関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置（例えば、クラウドサーバ）から取得する。なお、関係テーブルは、関係情報と呼んでもよい。また、関係テーブルに含まれる操作情報は、操作履歴に基づいて作成されてもよい。関係テーブルは、マウス３１０の操作とキーボード３２０の操作との組合せと、アバタとの対応関係を示してもよい。切替制御部１３０は、関係テーブルに基づいて、操作情報に対応するアバタ（例えば、アバタ４０１）を特定する。切替制御部１３０は、発話担当アバタ（例えば、アバタ４０２）と、特定されたアバタ（例えば、アバタ４０１）が異なることを特定する。切替制御部１３０は、発話担当アバタの切替を決定する。生成部１４０は、特定されたアバタ（例えば、アバタ４０１）を含む画面を生成する。取得部１２０は、音声信号をマイク３４０から取得する。声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0038】
発表者装置１００は、次の処理を実行してもよい。取得部１２０は、発表者によってマウス３１０又はキーボード３２０が予め設定された時間、操作されていないことを示す無操作情報を取得する。例えば、取得部１２０は、無操作情報を記憶部１１０から取得する。取得部１２０は、無操作情報とアバタとの対応関係を示す関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置から取得する。なお、関係テーブルは、関係情報と呼んでもよい。切替制御部１３０は、関係テーブルに基づいて、無操作情報に対応するアバタ（例えば、アバタ４０２）を特定する。切替制御部１３０は、発話担当アバタ（例えば、アバタ４０１）と、特定されたアバタ（例えば、アバタ４０２）が異なることを特定する。切替制御部１３０は、発話担当アバタの切替を決定する。生成部１４０は、特定されたアバタ（例えば、アバタ４０２）を含む画面を生成する。取得部１２０は、音声信号をマイク３４０から取得する。声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0039】
生成部１４０は、発話担当アバタの発話内容が表示されている画面を生成してもよい。例えば、生成部１４０は、図６のように、アバタ４０２の発話内容である“つまり、ｙｙｙということですね。”という文字が表示されている画面を生成する。また、生成部１４０は、文字の色及び文字のフォントをアバタごとに変える。このように、ディスプレイ４００に文字が表示されることで、聴講者は、アバタ４０２の発話内容を、視覚を通して認識することができる。
【0040】
通信制御部１６０は、発話担当アバタ（例えば、アバタ４０２）の位置に音像が形成されるように、聴講者装置２００を制御してもよい。例えば、通信制御部１６０は、音像の形成指示を聴講者装置２００に送信する。聴講者装置２００は、発話担当アバタの位置に音像が形成されるように、スピーカ４１０とスピーカ４１１とを制御する。このように、発話担当アバタの位置に音像が形成されることで、聴講者は、発話担当アバタが本当に話しているように感じることができる。
【0041】
生成部１４０は、画面に表示されるアバタの数を変更してもよい。詳細には、生成部１４０は、発表者の発表中に、画面に表示されるアバタの数を変更してもよい。例えば、アバタ４０２が発話担当アバタである場合、生成部１４０は、アバタ４０２のみが表示されている画面を生成する。すなわち、アバタ４０１は、画面に表示されない。これにより、聴講者は、どのアバタを注目して話を聞いたらよいのか分かる。そのため、聴講者の集中度が向上される。
【0042】
実施の形態１では、発話担当アバタの切替判定で用いられる情報として、ポインティング情報を例示した。実施の形態１の変形例１～４では、当該情報がポインティング情報以外である場合を説明する。
【0043】
実施の形態１の変形例１．
図７は、実施の形態１の変形例１の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ２１）取得部１２０は、キーボードボタン情報を取得する。例えば、取得部１２０は、キーボードボタン情報を記憶部１１０から取得する。なお、キーボードボタン情報は、発表者があるキーボードボタンを押下したことを示す情報である。例えば、当該キーボードボタンは、キーボード３２０のＳＰＡＣＥキーである。ここで、当該キーボードボタンは、第１のキーボードボタンとも言う。
図７は、実施の形態１の変形例１の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ２１）取得部１２０は、キーボードボタン情報を取得する。例えば、取得部１２０は、キーボードボタン情報を記憶部１１０から取得する。なお、キーボードボタン情報は、発表者があるキーボードボタンを押下したことを示す情報である。例えば、当該キーボードボタンは、キーボード３２０のＳＰＡＣＥキーである。ここで、当該キーボードボタンは、第１のキーボードボタンとも言う。
【0044】
（ステップＳ２２）取得部１２０は、関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置から取得する。なお、関係テーブルは、関係情報と呼んでもよい。ここで、関係テーブルを具体的に説明する。
【0045】
図８は、実施の形態１の変形例１の関係テーブルの例を示す図である。例えば、関係テーブル１１１は、記憶部１１０に格納されている。関係テーブル１１１は、キーボードボタンとアバタとの項目を有する。このように、関係テーブル１１１は、キーボードボタンとアバタとの対応関係を示す。例えば、図８のアバタＡは、アバタ４０１である。図８のアバタＢは、アバタ４０２である。
【0046】
（ステップＳ２３）切替制御部１３０は、キーボードボタン情報と関係テーブル１１１とに基づいて、キーボードボタン情報が示すキーボードボタン（例えば、ＳＰＡＣＥキー）に対応するアバタ（例えば、アバタＢであるアバタ４０２）を特定する。
【0047】
（ステップＳ２４）切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが同じであるか否かを判定する。条件を満たす場合、処理は、終了する。条件を満たさない場合、切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが異なることを特定する。そして、処理は、ステップＳ２５に進む。
【0048】
（ステップＳ２５）切替制御部１３０は、発話担当アバタの切替を決定する。
（ステップＳ２６）生成部１４０は、特定されたアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳ２６）生成部１４０は、特定されたアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
【0049】
（ステップＳ２７）取得部１２０は、音声信号をマイク３４０から取得する。
（ステップＳ２８）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳ２９）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ２６は、ステップＳ２８の後に実行されてもよい。
（ステップＳ２８）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳ２９）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ２６は、ステップＳ２８の後に実行されてもよい。
【0050】
実施の形態１の変形例１によれば、発表者装置１００は、任意のアバタに発話を行わせることができる。
【0051】
実施の形態１の変形例２．
図９は、実施の形態１の変形例２の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ３１）取得部１２０は、発表者の目を含む映像（すなわち、複数の画像）を取得する。例えば、取得部１２０は、当該映像を撮像装置３３０から取得する。また、当該映像は、発表者の顔の映像でもよい。
図９は、実施の形態１の変形例２の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ３１）取得部１２０は、発表者の目を含む映像（すなわち、複数の画像）を取得する。例えば、取得部１２０は、当該映像を撮像装置３３０から取得する。また、当該映像は、発表者の顔の映像でもよい。
【0052】
（ステップＳ３２）取得部１２０は、関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置から取得する。なお、関係テーブルは、関係情報と呼んでもよい。ここで、関係テーブルを具体的に説明する。
【0053】
図１０は、実施の形態１の変形例２の関係テーブルの例を示す図である。例えば、関係テーブル１１１ａは、記憶部１１０に格納されている。関係テーブル１１１ａは、視線とアバタとの項目を有する。このように、関係テーブル１１１ａは、視線とアバタとの対応関係を示す。例えば、図１０のアバタＡは、アバタ４０１である。図１０のアバタＢは、アバタ４０２である。
【0054】
なお、図１０の関係テーブル１１１ａは、一例である。例えば、関係テーブル１１１ａには、左右方向とアバタＡとの対応関係を示す情報が登録されてもよい。例えば、関係テーブル１１１ａには、上下方向とアバタＢとの対応関係を示す情報が登録されてもよい。
【0055】
（ステップＳ３３）切替制御部１３０は、当該映像に基づいて、発表者の視線を解析する。例えば、切替制御部１３０は、当該映像とアイトラッキングとを用いて、発表者の視線を解析する。
例えば、切替制御部１３０は、解析により、右方向を検出する。当該解析の結果は、発表者がアバタ４０２を注視していることを示している。
例えば、切替制御部１３０は、解析により、右方向を検出する。当該解析の結果は、発表者がアバタ４０２を注視していることを示している。
【0056】
（ステップＳ３４）切替制御部１３０は、関係テーブル１１１ａに基づいて、発表者の視線に対応するアバタを特定する。例えば、解析の結果が右方向である場合、切替制御部１３０は、関係テーブル１１１ａに基づいて、アバタＢ（すなわち、アバタ４０２）を特定する。
【0057】
（ステップＳ３５）切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが同じであるか否かを判定する。条件を満たす場合、処理は、終了する。条件を満たさない場合、切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが異なることを特定する。そして、処理は、ステップＳ３６に進む。
（ステップＳ３６）切替制御部１３０は、発話担当アバタの切替を決定する。
（ステップＳ３７）生成部１４０は、特定されたアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳ３６）切替制御部１３０は、発話担当アバタの切替を決定する。
（ステップＳ３７）生成部１４０は、特定されたアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
【0058】
（ステップＳ３８）取得部１２０は、音声信号をマイク３４０から取得する。
（ステップＳ３９）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳ４０）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ３２は、ステップＳ３３の後に実行されてもよい。ステップＳ３７は、ステップＳ３９の後に実行されてもよい。
（ステップＳ３９）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳ４０）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ３２は、ステップＳ３３の後に実行されてもよい。ステップＳ３７は、ステップＳ３９の後に実行されてもよい。
【0059】
実施の形態１の変形例２によれば、発表者装置１００は、任意のアバタに発話を行わせることができる。
【0060】
また、取得部１２０は、映像と発表者の目の位置情報とを取得してもよい。例えば、当該位置情報は、赤外線を用いることで、取得される。切替制御部１３０は、当該映像と当該位置情報とに基づいて、発表者の視線を解析する。切替制御部１３０は、当該位置情報を追加して、発表者の視線を解析することで、精度の高い解析結果を得ることができる。
【0061】
実施の形態１の変形例３．
実施の形態１の変形例３では、音声信号を用いて、発話担当アバタを切り替える場合を説明する。ここで、発表者は、発話させるアバタごとに声色を変える。例えば、発話担当アバタがアバタ４０１である場合、発表者は、裏声で発話する。発話担当アバタがアバタ４０２である場合、発表者は、低い声色で発話する。
実施の形態１の変形例３では、音声信号を用いて、発話担当アバタを切り替える場合を説明する。ここで、発表者は、発話させるアバタごとに声色を変える。例えば、発話担当アバタがアバタ４０１である場合、発表者は、裏声で発話する。発話担当アバタがアバタ４０２である場合、発表者は、低い声色で発話する。
【0062】
以下、具体的に、発表者装置１００が実行する処理を説明する。
図１１は、実施の形態１の変形例３の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ４１）取得部１２０は、音声信号をマイク３４０から取得する。
（ステップＳ４２）取得部１２０は、関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置から取得する。なお、関係テーブルは、関係情報と呼んでもよい。ここで、関係テーブルを具体的に説明する。
図１１は、実施の形態１の変形例３の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ４１）取得部１２０は、音声信号をマイク３４０から取得する。
（ステップＳ４２）取得部１２０は、関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置から取得する。なお、関係テーブルは、関係情報と呼んでもよい。ここで、関係テーブルを具体的に説明する。
【0063】
図１２は、実施の形態１の変形例３の関係テーブルの例を示す図である。例えば、関係テーブル１１１ｂは、記憶部１１０に格納されている。関係テーブル１１１ｂは、声色とアバタとの項目を有する。このように、関係テーブル１１１ｂは、声色とアバタとの対応関係を示す。例えば、図１２のアバタＡは、アバタ４０１である。図１２のアバタＢは、アバタ４０２である。
【0064】
（ステップＳ４３）切替制御部１３０は、音声信号に基づいて、音声特徴量を抽出する。
（ステップＳ４４）切替制御部１３０は、音声特徴量を用いて、発表者の音声の声色を特定する。例えば、切替制御部１３０は、音声特徴量とファルセット検出技術とを用いて、裏声を特定する。
（ステップＳ４５）切替制御部１３０は、関係テーブル１１１ｂに基づいて、特定された声色に対応するアバタを特定する。
（ステップＳ４４）切替制御部１３０は、音声特徴量を用いて、発表者の音声の声色を特定する。例えば、切替制御部１３０は、音声特徴量とファルセット検出技術とを用いて、裏声を特定する。
（ステップＳ４５）切替制御部１３０は、関係テーブル１１１ｂに基づいて、特定された声色に対応するアバタを特定する。
【0065】
（ステップＳ４６）切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが同じであるか否かを判定する。条件を満たす場合、処理は、終了する。条件を満たさない場合、切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが異なることを特定する。そして、処理は、ステップＳ４７に進む。
【0066】
（ステップＳ４７）切替制御部１３０は、発話担当アバタの切替を決定する。
（ステップＳ４８）生成部１４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳ４８）生成部１４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
【0067】
（ステップＳ４９）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳ５０）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ４２は、ステップＳ４４の後に実行されてもよい。ステップＳ４８は、ステップＳ４９の後に実行されてもよい。
（ステップＳ５０）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ４２は、ステップＳ４４の後に実行されてもよい。ステップＳ４８は、ステップＳ４９の後に実行されてもよい。
【0068】
実施の形態１の変形例３によれば、発表者装置１００は、任意のアバタに発話を行わせることができる。
【0069】
発表者装置１００は、次の処理を実行してもよい。まず、発表者は、発話させるアバタごとに話し方を変える。例えば、発話担当アバタがアバタ４０１である場合、発表者は、丁寧な言葉を使って話す。発話担当アバタがアバタ４０２である場合、発表者は、フレンドリーな話し方を行う。また、例えば、発話担当アバタがアバタ４０１である場合、発表者は、標準語で話す。発話担当アバタがアバタ４０２である場合、発表者は、方言で話す。取得部１２０は、音声信号を取得する。取得部１２０は、関係テーブルを取得する。当該関係テーブルは、話し方とアバタとの対応関係を示す情報である。切替制御部１３０は、音声信号に基づいて、発表者の発話内容を検出する。切替制御部１３０は、発話内容を検出する場合、公知の音声認識技術を用いて、発話内容を検出する。切替制御部１３０は、発話内容に基づいて、話し方を特定する。例えば、切替制御部１３０は、発話内容の語尾に基づいて、発表者が丁寧な言葉を使って話しているか否かを特定する。切替制御部１３０は、関係テーブルに基づいて、特定された話し方に対応するアバタを特定する。アバタが特定された後、発表者装置１００は、ステップＳ４６～Ｓ５０を実行する。
【0070】
実施の形態１の変形例４．
図１３は、実施の形態１の変形例４の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ５１）取得部１２０は、音声信号をマイク３４０から取得する。
（ステップＳ５２）取得部１２０は、関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置から取得する。なお、関係テーブルは、関係情報と呼んでもよい。ここで、関係テーブルを具体的に説明する。
図１３は、実施の形態１の変形例４の発表者装置が実行する処理の例を示すフローチャートである。
（ステップＳ５１）取得部１２０は、音声信号をマイク３４０から取得する。
（ステップＳ５２）取得部１２０は、関係テーブルを取得する。例えば、取得部１２０は、関係テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、関係テーブルを外部装置から取得する。なお、関係テーブルは、関係情報と呼んでもよい。ここで、関係テーブルを具体的に説明する。
【0071】
図１４は、実施の形態１の変形例４の関係テーブルの例を示す図である。例えば、関係テーブル１１１ｃは、記憶部１１０に格納されている。関係テーブル１１１ｃは、シナリオとアバタとの項目を有する。このように、関係テーブル１１１ｃは、シナリオとアバタとの対応関係を示す。例えば、図１４のアバタＡは、アバタ４０１である。図１４のアバタＢは、アバタ４０２である。
【0072】
（ステップＳ５３）切替制御部１３０は、音声信号に基づいて、発表者の発話内容を検出する。
（ステップＳ５４）切替制御部１３０は、関係テーブル１１１ｃに基づいて、特定された発話内容に対応するアバタを特定する。例えば、特定された発話内容が“つまり、ｙｙｙということですね。”である場合、切替制御部１３０は、アバタＢ（すなわち、アバタ４０２）を特定する。
（ステップＳ５４）切替制御部１３０は、関係テーブル１１１ｃに基づいて、特定された発話内容に対応するアバタを特定する。例えば、特定された発話内容が“つまり、ｙｙｙということですね。”である場合、切替制御部１３０は、アバタＢ（すなわち、アバタ４０２）を特定する。
【0073】
（ステップＳ５５）切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが同じであるか否かを判定する。条件を満たす場合、処理は、終了する。条件を満たさない場合、切替制御部１３０は、現在の発話担当アバタと、特定されたアバタとが異なることを特定する。そして、処理は、ステップＳ５６に進む。
【0074】
（ステップＳ５６）切替制御部１３０は、発話担当アバタの切替を決定する。
（ステップＳ５７）生成部１４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳ５７）生成部１４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
【0075】
（ステップＳ５８）声色変換部１５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳ５９）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ５２は、ステップＳ５３の後に実行されてもよい。ステップＳ５７は、ステップＳ５８の後に実行されてもよい。
（ステップＳ５９）通信制御部１６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
また、ステップＳ５２は、ステップＳ５３の後に実行されてもよい。ステップＳ５７は、ステップＳ５８の後に実行されてもよい。
【0076】
実施の形態１の変形例４によれば、発表者装置１００は、任意のアバタに発話を行わせることができる。
【0077】
実施の形態２．
次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。
実施の形態１では、発表者装置１００が発話担当の切替を行う場合を説明した。実施の形態２では、サーバが発話担当の切替を行う場合を説明する。
次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。
実施の形態１では、発表者装置１００が発話担当の切替を行う場合を説明した。実施の形態２では、サーバが発話担当の切替を行う場合を説明する。
【0078】
図１５は、実施の形態２の通信システムを示す図である。通信システムは、サーバ５００、発表者装置６００、及び聴講者装置２００を含む。サーバ５００、発表者装置６００、及び聴講者装置２００は、ネットワークを介して、通信する。
【0079】
サーバ５００は、情報処理装置とも言う。例えば、サーバ５００は、クラウドサーバである。サーバ５００は、制御方法を実行する装置である。サーバ５００は、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。サーバ５００は、処理回路を有してもよい。
【0080】
発表者装置６００は、発表者が用いる装置である。例えば、発表者装置６００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。発表者装置６００は、ディスプレイを有する。また、発表者装置６００には、ディスプレイが接続されてもよい。
発表者は、発表者装置６００のディスプレイに表示された画面を見ながら、プレゼンテーション、オンラインの講演などを行う。実施の形態１と同じように、当該画面は、ディスプレイ４００にも表示されている。
発表者は、発表者装置６００のディスプレイに表示された画面を見ながら、プレゼンテーション、オンラインの講演などを行う。実施の形態１と同じように、当該画面は、ディスプレイ４００にも表示されている。
【0081】
次に、サーバ５００が有する機能を説明する。
図１６は、実施の形態２のサーバが有する機能のブロック図である。サーバ５００は、記憶部５１０、取得部５２０、切替制御部５３０、生成部５４０、声色変換部５５０、及び通信制御部５６０を有する。
図１６は、実施の形態２のサーバが有する機能のブロック図である。サーバ５００は、記憶部５１０、取得部５２０、切替制御部５３０、生成部５４０、声色変換部５５０、及び通信制御部５６０を有する。
【0082】
記憶部５１０は、サーバ５００が有する揮発性記憶装置又は不揮発性記憶装置に確保した記憶領域として実現してもよい。
取得部５２０、切替制御部５３０、生成部５４０、声色変換部５５０、及び通信制御部５６０の一部又は全部は、サーバ５００が有する処理回路によって実現してもよい。また、取得部５２０、切替制御部５３０、生成部５４０、声色変換部５５０、及び通信制御部５６０の一部又は全部は、サーバ５００が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、当該プロセッサが実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。
取得部５２０、切替制御部５３０、生成部５４０、声色変換部５５０、及び通信制御部５６０の一部又は全部は、サーバ５００が有する処理回路によって実現してもよい。また、取得部５２０、切替制御部５３０、生成部５４０、声色変換部５５０、及び通信制御部５６０の一部又は全部は、サーバ５００が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、当該プロセッサが実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。
【0083】
記憶部５１０は、様々な情報を記憶する。
取得部５２０は、発話担当アバタの切替判定で用いられる情報を取得する。具体的には、当該情報は、ポインティング情報である。
取得部５２０は、音声信号を取得する。例えば、取得部５２０は、音声信号を発表者装置６００から取得する。なお、音声信号は、発表者の音声の信号である。
取得部５２０は、発話担当アバタの切替判定で用いられる情報を取得する。具体的には、当該情報は、ポインティング情報である。
取得部５２０は、音声信号を取得する。例えば、取得部５２０は、音声信号を発表者装置６００から取得する。なお、音声信号は、発表者の音声の信号である。
【0084】
切替制御部５３０は、ポインティング情報に基づいて、発話担当アバタの切替を決定する。
生成部５４０は、新しい発話担当アバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれていてもよい。
生成部５４０は、新しい発話担当アバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれていてもよい。
【0085】
声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、新しい発話担当アバタ用の声色に変換する。
通信制御部５６０は、声色の変換によって得られた変換後音声信号と画面とを聴講者装置２００に送信する。
通信制御部５６０は、声色の変換によって得られた変換後音声信号と画面とを聴講者装置２００に送信する。
【0086】
次に、通信システムで実行される処理を、シーケンス図を用いて、説明する。
図１７は、実施の形態２の通信システムで実行される処理の例を示すシーケンス図である。上述したように、サーバ５００は、発表者装置１００と同様の処理を行う。そのため、詳細な説明は、省略する。
（ステップＳＴ１０１）発表者装置６００は、ポインティング情報をサーバ５００に送信する。例えば、ポインティング情報は、アバタ（例えば、アバタ４０２）がポインティングされたことを示す情報である。
ポインティング情報は、取得部５２０に取得される。
図１７は、実施の形態２の通信システムで実行される処理の例を示すシーケンス図である。上述したように、サーバ５００は、発表者装置１００と同様の処理を行う。そのため、詳細な説明は、省略する。
（ステップＳＴ１０１）発表者装置６００は、ポインティング情報をサーバ５００に送信する。例えば、ポインティング情報は、アバタ（例えば、アバタ４０２）がポインティングされたことを示す情報である。
ポインティング情報は、取得部５２０に取得される。
【0087】
（ステップＳＴ１０２）切替制御部５３０は、現在の発話担当アバタとポインティング情報が示すアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
（ステップＳＴ１０３）生成部５４０は、ポインティング情報が示すアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれてもよい。
（ステップＳＴ１０３）生成部５４０は、ポインティング情報が示すアバタ（例えば、アバタ４０２）を含む画面を生成する。また、当該画面には、古い発話担当アバタ（例えば、アバタ４０１）が含まれてもよい。
【0088】
（ステップＳＴ１０４）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
（ステップＳＴ１０５）声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、ポインティング情報が示すアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
音声信号は、取得部５２０に取得される。
（ステップＳＴ１０５）声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、ポインティング情報が示すアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
【0089】
（ステップＳＴ１０６）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
これにより、聴講者は、ディスプレイ４００に表示された当該画面を見ながら、ポインティング情報が示すアバタによる、変換後音声信号に基づく発話を聞くことができる。
これにより、聴講者は、ディスプレイ４００に表示された当該画面を見ながら、ポインティング情報が示すアバタによる、変換後音声信号に基づく発話を聞くことができる。
【0090】
実施の形態２によれば、サーバ５００は、発表者の意図に従って、任意のアバタに発話を行わせることができる。
【0091】
サーバ５００は、次の処理を実行してもよい。例えば、取得部５２０は、操作情報を発表者装置６００から取得する。なお、操作情報は、発表者によってマウス又はキーボードが操作されていることを示す情報である。取得部５２０は、操作情報とアバタとの対応関係を示す関係テーブルを取得する。例えば、取得部５２０は、関係テーブルを記憶部５１０から取得する。切替制御部５３０は、関係テーブルに基づいて、操作情報に対応するアバタを特定する。切替制御部５３０は、発話担当アバタと、特定されたアバタが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。生成部５４０は、特定されたアバタを含む画面を生成する。例えば、取得部５２０は、音声信号を発表者装置６００から取得する。声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0092】
サーバ５００は、次の処理を実行してもよい。例えば、取得部５２０は、無操作情報を発表者装置６００から取得する。なお、無操作情報は、発表者によってマウス又はキーボードが予め設定された時間、操作されていないことを示す情報である。取得部５２０は、無操作情報とアバタとの対応関係を示す関係テーブルを取得する。例えば、取得部５２０は、関係テーブルを記憶部５１０から取得する。切替制御部５３０は、関係テーブルに基づいて、無操作情報に対応するアバタを特定する。切替制御部５３０は、発話担当アバタと、特定されたアバタが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。生成部５４０は、特定されたアバタを含む画面を生成する。例えば、取得部５２０は、音声信号を発表者装置６００から取得する。声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0093】
生成部５４０は、発話担当アバタの発話内容が表示されている画面を生成してもよい。また、生成部５４０は、画面に表示されるアバタの数を変更してもよい。
通信制御部５６０は、発話担当アバタの位置に音像が形成されるように、聴講者装置２００を制御してもよい。例えば、通信制御部５６０は、音像の形成指示を聴講者装置２００に送信する。聴講者装置２００は、発話担当アバタの位置に音像が形成されるように、スピーカ４１０とスピーカ４１１とを制御する。
通信制御部５６０は、発話担当アバタの位置に音像が形成されるように、聴講者装置２００を制御してもよい。例えば、通信制御部５６０は、音像の形成指示を聴講者装置２００に送信する。聴講者装置２００は、発話担当アバタの位置に音像が形成されるように、スピーカ４１０とスピーカ４１１とを制御する。
【0094】
実施の形態２の変形例１．
実施の形態２の変形例１では、実施の形態１の変形例１と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図１８は、実施の形態２の変形例１の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１１１）発表者装置６００は、キーボードボタン情報をサーバ５００に送信する。キーボードボタン情報は、発表者があるキーボードボタンを押下したことを示す情報である。当該キーボードボタンは、第１のキーボードボタンとも言う。
キーボードボタン情報は、取得部５２０に取得される。
実施の形態２の変形例１では、実施の形態１の変形例１と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図１８は、実施の形態２の変形例１の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１１１）発表者装置６００は、キーボードボタン情報をサーバ５００に送信する。キーボードボタン情報は、発表者があるキーボードボタンを押下したことを示す情報である。当該キーボードボタンは、第１のキーボードボタンとも言う。
キーボードボタン情報は、取得部５２０に取得される。
【0095】
（ステップＳＴ１１２）取得部５２０は、関係テーブル１１１を取得する。例えば、取得部５２０は、関係テーブル１１１を記憶部５１０から取得する。また、例えば、取得部５２０は、サーバ５００に接続可能な外部装置から関係テーブル１１１を取得する。関係テーブル１１１は、キーボードボタンとアバタとの対応関係を示す。
【0096】
（ステップＳＴ１１３）切替制御部５３０は、キーボードボタン情報と関係テーブル１１１とに基づいて、キーボードボタン情報が示すキーボードボタンに対応するアバタを特定する。
（ステップＳＴ１１４）切替制御部５３０は、現在の発話担当アバタと特定されたアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
（ステップＳＴ１１４）切替制御部５３０は、現在の発話担当アバタと特定されたアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
【0097】
（ステップＳＴ１１５）生成部５４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳＴ１１６）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
（ステップＳＴ１１６）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
【0098】
（ステップＳＴ１１７）声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳＴ１１８）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
（ステップＳＴ１１８）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0099】
実施の形態２の変形例１によれば、サーバ５００は、任意のアバタに発話を行わせることができる。
【0100】
実施の形態２の変形例２．
実施の形態２の変形例２では、実施の形態１の変形例２と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図１９は、実施の形態２の変形例２の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１２１）発表者装置６００は、発表者の目を含む映像をサーバ５００に送信する。また、当該映像は、発表者の顔の映像でもよい。
当該映像は、取得部５２０に取得される。
実施の形態２の変形例２では、実施の形態１の変形例２と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図１９は、実施の形態２の変形例２の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１２１）発表者装置６００は、発表者の目を含む映像をサーバ５００に送信する。また、当該映像は、発表者の顔の映像でもよい。
当該映像は、取得部５２０に取得される。
【0101】
（ステップＳＴ１２２）取得部５２０は、関係テーブル１１１ａを取得する。例えば、取得部５２０は、関係テーブル１１１ａを記憶部５１０から取得する。また、例えば、取得部５２０は、関係テーブル１１１ａを外部装置から取得する。関係テーブル１１１ａは、視線とアバタとの対応関係を示す。
【0102】
（ステップＳＴ１２３）切替制御部５３０は、当該映像に基づいて、発表者の視線を解析する。
（ステップＳＴ１２４）切替制御部５３０は、関係テーブル１１１ａに基づいて、発表者の視線に対応するアバタを特定する。
（ステップＳＴ１２５）切替制御部５３０は、現在の発話担当アバタと特定されたアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
（ステップＳＴ１２４）切替制御部５３０は、関係テーブル１１１ａに基づいて、発表者の視線に対応するアバタを特定する。
（ステップＳＴ１２５）切替制御部５３０は、現在の発話担当アバタと特定されたアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
【0103】
（ステップＳＴ１２６）生成部５４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳＴ１２７）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
（ステップＳＴ１２７）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
【0104】
（ステップＳＴ１２８）声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳＴ１２９）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
（ステップＳＴ１２９）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0105】
実施の形態２の変形例２によれば、サーバ５００は、任意のアバタに発話を行わせることができる。
【0106】
また、取得部５２０は、映像と発表者の目の位置情報とを発表者装置６００から取得してもよい。切替制御部５３０は、当該映像と当該位置情報とに基づいて、発表者の視線を解析する。切替制御部５３０は、当該位置情報を追加して、発表者の視線を解析することで、精度の高い解析結果を得ることができる。
【0107】
実施の形態２の変形例３．
実施の形態２の変形例３では、実施の形態１の変形例３と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図２０は、実施の形態２の変形例３の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１３１）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
実施の形態２の変形例３では、実施の形態１の変形例３と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図２０は、実施の形態２の変形例３の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１３１）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
【0108】
（ステップＳＴ１３２）取得部５２０は、関係テーブル１１１ｂを取得する。例えば、取得部５２０は、関係テーブル１１１ｂを記憶部５１０から取得する。また、例えば、取得部５２０は、関係テーブル１１１ｂを外部装置から取得する。関係テーブル１１１ｂは、声色とアバタとの対応関係を示す。
【0109】
（ステップＳＴ１３３）切替制御部５３０は、音声信号に基づいて、音声特徴量を抽出する。
（ステップＳＴ１３４）切替制御部５３０は、音声特徴量を用いて、発表者の音声の声色を特定する。
（ステップＳＴ１３５）切替制御部５３０は、関係テーブル１１１ｂに基づいて、特定された声色に対応するアバタを特定する。
（ステップＳＴ１３４）切替制御部５３０は、音声特徴量を用いて、発表者の音声の声色を特定する。
（ステップＳＴ１３５）切替制御部５３０は、関係テーブル１１１ｂに基づいて、特定された声色に対応するアバタを特定する。
【0110】
（ステップＳＴ１３６）切替制御部５３０は、現在の発話担当アバタと特定されたアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
（ステップＳＴ１３７）生成部５４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳＴ１３７）生成部５４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
【0111】
（ステップＳＴ１３８）声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳＴ１３９）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
（ステップＳＴ１３９）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0112】
実施の形態２の変形例３によれば、サーバ５００は、任意のアバタに発話を行わせることができる。
【0113】
サーバ５００は、次の処理を実行してもよい。取得部５２０は、音声信号を取得する。取得部５２０は、関係テーブルを取得する。当該関係テーブルは、話し方とアバタとの対応関係を示す情報である。切替制御部５３０は、音声信号に基づいて、発表者の発話内容を検出する。切替制御部５３０は、発話内容に基づいて、話し方を特定する。切替制御部５３０は、関係テーブルに基づいて、特定された話し方に対応するアバタを特定する。アバタが特定された後、サーバ５００は、ステップＳＴ１３６～１３９を実行する。
【0114】
実施の形態２の変形例４．
実施の形態２の変形例４では、実施の形態１の変形例４と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図２１は、実施の形態２の変形例４の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１４１）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
実施の形態２の変形例４では、実施の形態１の変形例４と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
図２１は、実施の形態２の変形例４の通信システムで実行される処理の例を示すシーケンス図である。
（ステップＳＴ１４１）発表者装置６００は、発表者の音声の信号である音声信号をサーバ５００に送信する。
音声信号は、取得部５２０に取得される。
【0115】
（ステップＳＴ１４２）取得部５２０は、関係テーブル１１１ｃを取得する。例えば、取得部５２０は、関係テーブル１１１ｃを記憶部５１０から取得する。また、例えば、取得部５２０は、関係テーブル１１１ｃを外部装置から取得する。関係テーブル１１１ｃは、シナリオとアバタとの対応関係を示す。
【0116】
（ステップＳＴ１４３）切替制御部５３０は、音声信号に基づいて、発表者の発話内容を検出する。
（ステップＳＴ１４４）切替制御部５３０は、関係テーブル１１１ｃに基づいて、特定された発話内容に対応するアバタを特定する。
（ステップＳＴ１４５）切替制御部５３０は、現在の発話担当アバタと特定されたアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
（ステップＳＴ１４４）切替制御部５３０は、関係テーブル１１１ｃに基づいて、特定された発話内容に対応するアバタを特定する。
（ステップＳＴ１４５）切替制御部５３０は、現在の発話担当アバタと特定されたアバタとが異なることを特定する。切替制御部５３０は、発話担当アバタの切替を決定する。
【0117】
（ステップＳＴ１４６）生成部５４０は、特定されたアバタを含む画面を生成する。また、当該画面には、特定されたアバタ以外のアバタが含まれてもよい。
（ステップＳＴ１４７）声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳＴ１４８）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
（ステップＳＴ１４７）声色変換部５５０は、音声信号に基づいて、発表者の音声の声色を、特定されたアバタ用の声色に変換する。これにより、変換後音声信号が生成される。
（ステップＳＴ１４８）通信制御部５６０は、変換後音声信号と画面とを聴講者装置２００に送信する。
【0118】
実施の形態２の変形例４によれば、サーバ５００は、任意のアバタに発話を行わせることができる。
【0119】
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
【符号の説明】
【0120】
１００ 発表者装置、 １０１ プロセッサ、 １０２ 揮発性記憶装置、 １０３ 不揮発性記憶装置、 １１０ 記憶部、 １１１，１１１ａ，１１１ｂ，１１１ｃ 関係テーブル、 １２０ 取得部、 １３０ 切替制御部、 １４０ 生成部、 １５０ 声色変換部、 １６０ 通信制御部、 ２００ 聴講者装置、 ３００ ディスプレイ、 ３１０ マウス、 ３２０ キーボード、 ３３０ 撮像装置、 ３４０ マイク、 ４００ ディスプレイ、 ４０１ アバタ、 ４０２ アバタ、 ４０３ 範囲、 ４１０，４１１ スピーカ、 ５００ サーバ、 ５１０ 記憶部、 ５２０ 取得部、 ５３０ 切替制御部、 ５４０ 生成部、 ５５０ 声色変換部、 ５６０ 通信制御部、 ６００ 発表者装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】