(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024088983
(43)【公開日】2024-07-03
(54)【発明の名称】情報処理システムおよび情報処理方法
(51)【国際特許分類】
G06F 3/16 20060101AFI20240626BHJP
G06F 3/01 20060101ALI20240626BHJP
G10L 21/003 20130101ALI20240626BHJP
H04N 7/14 20060101ALI20240626BHJP
G06T 13/40 20110101ALI20240626BHJP
【ＦＩ】
G06F3/16 540
G06F3/16 620
G06F3/16 610
G06F3/01 510
G10L21/003
H04N7/14
G06T13/40
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022204074
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】521413866
【氏名又は名称】ＡＶＩＴＡ株式会社
(74)【代理人】
【識別番号】100090181
【弁理士】
【氏名又は名称】山田 義人
(74)【代理人】
【識別番号】100168217
【弁理士】
【氏名又は名称】大村 和史
(72)【発明者】
【氏名】西口 昇吾
(72)【発明者】
【氏名】三上 崇志
(72)【発明者】
【氏名】石黒 浩
【テーマコード（参考）】
5B050
5C164
5E555
【Ｆターム（参考）】
5B050AA08
5B050BA12
5B050BA20
5B050CA07
5B050CA08
5B050DA04
5B050FA02
5B050FA10
5C164FA09
5C164FA10
5C164MA03S
5C164PA46
5C164UB90S
5C164VA07S
5C164VA09P
5C164VA13P
5C164VA21S
5E555AA08
5E555AA11
5E555AA27
5E555AA46
5E555BA02
5E555BA03
5E555BA05
5E555BA06
5E555BB02
5E555BB03
5E555BB05
5E555BB06
5E555BC04
5E555BD06
5E555CA24
5E555CA42
5E555CA47
5E555CB02
5E555CB44
5E555CB64
5E555CB66
5E555CB67
5E555CB74
5E555DA01
5E555DA21
5E555DB32
5E555DB39
5E555DB41
5E555DC13
5E555DC84
5E555DC85
5E555EA05
5E555EA11
5E555EA22
5E555EA23
5E555FA00
(57)【要約】 （修正有）
【課題】複数人の操作者がアバターを用いて円滑に応対することができる、情情報処理システムおよび情報処理方法を提供する。
【解決手段】複数の操作者端末１６及びユーザ端末１８と、サーバ１２がネットワーク１４を介して通信可能に構成される情報処理システム１０では、アクティブ状態の１の操作者端末の操作者の操作に従って、ユーザ端末に表示されたアバターの動作及び発話が制御され、アバターを通して操作者とユーザが対話する。アバターの動作は、操作者の映像に基づいて制御される。アバターの音声は、操作者の音声を目標のピッチ及びフォルマントに一致するように変換して生成され、出力される。アバターの音声並びにユーザの映像及び音声は、アクティブ状態の１の操作者端末以外の他の非アクティブ状態の操作者端末の各々にも送信される。
【選択図】図１
【解決手段】複数の操作者端末１６及びユーザ端末１８と、サーバ１２がネットワーク１４を介して通信可能に構成される情報処理システム１０では、アクティブ状態の１の操作者端末の操作者の操作に従って、ユーザ端末に表示されたアバターの動作及び発話が制御され、アバターを通して操作者とユーザが対話する。アバターの動作は、操作者の映像に基づいて制御される。アバターの音声は、操作者の音声を目標のピッチ及びフォルマントに一致するように変換して生成され、出力される。アバターの音声並びにユーザの映像及び音声は、アクティブ状態の１の操作者端末以外の他の非アクティブ状態の操作者端末の各々にも送信される。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の操作者が交代で操作するコンピュータグラフィックスのアバターまたはロボットのアバター、
前記複数の操作者の各々が使用する複数の操作者端末、および
前記複数の操作者端末から前記アバターを操作するアクティブ状態の１の前記操作者端末を選択するサーバを備える、情報処理システムであって、
前記アクティブ状態の１の前記操作者端末は、
当該操作者端末を使用する前記操作者の操作に従って前記アバターの動作を制御する制御信号を前記サーバに送信し、
当該操作者端末が使用する前記操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有する前記アバターの音声を生成して前記サーバに送信し、
前記サーバは、
前記アクティブ状態の１の前記操作者端末からの制御信号に基づいて前記アバターを動作させ、
前記アクティブ状態の１の前記操作者端末からのアバターの音声をユーザに出力し、
前記アバターの音声を前記アクティブ状態の１の前記操作者端末以外の非アクティブ状態の前記操作者端末の各々に送信し、
前記ユーザの音声を前記複数の操作者端末の各々に送信する、情報処理システム。
前記複数の操作者の各々が使用する複数の操作者端末、および
前記複数の操作者端末から前記アバターを操作するアクティブ状態の１の前記操作者端末を選択するサーバを備える、情報処理システムであって、
前記アクティブ状態の１の前記操作者端末は、
当該操作者端末を使用する前記操作者の操作に従って前記アバターの動作を制御する制御信号を前記サーバに送信し、
当該操作者端末が使用する前記操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有する前記アバターの音声を生成して前記サーバに送信し、
前記サーバは、
前記アクティブ状態の１の前記操作者端末からの制御信号に基づいて前記アバターを動作させ、
前記アクティブ状態の１の前記操作者端末からのアバターの音声をユーザに出力し、
前記アバターの音声を前記アクティブ状態の１の前記操作者端末以外の非アクティブ状態の前記操作者端末の各々に送信し、
前記ユーザの音声を前記複数の操作者端末の各々に送信する、情報処理システム。
【請求項2】
前記アクティブ状態の１の前記操作者端末は、当該操作者端末が使用する前記操作者の音声を検出したとき、当該操作者の音声を変換して所定のピッチおよび所定のフォルマントを有する前記アバターの音声を生成して前記サーバに送信する、請求項１記載の情報処理システム。
【請求項3】
前記非アクティブ状態の操作者端末は、当該非アクティブ状態の操作者端末を使用する前記操作者の操作による交代要求を前記サーバに送信し、
前記サーバは、前記非アクティブ状態の前記操作者端末からの交代要求に応じて、前記アクティブ状態の１の前記操作者端末を非アクティブ状態に変更し、前記交代要求の要求元である前記非アクティブ状態の前記操作者端末をアクティブ状態に変更する、請求項１記載の情報処理システム。
前記サーバは、前記非アクティブ状態の前記操作者端末からの交代要求に応じて、前記アクティブ状態の１の前記操作者端末を非アクティブ状態に変更し、前記交代要求の要求元である前記非アクティブ状態の前記操作者端末をアクティブ状態に変更する、請求項１記載の情報処理システム。
【請求項4】
前記非アクティブ状態の操作者端末は、当該非アクティブ状態の操作者端末を使用する前記操作者の音声を検出したとき、検出した当該操作者の音声を前記サーバに送信し、
前記サーバは、前記非アクティブ状態の前記操作者端末からの前記操作者の音声を、当該非アクティブ状態の操作者端末以外の他の前記操作者端末の各々に送信する、請求項１から３までのいずれかに記載の情報処理システム。
前記サーバは、前記非アクティブ状態の前記操作者端末からの前記操作者の音声を、当該非アクティブ状態の操作者端末以外の他の前記操作者端末の各々に送信する、請求項１から３までのいずれかに記載の情報処理システム。
【請求項5】
前記コンピュータグラフィックスのアバターを表示する表示装置を備えるユーザ端末をさらに備え、
前記ユーザ端末を使用する前記ユーザと前記アクティブ状態の１の前記操作者端末の前記操作者は前記サーバを介して文字情報を送受信し、
前記サーバは、前記アクティブ状態の１の前記操作者端末から送信された前記文字情報を、当該アクティブ状態の１の前記操作者端末以外の前記非アクティブ状態の操作者端末の各々にも送信する、請求項１から３までのいずれかに記載の情報処理システム。
前記ユーザ端末を使用する前記ユーザと前記アクティブ状態の１の前記操作者端末の前記操作者は前記サーバを介して文字情報を送受信し、
前記サーバは、前記アクティブ状態の１の前記操作者端末から送信された前記文字情報を、当該アクティブ状態の１の前記操作者端末以外の前記非アクティブ状態の操作者端末の各々にも送信する、請求項１から３までのいずれかに記載の情報処理システム。
【請求項6】
前記サーバは、前記非アクティブ状態の前記操作者端末から送信された前記文字情報を、前記ユーザ端末に送信しないで、当該非アクティブ状態の前記操作者端末以外の他の前記操作者端末の各々に送信する、請求項５記載の情報処理システム。
【請求項7】
アバターを交代で操作して前記ユーザと対話する複数の操作者の各々が使用する複数の操作者端末、
前記ユーザが使用するユーザ端末、および
前記複数の操作者端末から前記アバターを操作するアクティブ状態の１の前記操作者端末を選択するサーバを備える、情報処理システムであって、
前記操作者端末は、
当該操作者端末を使用する前記操作者の映像を撮影する撮影手段、
当該操作者端末を使用する前記操作者の音声を検出する操作者音声検出手段、
前記サーバから送信される前記ユーザの音声データを受信する第１ユーザ音声受信手段、
前記第１ユーザ音声受信手段によって受信された前記ユーザの音声データを出力する第１ユーザ音声出力手段、
アクティブ状態において、
前記カメラで撮影された前記操作者の映像に基づいて前記アバターの動作データを生成する動作データ生成手段、
前記動作データ生成手段によって生成された動作データに従って前記アバターを動作させるアバター制御手段、
前記アバターの画像データを生成するアバター画像生成手段、
前記アバター画像生成手段によって生成された前記アバターの画像データを前記サーバに送信する第１アバター画像送信手段、
前記操作者音声検出手段によって当該操作者端末を使用する前記操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有する前記アバターの音声データを生成するアバター音声生成手段、および
前記アバター音声生成手段によって生成された前記アバターの音声データを前記サーバに送信する第１アバター音声送信手段を備え、
前記サーバは、
前記第１アバター画像送信手段によって送信された前記アバターの画像データを受信する第１アバター画像受信手段、
前記第１アバター画像受信手段によって受信された前記アバターの画像データを前記ユーザ端末に送信する第２アバター画像送信手段、
前記第１アバター音声送信手段によって送信された前記アバターの音声データを受信する第１アバター音声受信手段、
前記第１アバター音声受信手段によって受信された前記アバターの音声データを前記ユーザ端末に送信する第２アバター音声送信手段、
前記ユーザ端末から送信される前記ユーザの音声データを受信する第２ユーザ音声受信手段、および
前記第２ユーザ音声受信手段によって受信された前記ユーザの音声データを前記複数の操作者端末の各々に送信する第１ユーザ音声送信手段を備え、
前記ユーザ端末は、
当該ユーザ端末を使用する前記ユーザの音声を検出するユーザ音声検出手段、
前記ユーザ音声検出手段によって検出された前記ユーザの音声を前記サーバに送信する第２ユーザ音声送信手段、
前記第２アバター画像送信手段によって送信された前記アバターの画像データを受信する第２アバター画像受信手段、
前記第２アバター画像受信手段によって受信された前記アバターの画像データを出力するアバター画像出力手段、
前記第２アバター音声送信手段によって送信された前記アバターの音声データを受信する第２アバター音声受信手段、および
前記第２アバター音声受信手段によって受信された前記アバターの音声データを出力する第２アバター音声出力手段を備える、情報処理システム。
前記ユーザが使用するユーザ端末、および
前記複数の操作者端末から前記アバターを操作するアクティブ状態の１の前記操作者端末を選択するサーバを備える、情報処理システムであって、
前記操作者端末は、
当該操作者端末を使用する前記操作者の映像を撮影する撮影手段、
当該操作者端末を使用する前記操作者の音声を検出する操作者音声検出手段、
前記サーバから送信される前記ユーザの音声データを受信する第１ユーザ音声受信手段、
前記第１ユーザ音声受信手段によって受信された前記ユーザの音声データを出力する第１ユーザ音声出力手段、
アクティブ状態において、
前記カメラで撮影された前記操作者の映像に基づいて前記アバターの動作データを生成する動作データ生成手段、
前記動作データ生成手段によって生成された動作データに従って前記アバターを動作させるアバター制御手段、
前記アバターの画像データを生成するアバター画像生成手段、
前記アバター画像生成手段によって生成された前記アバターの画像データを前記サーバに送信する第１アバター画像送信手段、
前記操作者音声検出手段によって当該操作者端末を使用する前記操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有する前記アバターの音声データを生成するアバター音声生成手段、および
前記アバター音声生成手段によって生成された前記アバターの音声データを前記サーバに送信する第１アバター音声送信手段を備え、
前記サーバは、
前記第１アバター画像送信手段によって送信された前記アバターの画像データを受信する第１アバター画像受信手段、
前記第１アバター画像受信手段によって受信された前記アバターの画像データを前記ユーザ端末に送信する第２アバター画像送信手段、
前記第１アバター音声送信手段によって送信された前記アバターの音声データを受信する第１アバター音声受信手段、
前記第１アバター音声受信手段によって受信された前記アバターの音声データを前記ユーザ端末に送信する第２アバター音声送信手段、
前記ユーザ端末から送信される前記ユーザの音声データを受信する第２ユーザ音声受信手段、および
前記第２ユーザ音声受信手段によって受信された前記ユーザの音声データを前記複数の操作者端末の各々に送信する第１ユーザ音声送信手段を備え、
前記ユーザ端末は、
当該ユーザ端末を使用する前記ユーザの音声を検出するユーザ音声検出手段、
前記ユーザ音声検出手段によって検出された前記ユーザの音声を前記サーバに送信する第２ユーザ音声送信手段、
前記第２アバター画像送信手段によって送信された前記アバターの画像データを受信する第２アバター画像受信手段、
前記第２アバター画像受信手段によって受信された前記アバターの画像データを出力するアバター画像出力手段、
前記第２アバター音声送信手段によって送信された前記アバターの音声データを受信する第２アバター音声受信手段、および
前記第２アバター音声受信手段によって受信された前記アバターの音声データを出力する第２アバター音声出力手段を備える、情報処理システム。
【請求項8】
複数の操作者が交代で操作するコンピュータグラフィックスのアバターまたはロボットのアバター、
前記複数の操作者の各々が使用する複数の操作者端末、および
前記複数の操作者端末から前記アバターを操作するアクティブ状態の１の前記操作者端末を選択するサーバを備える、情報処理システムの情報処理法であって、
前記アクティブ状態の１の前記操作者端末は、
当該操作者端末を使用する前記操作者の操作に従って前記アバターの動作を制御する制御信号を前記サーバに送信し、
当該操作者端末が使用する前記操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有する前記アバターの音声を生成して前記サーバに送信し、
前記サーバは、
前記アクティブ状態の１の前記操作者端末からの制御信号に基づいて前記アバターを動作させ、
前記アクティブ状態の１の前記操作者端末からのアバターの音声をユーザに出力し、
前記アバターの音声を前記アクティブ状態の１の前記操作者端末以外の非アクティブ状態の前記操作者端末の各々に送信し、
前記ユーザの音声を前記複数の操作者端末の各々に送信する、情報処理方法。
前記複数の操作者の各々が使用する複数の操作者端末、および
前記複数の操作者端末から前記アバターを操作するアクティブ状態の１の前記操作者端末を選択するサーバを備える、情報処理システムの情報処理法であって、
前記アクティブ状態の１の前記操作者端末は、
当該操作者端末を使用する前記操作者の操作に従って前記アバターの動作を制御する制御信号を前記サーバに送信し、
当該操作者端末が使用する前記操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有する前記アバターの音声を生成して前記サーバに送信し、
前記サーバは、
前記アクティブ状態の１の前記操作者端末からの制御信号に基づいて前記アバターを動作させ、
前記アクティブ状態の１の前記操作者端末からのアバターの音声をユーザに出力し、
前記アバターの音声を前記アクティブ状態の１の前記操作者端末以外の非アクティブ状態の前記操作者端末の各々に送信し、
前記ユーザの音声を前記複数の操作者端末の各々に送信する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報処理システムおよび情報処理方法に関し、特にたとえば、オンラインでアバターを用いて接客する、情報処理システムおよび情報処理方法に関する。
【背景技術】
【0002】
この種の情報処理システムの一例が特許文献１に開示される。この特許文献１に開示されるコミュニケーションシステムでは、テレイグジスタンスモードが設定された状態で、オペレータ端末は、オペレータの表情およびジェスチャを座標データに変換し、応答音声データと共に応対端末へ送信する。応対端末は、オペレータ端末から送られた座標データに基づいてアバターを生成することで、オペレータの表情およびジェスチャがアバターの表情および仕草に反映されたキャラクタ応対情報を生成し、ユーザに向けて表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－５６９４０号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の特許文献１では、応対端末において、オペレータの表情およびジェスチャがアバターの表情および仕草に反映されたアバター画像をユーザに向けて表示し、１人のオペレータがユーザに応対するが、複数人のオペレータで構成されるグループで応対することは考慮されていない。
【0005】
また、複数人のオペレータでユーザに応対する場合、ユーザに応対するオペレータが入れ替わるため、ユーザはオペレータ間の情報共有のレベルが分からない。また、各オペレータは、交代する度に自己紹介するなど、会話を仕切り直す必要があり、時間的な効率が悪い。つまり、円滑に会話することができないと考えられる。
【0006】
それゆえに、この発明の主たる目的は、新規な、情報処理システムおよび情報処理方法を提供することである。
【0007】
また、この発明の他の目的は、複数人の操作者がアバターを用いて円滑に応対することができる、情情報処理システムおよび情報処理方法を提供することである。
【課題を解決するための手段】
【0008】
第１の発明は、複数の操作者が交代で操作するコンピュータグラフィックスのアバターまたはロボットのアバター、複数の操作者の各々が使用する複数の操作者端末、および複数の操作者端末からアバターを操作するアクティブ状態の１の操作者端末を選択するサーバを備える、情報処理システムであって、アクティブ状態の１の操作者端末は、当該操作者端末を使用する操作者の操作に従ってアバターの動作を制御する制御信号をサーバに送信し、当該操作者端末が使用する操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有するアバターの音声を生成してサーバに送信し、サーバは、アクティブ状態の１の操作者端末からの制御信号に基づいてアバターを動作させ、アクティブ状態の１の操作者端末からのアバターの音声をユーザに出力し、アバターの音声をアクティブ状態の１の操作者端末以外の非アクティブ状態の操作者端末の各々に送信し、ユーザの音声を複数の操作者端末の各々に送信する、情報処理システムである。
【0009】
第２の発明は、第１の発明に従属し、アクティブ状態の１の操作者端末は、当該操作者端末が使用する操作者の音声を検出したとき、当該操作者の音声を変換して所定のピッチおよび所定のフォルマントを有するアバターの音声を生成してサーバに送信する。
【0010】
第３の発明は、第１の発明に従属し、非アクティブ状態の操作者端末は、当該非アクティブ状態の操作者端末を使用する操作者の操作による交代要求をサーバに送信し、サーバは、非アクティブ状態の操作者端末からの交代要求に応じて、アクティブ状態の１の操作者端末を非アクティブ状態に変更し、交代要求の要求元である非アクティブ状態の操作者端末をアクティブ状態に変更する。
【0011】
第４の発明は、第１から第３の発明までのいずれかに従属し、非アクティブ状態の操作者端末は、当該非アクティブ状態の操作者端末を使用する操作者の音声を検出したとき、検出した当該操作者の音声をサーバに送信し、サーバは、非アクティブ状態の操作者端末からの操作者の音声を、当該非アクティブ状態の操作者端末以外の他の操作者端末の各々に送信する。
【0012】
第５の発明は、第１から第３の発明までのいずれかに従属し、コンピュータグラフィックスのアバターを表示する表示装置を備えるユーザ端末をさらに備え、ユーザ端末を使用するユーザとアクティブ状態の１の操作者端末の操作者はサーバを介して文字情報を送受信し、サーバは、アクティブ状態の１の操作者端末から送信された文字情報を、当該アクティブ状態の１の操作者端末以外の非アクティブ状態の操作者端末の各々にも送信する。
【0013】
第６の発明は、第５の発明に従属し、サーバは、非アクティブ状態の操作者端末から送信された文字情報を、ユーザ端末に送信しないで、当該非アクティブ状態の操作者端末以外の他の操作者端末の各々に送信する。
【0014】
第７の発明は、アバターを交代で操作してユーザと対話する複数の操作者の各々が使用する複数の操作者端末、ユーザが使用するユーザ端末、および複数の操作者端末からアバターを操作するアクティブ状態の１の操作者端末を選択するサーバを備える、情報処理システムであって、操作者端末は、当該操作者端末を使用する操作者の映像を撮影する撮影手段、当該操作者端末を使用する操作者の音声を検出する操作者音声検出手段、サーバから送信されるユーザの音声データを受信する第１ユーザ音声受信手段、第１ユーザ音声受信手段によって受信されたユーザの音声データを出力する第１ユーザ音声出力手段、アクティブ状態において、カメラで撮影された操作者の映像に基づいてアバターの動作データを生成する動作データ生成手段、動作データ生成手段によって生成された動作データに従ってアバターを動作させるアバター制御手段、アバターの画像データを生成するアバター画像生成手段、アバター画像生成手段によって生成されたアバターの画像データをサーバに送信する第１アバター画像送信手段、操作者音声検出手段によって当該操作者端末を使用する操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有するアバターの音声データを生成するアバター音声生成手段、およびアバター音声生成手段によって生成されたアバターの音声データをサーバに送信する第１アバター音声送信手段を備え、サーバは、第１アバター画像送信手段によって送信されたアバターの画像データを受信する第１アバター画像受信手段、第１アバター画像受信手段によって受信されたアバターの画像データをユーザ端末に送信する第２アバター画像送信手段、第１アバター音声送信手段によって送信されたアバターの音声データを受信する第１アバター音声受信手段、第１アバター音声受信手段によって受信されたアバターの音声データをユーザ端末に送信する第２アバター音声送信手段、ユーザ端末から送信されるユーザの音声データを受信する第２ユーザ音声受信手段、および第２ユーザ音声受信手段によって受信されたユーザの音声データを複数の操作者端末の各々に送信する第１ユーザ音声送信手段を備え、ユーザ端末は、当該ユーザ端末を使用するユーザの音声を検出するユーザ音声検出手段、ユーザ音声検出手段によって検出されたユーザの音声をサーバに送信する第２ユーザ音声送信手段、第２アバター画像送信手段によって送信されたアバターの画像データを受信する第２アバター画像受信手段、第２アバター画像受信手段によって受信されたアバターの画像データを出力するアバター画像出力手段、第２アバター音声送信手段によって送信されたアバターの音声データを受信する第２アバター音声受信手段、および第２アバター音声受信手段によって受信されたアバターの音声データを出力する第２アバター音声出力手段を備える、情報処理システムである。
【0015】
第８の発明は、複数の操作者が交代で操作するコンピュータグラフィックスのアバターまたはロボットのアバター、複数の操作者の各々が使用する複数の操作者端末、および複数の操作者端末からアバターを操作するアクティブ状態の１の操作者端末を選択するサーバを備える、情報処理システムの情報処理法であって、アクティブ状態の１の操作者端末は、当該操作者端末を使用する操作者の操作に従ってアバターの動作を制御する制御信号をサーバに送信し、当該操作者端末が使用する操作者の音声を検出したとき、当該操作者の音声を変換して少なくとも所定のピッチを有するアバターの音声を生成してサーバに送信し、サーバは、アクティブ状態の１の操作者端末からの制御信号に基づいてアバターを動作させ、アクティブ状態の１の操作者端末からのアバターの音声をユーザに出力し、アバターの音声をアクティブ状態の１の操作者端末以外の非アクティブ状態の操作者端末の各々に送信し、ユーザの音声を複数の操作者端末の各々に送信する、情報処理方法である。
【発明の効果】
【0016】
この発明によれば、複数人の操作者がアバターを用いて円滑に応対することができる。
【0017】
この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
＜第１実施例＞
図１を参照して、この第１実施例の情報処理システム１０はサーバ１２を含み、サーバ１２は、ネットワーク１４を介して、複数の操作者端末１６およびユーザ端末１８と通信可能に接続される。
図１を参照して、この第１実施例の情報処理システム１０はサーバ１２を含み、サーバ１２は、ネットワーク１４を介して、複数の操作者端末１６およびユーザ端末１８と通信可能に接続される。
【0020】
一例として、Web Real-Time Communication (WebRTC)の技術を用いて、複数の操作者端末１６とユーザ端末１８がサーバ１２を介して、Ｗｅｂブラウザ上で映像または／および音声をリアルタイムに送受信することができる。この場合、サーバ１２は、SFU(Selective Forwarding Unit)サーバとしても機能する。
【0021】
なお、図示は省略するが、ＷｅｂＲＴＣは、複数のサーバを組み合わせて利用することが可能である。具体的には、ＷｅｂＲＴＣを利用するための複数のサーバには、シグナリングサーバ、スタン（ＳＴＵＮ）サーバ及びターン（ＴＵＲＮ）サーバ等が含まれる。詳細な説明は省略するが、シグナリングサーバは、ＷｅｂＲＴＣによる通信相手に関する情報を取得するためのサーバである。また、スタンサーバおよびターンサーバは通信相手が異なるネットワークに存在している場合にいわゆるＮＡＴ（Network Address Translation）越えをするためのサーバである。
【0022】
この第１実施例では、１台のユーザ端末１８を示すが、実際には、複数のユーザ端末１８がネットワーク１４に接続されており、そのうちのビデオ通話またはＷｅｂ会議を行うことが設定された１台のユーザ端末１８がサーバ１２を介して複数の操作者端末１６と通信可能に接続される。また、複数の操作者端末１６は、それぞれ、ユーザ端末１８のユーザに応対する複数の操作者の各々が使用する端末である。
【0023】
この第１実施例では、操作者グループを構成する複数の操作者の各々で使用されるアバターに対応する画像（以下、「アバター画像」という）がユーザ端末１８の表示装置３０に表示され、アバターを通してユーザと各操作者が交代で対話する。ただし、ユーザ端末１８に表示されるアバター画像は同じ種類のアバターの画像である。つまり、アクティブ状態では、各操作者端末１６は、同じ種類のアバター画像の画像データを生成する。
【0024】
このように、各操作者は、１種類のアバターを操作してユーザと対話して、接客を行う。つまり、ユーザは、サーバ１２および各操作者端末１６の各操作者によって提供される、アバターを用いた対話サービス（または、接客サービス）を使用する。この第１実施例では、アバター画像がユーザ端末１８の表示装置３０に表示されるため、アバターはＣＧ（Computer Graphics）アバターである。
【0025】
サーバ１２は、情報処理装置であり、汎用のサーバを用いることができる。
【0026】
ネットワーク１４は、インターネットを含むＩＰ網（または、ＩＰネットワーク）と、このＩＰ網にアクセスするためのアクセス網（または、アクセスネットワーク）とから構成される。アクセス網としては、公衆電話網、携帯電話網、有線ＬＡＮ、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等を用いることができる。
【0027】
操作者端末１６は、サーバ１２およびユーザ端末１８とは異なる他の情報処理装置であり、一例として、汎用のノート型ＰＣまたはデスクトップ型ＰＣであるが、スマートフォンまたはタブレットＰＣなどの他の汎用の端末を用いることもできる。複数の操作者端末１６は、すべて同じ種類のコンピュータまたは端末である必要はない。
【0028】
ユーザ端末１８は、サーバ１２および操作者端末１６とは異なる他の情報処理装置であり、汎用のノート型ＰＣ、デスクトップ型ＰＣ、タブレット端末またはスマートフォンを用いることができる。
【0029】
図２は図１に示したサーバ１２の電気的な構成の一例を示すブロック図である。図２に示すように、サーバ１２はＣＰＵ２０を含み、ＣＰＵ２０は、内部バスを介して、ＲＡＭ２２、通信インタフェース（以下、「通信Ｉ／Ｆ」という）２４および入出力インタフェース（以下、「入出力Ｉ／Ｆ」という）２６に接続される。
【0030】
ＣＰＵ２０は、サーバ１２の全体的な制御を司る。ただし、ＣＰＵ２０に代えて、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）を設けてもよい。
【0031】
ＲＡＭ２２は、主記憶装置であり、ＣＰＵ２０のワーク領域またはバッファ領域として使用される。図示は省略するが、サーバ１２には、補助記憶装置として、ＨＤＤおよびＲＯＭが設けられる。ただし、ＨＤＤに代えて、または、ＨＤＤに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0032】
通信Ｉ／Ｆ２４は、ＣＰＵ２０の制御の下、ネットワーク１４を介して、操作者端末１６などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うための有線インタフェースである。ただし、通信Ｉ／Ｆ２４としては、無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースを使用することもできる。
【0033】
入出力Ｉ／Ｆ２６には、入力装置２８および表示装置３０が接続されている。入力装置２８は、キーボードおよびコンピュータマウスである。表示装置３０は、一例として、液晶表示装置である。
【0034】
また、入出力Ｉ／Ｆ２６は、入力装置２８から入力された操作データ（または、操作情報）をＣＰＵ２０に出力するとともに、ＣＰＵ２０によって生成された画像データを表示装置３０に出力して、画像データに対応する画面または画像を表示装置３０に表示させる。
【0035】
なお、図２に示すサーバ１２の電気的な構成は一例であり、限定される必要はない。
【0036】
図３は図１に示した操作者端末１６の電気的な構成を示すブロック図である。図３に示すように、操作者端末１６はＣＰＵ５０を含み、ＣＰＵ５０は、内部バスを介して、ＲＡＭ５２、通信Ｉ／Ｆ５４および入出力Ｉ／Ｆ５６に接続される。
【0037】
ＣＰＵ５０は、操作者端末１６の全体的な制御を司る。ただし、ＣＰＵ５０に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。
【0038】
ＲＡＭ５２は、主記憶装置であり、ＣＰＵ５０のワーク領域またはバッファ領域として使用される。図示は省略するが、操作者端末１６には、補助記憶装置として、ＨＤＤおよびＲＯＭが設けられる。ただし、ＨＤＤに代えて、または、ＨＤＤに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0039】
通信Ｉ／Ｆ５４は、ＣＰＵ５０の制御の下、ネットワーク１４を介して、サーバ１２などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うために有線インタフェースを有する。ただし、通信Ｉ／Ｆ５４としては、無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースを使用することもできる。
【0040】
入出力Ｉ／Ｆ５６には、入力装置５８、表示装置６０、マイク６２、スピーカ６４およびカメラ６６が接続されている。入力装置５８は、キーボードおよびコンピュータマウスである。さらに、タッチパネルが設けられる場合もある。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。
【0041】
表示装置６０は、一例として、液晶表示装置である。マイク６２は、汎用の収音マイクである。スピーカ６４は、汎用のステレオスピーカである。カメラ６６は、汎用のＣＣＤカメラである。
【0042】
ただし、操作者端末１６として、スマートフォンまたはタブレットＰＣが用いられる場合には、入力装置５８は、タッチパネルおよびハードウェアのボタンである。
【0043】
また、入出力Ｉ／Ｆ５６は、入力装置５８から入力された操作データ（または、操作情報）をＣＰＵ５０に出力し、また、ＣＰＵ５０によって生成された画像データを表示装置６０に出力して、画像データに対応する画面を表示装置６０に表示させる。ただし、外部のコンピュータ（たとえば、サーバ１２）から受信した画像データがＣＰＵ５０によって出力される場合もある。サーバ１２から受信した画像データは、ユーザを含む映像のデータ（以下、「ユーザ映像データ」という）である。
【0044】
また、入出力Ｉ／Ｆ５６は、マイク６２で検出された操作者の音声のデータ（以下、「操作者音声データ」という）をＣＰＵ５０に出力したり、ＣＰＵ５０によって出力される音声データをアナログの音声信号に変換してスピーカ６４から出力させたり、カメラ６６で撮影（検出）された操作者を含む映像のデータ（以下、「操作者映像データ」という）をＣＰＵ５０に出力したりする。第１実施例では、操作者を含む映像は動画像である。
【0045】
ただし、この第１実施例では、当該操作者端末１６がユーザに応対中の操作者が使用する操作者端末１６である場合には、ＣＰＵ５０は、操作者音声データを変換してアバターの音声のデータ（以下、「アバター音声データ」という）を生成する。また、ユーザに応対中の操作者が使用する操作者端末１６をアクティブ状態の操作者端末１６といい、ユーザに応対していない操作者が使用する操作者端末１６を非アクティブ状態の操作者端末１６ということがある。
【0046】
また、アクティブ状態の操作者端末１６では、ＣＰＵ５０は、アバター画像データを生成し、後述するように、操作者の動作に基づいてアバターの動作を制御する。
【0047】
さらに、この第１実施例では、ＣＰＵ５０によって出力される音声データは、サーバ１２から受信したユーザの音声のデータ（以下、「ユーザ音声データ」という）または他の操作者の音声のデータ（以下、「他の操作者音声データ」という）である。
【0048】
なお、図３に示す操作者端末１６の電気的な構成は一例であり、限定される必要はない。
【0049】
また、操作者端末１６がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この第１実施例では、そのような通話は行わないため、図示は省略してある。
【0050】
図４は図１に示したユーザ端末１８の電気的な構成の一例を示すブロック図である。図４に示すように、ユーザ端末１８はＣＰＵ８０を含み、ＣＰＵ８０は、内部バスを介して、ＲＡＭ８２、通信インタフェース（以下、「通信Ｉ／Ｆ」という）８４および入出力Ｉ／Ｆ８６に接続される。
【0051】
ＣＰＵ８０は、ユーザ端末１８の全体的な制御を司る。ただし、ＣＰＵ８０に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。
【0052】
ＲＡＭ８２は、主記憶装置であり、ＣＰＵ８０のワーク領域またはバッファ領域として使用される。図示は省略するが、ユーザ端末１８には、補助記憶装置として、ＨＤＤおよびＲＯＭが設けられる。ただし、ＨＤＤに代えて、または、ＨＤＤに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0053】
通信Ｉ／Ｆ８４は、ＣＰＵ８０の制御の下、ネットワーク１４を介して、操作者端末１６などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うための有線インタフェースである。ただし、通信Ｉ／Ｆ８４としては、無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースを使用することもできる。
【0054】
入出力Ｉ／Ｆ８６には、入力装置８８、表示装置９０、マイク９２、スピーカ９４およびカメラ９６が接続されている。入力装置８８は、キーボードおよびコンピュータマウスである。さらに、タッチパネルが設けられる場合もある。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。
【0055】
表示装置９０は、一例として、液晶表示装置である。マイク９２は、汎用の収音マイクである。スピーカ９４は、汎用のステレオスピーカである。カメラ９６は、汎用のＣＣＤカメラである。
【0056】
また、入出力Ｉ／Ｆ８６は、入力装置８８から入力された操作データ（または、操作情報）をＣＰＵ８０に出力するとともに、ＣＰＵ８０によって生成された画像データを表示装置９０に出力して、画像データに対応する画面または画像を表示装置９０に表示させる。ただし、外部のコンピュータ（たとえば、サーバ１２）から受信した画像データ（この実施例では、アバター画像データ）がＣＰＵ８０によって出力される場合もある。
【0057】
また、入出力Ｉ／Ｆ８６は、マイク９２で検出されたユーザの音声をデジタルの音声データすなわちユーザ音声データに変換してＣＰＵ８０に出力したり、ＣＰＵ８０によって出力される音声データをアナログの音声信号に変換してスピーカ９４から出力させたり、カメラ９６で撮影（検出）されたユーザを含む映像のデータすなわちユーザ映像データをＣＰＵ８０に出力したりする。ただし、この第１実施例では、ＣＰＵ８０によって出力される音声データは、サーバ１２から受信したアバター音声データである。
【0058】
なお、図４に示すユーザ端末１８の電気的な構成は一例であり、限定される必要はない。
【0059】
また、ユーザ端末１８がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この第１実施例では、そのような通話は行わないため、図示は省略してある。
【0060】
以下、この第１実施例の情報処理システム１０の動作について説明する。このような情報処理システム１０では、複数の操作者端末１６とユーザ端末１８がサーバ１２を介してビデオ通話またはＷｅｂ会議を行い、アクティブ状態の操作者端末１６の操作者とユーザ端末１８のユーザが対話（または、会話）する。
【0061】
ユーザがユーザ端末１８で所望のＥＣ(Electronic Commerce)サイトにアクセスしている場合にアバター（または、操作者）との対話を要求したり、予めサーバ１２等から通知されている所定のＵＲＬに複数の操作者端末１６およびユーザ端末１８がアクセスしたりすることで、複数の操作者端末１６とユーザ端末１８はサーバ１２を介したビデオ通話またはＷｅｂ会議を行う（または、開始）する。
【0062】
ビデオ通話またはＷｅｂ会議では、仮想の接客ルームが生成され、複数の操作者端末１６の各々の操作者およびユーザ端末１８のユーザが接客ルームに入室する。この第１実施例では、仮想の接客ルームはサーバ１２上に生成され、複数の操作者端末１６およびユーザ端末１８がそれぞれサーバ１２と接続状態を確立する。つまり、複数の操作者端末１６およびユーザ端末１８がそれぞれ仮想の接客ルームに接続する。
【0063】
この第１実施例では、操作者グループを構成する複数の操作者が交代で1人のユーザに応対する。操作者グループを構成する複数の操作者は、一例として、商談の段階に応じた役割を有する。商談の段階とは、一例として、予備段階、調査段階、解決能力を示す段階および約束を取り付ける段階の４つの段階を意味する。第１実施例では、操作者グループは４人以上の操作者で構成される。１つ目の予備段階では、操作者は、自己紹介および話の切り出しを行い、顧客すなわちユーザとの人間関係を形成する。２つ目の調査段階では、操作者は、ユーザと対話し、ユーザのニーズを探る。３つ目の解決能力を示す段階では、操作者は、ユーザと対話し、商品を買うまたはサービスの提供を受けるのに値するものであることをユーザに示す。そして、４つ目の約束を取り付ける段階では、操作者は、ユーザと対話し、ユーザが注文に至るまで数々の約束を取り付けていく。
【0064】
図５はビデオ通話またはＷｅｂ会議（または、オンライン会議）を行う場合にユーザ端末１８の表示装置９０に表示される対話画面２００の一例を示す。図５に示すように、対話画面２００には、アバター画像２０２が含まれる。
【0065】
図示は省略するが、対話画面２００には、対話を終了するためのボタン画像なども設けられる。
【0066】
また、この第１実施例では、表示装置９０に表示されるアバターの動作および音声（発話）は、アクティブ状態の操作者端末１６の操作者の動作および音声に基づいて制御される。動作は、身振り手振り、顔の向きおよび顔の表情を含む。操作者の動作は、操作者端末１６のカメラ６６で撮影された操作者の映像から検出される。操作者の音声は、マイク６２で検出される。
【0067】
操作者端末１６では、操作者の動作に基づいてアバターの動作を制御するための動作データが生成され、この動作データに従う動作を行うアバターの画像データ（以下、「アバター画像データ」という）が生成され、操作者の音声に基づいてアバターの発話を制御するための音声データすなわちアバター音声データが生成される。
【0068】
動作データは、アバターの身振り手振り、顔の向きおよび顔の表情を制御するための各部位の位置および向きの情報（データ）である。具体的には、動作データは、顔の各部位すなわち眉毛、眼（上瞼、下瞼）、鼻および口（上唇、下唇）の位置（座標データ）と、顔の向き、手、腕、肩、腰、膝および足首の位置（座標データ）と、手首および足首の向きについての情報である。
【0069】
ただし、アバターの腰から下を表示しない場合には、膝および足首の位置および向きについての情報は動作データに含めなくてもよい。
【0070】
なお、操作者の動作に基づいてアバターの動作を制御するための動作データは、一例として、MediaPipe Holisticのような画像処理ライブラリを用いて生成することができる。他の例では、背景技術の特開２０２１－５６９４０号に開示された方法を用いることもできる。
【0071】
また、アバター音声データは、操作者音声データに基づいて生成される。この第１実施例では、複数の操作者が１のアバターを交代で使用するため、アバターの声の基音（ピッチ）と声の性質（フォルマント）の目標値が予め設定され、目標値のピッチとフォルマントすなわち所定のピッチとフォルマントに一致するように、各操作者の音声が変換器で変換される。ただし、各操作者の声の高さと声の性質は異なるため、各操作者の声の高さと声の性質に合わせて変換器のパラメータが予め設定されている。また、この第１実施例で使用される変換器は、恋声（http://koigoemoe.g2.xrea.com）のようなアプリケーションソフトである。
【0072】
したがって、操作者が交代してもほぼ同じ音声でアバターが発話するため、ユーザはアバターの音声の違いを認識し難く、同一のアバター（または、操作者）として認識させることができる。つまり、ユーザは違和感なくアバターと対話することができる。また、操作者が交代する度に自己紹介するなどの無駄を省略することができる。したがって、商談すなわち対話の進行を円滑に行うことができる。
【0073】
この第１実施例では、より精度を高めるために、目標値のピッチとフォルマントの両方に一致するように、各操作者の音声が変換器で変換されるようにしてあるが、目標値のピッチすなわち所定のピッチに一致するように、各操作者の音声が変換器で変換されるようにしてもよい。このようにした場合であっても、操作者が交代してもほぼ同じ音声でアバターに発話させることができる。
【0074】
アクティブ状態の操作者端末１６では、動作データに従って動作されるアバター画像データが生成される。したがって、アバター画像データを受信したユーザ端末１８の表示装置９０に表示されるアバターは動作される。また、ユーザ端末１８は、受信したアバター音声データをスピーカ９４に出力する。このとき、アバター画像２０２はリップシンクされる。ただし、アバター画像データおよびアバター音声データは、アクティブ状態の操作者端末１６からサーバ１２を介してユーザ端末１８に送信される。
【0075】
一方、ユーザを含む映像がカメラ９６で撮影され、カメラ９６で撮影された映像に対応する映像データすなわちユーザ映像データはユーザ端末１８からサーバ１２を介して操作者グループの各操作者が使用する各操作者端末１６（以下、「操作者グループの各操作者端末１６」という）に送信される。また、ユーザの音声はマイク９２で検出され、マイク９２で検出された音声に対応する音声データすなわちユーザ音声データはユーザ端末１８からサーバ１２を介して操作者グループの各操作者端末１６に送信される。ユーザ映像データは、操作者グループの各操作者端末１６の表示装置６０に出力され、ユーザ音声データは、操作者グループの各操作者端末１６のスピーカ６４から出力される。したがって、各操作者はユーザの様子を見たりユーザの音声を聞いたりすることができる。つまり、各操作者は、ユーザが発話した内容およびユーザの様子を把握することができる。
【0076】
図６はアクティブ状態の操作者端末１６の表示装置６０に表示される操作者側画面２５０の一例を示す。図７はアクティブ状態の操作者端末１６の表示装置６０に表示される操作者側画面２５０の他の例を示す。図８は非アクティブ状態の操作者端末１６の表示装置６０に表示される操作者側画面２５０の一例を示す。
【0077】
【0078】
図６に示す操作者側画面２５０は、後述する交代通知が無い場合に、アクティブ状態の操作者端末１６の表示装置６０に表示される。この図６に示す操作者側画面２５０では、表示領域２５２の下側に、ユーザに応対するべき旨を通知するメッセージ２６０が表示される。一例として、「アクティブ状態です。ユーザに応対してください。」というメッセージ２６０が表示される。
【0079】
したがって、アクティブ状態の操作者端末１６の操作者は、ユーザの様子を見たりユーザの音声を聞いたりしながら、アバターの動作および発話を制御する。
【0080】
図７に示す操作者側画面２５０は、交代通知が有る場合に、アクティブ状態の操作者端末１６の表示装置６０に表示される。この図７に示す操作者側画面２５０では、表示領域２５２の下側に、交代通知のメッセージ２７０が表示され、このメッセージ２７０の下側に、ボタン画像２７２が設けられる。一例として、「他の操作者が交代を要求しています。アクティブ状態を解除するボタンを押してください。」というメッセージ２７０が表示される。ボタン画像２７２は、他の操作者からの交代の要求を承諾し、アクティブ状態を解除するためのアイコンである。また、ボタン画像２７２がオンされると、このアクティブ状態の操作者端末１６から、アクティブ状態を解除することの通知（以下、「解除通知」という）がサーバ１２に送信される。
【0081】
図８に示す操作者側画面２５０は、非アクティブ状態の操作者端末１６の表示装置６０に表示される。この図８に示す操作者側画面２５０では、表示領域２５２の下側に、アクティブ状態の操作者端末１６の操作者に交代を要求する方法を説明するメッセージ２８０が表示され、このメッセージ２８０の下側に、ボタン画像２８２が設けられる。一例として、「ユーザに応対する場合には、応対ボタンを押してください。」というメッセージ２８０が表示される。ボタン画像２８２は、ユーザに応対すること、より具体的には、アクティブ状態を設定するためのアイコンである。また、ボタン画像２８２がオンされると、この非アクティブ状態の操作者端末１６から、ユーザに応対すること、すなわち、アクティブ状態に設定することを要求する通知（以下、「要求通知」という）がサーバ１２に送信される。これに応じて、サーバ１２は、アクティブ状態の操作者端末１６に、ユーザの応対を交代することの通知（以下、「交代通知」という）を送信する。
【0082】
また、操作者グループでは、各操作者の音声は共有される。つまり、ユーザに応対する操作者の音声およびユーザに応対していない他の操作者の音声は操作者グループで共有される。
【0083】
具体的には、アクティブ状態の操作者端末１６から送信されたアバター音声データは、サーバ１２を介して、ユーザ端末１８のみならず、非アクティブ状態の各操作者端末１６に送信される。したがって、アバター音声データも、操作者グループの非アクティブ状態の各操作者端末１６のスピーカ６４から出力される。つまり、非アクティブ状態の操作者端末１６の操作者は、アクティブ状態の操作者端末１６の操作者の発話を聞くことができる。したがって、非アクティブ状態の操作者は、アクティブ状態の操作者端末１６の操作者とユーザの対話を聞くことができる。
【0084】
また、非アクティブ状態の操作者端末１６から送信された操作者音声データすなわち他の操作者音声データは、サーバ１２を介して、他の操作者端末１６の各々に送信される。ただし、他の操作者音声データは、ユーザ端末１８には送信されない。したがって、他の操作者音声データも、送信元の操作者端末１６を除く、操作者グループの各操作者端末１６のスピーカ６４から出力される。つまり、操作者グループの各操作者は、他の操作者（ここでは、非アクティブ状態の操作者端末１６の操作者）の発話を聞くことができる。したがって、操作者グループの各操作者は、他の操作者とユーザの対話のみならず、他の操作者同士の対話または会話を聞くことができる。
【0085】
以上より、操作者グループの各操作者は、他の操作者とユーザの対話のみならず、他の操作者同士の対話または会話を聞くことで、応対内容を共有することができる。したがって、交代した操作者はアバターを制御して円滑にユーザに応対することができる。
【0086】
なお、この第１実施例では、ユーザ映像データおよびユーザ音声データを各操作者端末１６に送信するようにしてあるが、非アクティブ状態の各操作者端末１６には、ユーザ音声データのみを送信するようにしてもよい。かかる場合にも、非アクティブ状態の操作者端末１６の操作者は、ユーザが発話した内容を把握することができる。
【0087】
図９はサーバ１２で管理される参加者管理テーブルの一例を示す図である。参加者管理テーブルは、接客ルームへの参加者についての情報を含む。参加者管理テーブルでは、参加者ＩＤに対応して、入室状況および応対状態が記載される。
【0088】
参加者ＩＤは、接客ルームに入室（接続）することが許可されたユーザおよび複数の操作者（すなわち、操作者グループの各操作者）に割り当てられた識別情報である。一例として、識別情報は、複数の数字または／およびアルファベットを用いた記号であり、サーバ１２によって割り当てられる。他の例では、識別情報は、ユーザおよび操作者の名称、または、ユーザ端末１８および操作者端末１６の通信機器に割り当てらえたＭａｃアドレスである。図９に示す参加者管理テーブルでは、分かり易く示すために、参加者ＩＤとして、ユーザ、操作者Ａ、操作者Ｂ、操作者Ｃおよび操作者Ｄと記載してある。ただし、操作者は、５人以上であってもよい。
【0089】
入室状況は、対応する参加者ＩＤが示すユーザおよび操作者が接客ルームに入室しているかどうかを示す情報である。ユーザおよび操作者が接客ルームに入室している場合には、入室状況として「入室中」が記載される。また、ユーザおよび操作者が接客ルームに入室していない場合（退室した場合を含む）には、入室状況として「未入室」が記載される。
【0090】
応対状態は、対応する参加者ＩＤの操作者がユーザに応対しているかどうか、すなわち、対応する参加者ＩＤの操作者が使用する操作者端末１６がアクティブ状態であるか、非アクティブ状態であるかを示す情報である。操作者がユーザに応対している場合には、応対状態として「アクティブ」が記載される。また、操作者がユーザに応対していない場合には、応対状態として「非アクティブ」が記載される。ただし、入室していない操作者については、応対状態の情報は記載されない。なお、ユーザは、操作者に応対されるため、応対状態の情報は記載されない。
【0091】
サーバ１２は、参加者管理テーブルを参照して、上述したように、各操作者端末１６およびユーザ端末１８の間におけるデータの送受信を制御する。したがって、非アクティブ状態の操作者端末１６の操作者の音声はユーザに対してミュートされ、操作者グループの各操作者とユーザの音声は操作者グループの各操作者で共有される。
【0092】
図１０はサーバ１２に内蔵されるＲＡＭ２２のメモリマップ３００の一例を示す。図１０に示すように、ＲＡＭ２２は、プログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、この第１実施例のサーバ１２で実行される制御プログラムが記憶されている。
【0093】
サーバ１２で実行される制御プログラムは、メイン処理プログラム３０２ａ、通信プログラム３０２ｂ、入室管理プログラム３０２ｃ、操作者切替プログラム３０２ｄおよび交代通知プログラム３０２ｅなどを含む。
【0094】
メイン処理プログラム３０２ａは、この第１実施例のサーバ１２の制御処理のメインルーチンを実行するためのプログラムである。
【0095】
通信プログラム３０２ｂは、外部の機器、この第１実施例では、複数の操作者端末１６およびユーザ端末１８と通信（データ等の送信および受信）するためのプログラムである。
【0096】
入室管理プログラム３０２ｃは、サーバ１２によって生成された仮想の接客ルームに入室（接続）しているか入室していない（退室を含む）かを管理するためのプログラムである。具体的には、入室管理プログラム３０２ｃは、各操作者端末１６およびユーザ端末１８との接続状態が確立されているかどうかに応じて、参加者管理データ３０４ａに対応する参加者管理テーブルの入室状況を更新するためのプログラムである。
【0097】
操作者切替プログラム３０２ｄは、ユーザに応対する操作者を設定したり、交代させたりするためのプログラムであり、参加者管理データ３０４ａに対応する参加者管理テーブルの応対状態を更新するためのプログラムでもある。
【0098】
交代通知プログラム３０２ｅは、非アクティブ状態の操作者端末１６から要求通知があった場合に、アクティブ状態の操作者端末１６に交代通知を送信するためのプログラムである。交代通知を送信する場合には、通信プログラム３０２ｂも実行される。
【0099】
図示は省略するが、プログラム記憶領域３０２には、サーバ１２のオペレーティングシステム、ミドルウェアの他に、本願の制御プログラム以外の他のアプリケーション・プログラムも記憶される。
【0100】
また、データ記憶領域３０４には、参加者管理データ３０４ａ、アバター画像データ３０４ｂ、アバター音声データ３０４ｃ、ユーザ映像データ３０４ｄ、ユーザ音声データ３０４ｅおよび他の操作者音声データ３０４ｆなどが記憶される。
【0101】
参加者管理データ３０４ａは、図９に示した参加者管理テーブルについてのデータである。詳細な説明は省略するが、参加者管理テーブルは、接客ルーム毎に生成される。
【0102】
アバター画像データ３０４ｂは、アクティブ状態の操作者端末１６から受信したアバター画像データである。アバター音声データ３０４ｃは、アクティブ状態の操作者端末１６から受信したアバター音声データである。アバター画像データ３０４ｂおよびアバター音声データ３０４ｃは、ＣＰＵ２０によってユーザ端末１８に送信されると、データ記憶領域３０４から消去される。
【0103】
ユーザ映像データ３０４ｄは、ユーザ端末１８から受信したユーザ映像データである。ユーザ音声データ３０４ｅは、ユーザ端末１８から受信したユーザ音声データである。ユーザ映像データ３０４ｄおよびユーザ音声データ３０４ｅは、ＣＰＵ２０によって各操作者端末１６に送信されると、データ記憶領域３０４から消去される。
【0104】
他の操作者音声データ３０４ｆは、非アクティブ状態の操作者端末１６から受信した操作者音声データである。他の操作者音声データ３０４ｆは、ＣＰＵ２０によって、操作者グループを構成する複数の操作者端末１６のうち、当該他の操作者音声データ３０４ｆの送信元の操作者端末１６以外の他の操作者端末１６の各々に送信されると、データ記憶領域３０４から消去される。
【0105】
図示は省略するが、データ記憶領域３０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。
【0106】
図１１は操作者端末１６に内蔵されるＲＡＭ５２のメモリマップ４００の一例を示す。図１１に示すように、ＲＡＭ５２は、プログラム記憶領域４０２およびデータ記憶領域４０４を含む。プログラム記憶領域４０２には、この第１実施例の操作者端末１６で実行される制御プログラムが記憶されている。
【0107】
操作者端末１６で実行される制御プログラムは、メイン処理プログラム４０２ａ、操作検出プログラム４０２ｂ、通信プログラム４０２ｃ、画像生成プログラム４０２ｄ、画像出力プログラム４０２ｅ、撮影プログラム４０２ｆ、動作データ生成プログラム４０２ｇ、アバター制御プログラム４０２ｈ、音声検出プログラム４０２ｉ、音声変換プログラム４０２ｊおよび音声出力プログラム４０２ｋなどを含む。
【0108】
メイン処理プログラム４０２ａは、この第１実施例の操作者端末１６の制御処理のメインルーチンを実行するためのプログラムである。
【0109】
操作検出プログラム４０２ｂは、操作者の操作に従って入力装置５８から入力される操作データ４０４ａを検出し、データ記憶領域４０４に記憶するためのプログラムである。
【0110】
通信プログラム４０２ｃは、外部の機器、この第１実施例では、サーバ１２と通信するためのプログラムである。
【0111】
画像生成プログラム４０２ｄは、画像生成データ４０４ｂを用いて、表示装置６０に表示するための画面（操作者側画面２５０など）に対応する画像データを生成するためのプログラムである。ただし、図６－図８に示したような操作者側画面２５０に対応する画像データを生成する場合には、ユーザ映像データ４０４ｈも用いられる。また、画像生成プログラム４０２ｄは、画像生成データ４０４ｂを用いて、アバター画像データ４０４ｆを生成するためのプログラムでもある。
【0112】
画像出力プログラム４０２ｅは、画像生成プログラム４０２ｄに従って生成した画像データを表示装置６０に出力するためのプログラムである。したがって、画像データに対応する画面が表示装置６０に表示される。
【0113】
撮影プログラム４０２ｆは、カメラ６６に撮影処理を実行させ、カメラ６６から入力される操作者映像データ４０４ｃをデータ記憶領域４０４に記憶するためのプログラムである。
【0114】
動作データ生成プログラム４０２ｇは、操作者映像データ４０４ｃから操作者の動作を検出し、アバターの動作を制御するための動作データ４０４ｅを生成するためのプログラムである。
【0115】
アバター制御プログラム４０２ｈは、動作データ生成プログラム４０２ｇに従って生成された動作データ４０４ｅに従ってアバターの動作を制御するためのプログラムである。
【0116】
音声検出プログラム４０２ｉは、マイク６２から入力される操作者の音声を検出し、検出した音声に対応する操作者音声データ４０４ｄをデータ記憶領域４０４に記憶するためのプログラムである。
【0117】
音声変換プログラム４０２ｊは、音声検出プログラム４０２ｉに従って検出された操作者音声データ４０４ｄを、目標値のピッチおよびフォルマントに一致するように変換して、アバター音声データ４０４ｇを生成するためのプログラムである。
【0118】
音声出力プログラム４０２ｋは、サーバ１２から受信したユーザ音声データ４０４ｉおよび他の操作者音声データ４０４ｊをスピーカ６４に出力するためのプログラムである。したがって、ユーザ音声データ４０４ｉに対応する音声および他の操作者音声データ４０４ｊに対応する音声がスピーカ６４から出る。
【0119】
図示は省略するが、プログラム記憶領域４０２には、操作者端末１６のオペレーティングシステム、ミドルウェアの他に、ブラウザ、本願の制御プログラム以外の他のアプリケーション・プログラムも記憶される。
【0120】
図１２は図１１に示したＲＡＭ５２のデータ記憶領域４０４の具体的な内容の一例を示す。データ記憶領域４０４には、操作データ４０４ａ、画像生成データ４０４ｂ、操作者映像データ４０４ｃ、操作者音声データ４０４ｄ、動作データ４０４ｅ、アバター画像データ４０４ｆ、アバター音声データ４０４ｇ、ユーザ映像データ４０４ｈ、ユーザ音声データ４０４ｉおよび他の操作者音声データ４０４ｊなどが記憶される。
【0121】
操作データ４０４ａは、操作検出プログラム４０２ｂに従って検出された操作者の操作のデータである。操作データ４０４ａは、ＣＰＵ５０の処理に使用されると、データ記憶領域４０４から消去される。
【0122】
画像生成データ４０４ｂは、操作者端末１６の表示装置６０に表示される画面を生成するために用いられるデータである。また、画像生成データ４０４ｂは、アバター画像データ４０４ｆを生成するためのデータを含む。
【0123】
操作者映像データ４０４ｃは、カメラ６６で撮影された映像のデータである。この操作者映像データ４０４ｃは、基本的には、操作者を含む映像のデータであるが、操作者が席を離れるなどしてカメラ６６の撮影範囲外に出た場合には、映像に操作者が含まれない場合もある。操作者映像データ４０４ｃは、ＣＰＵ５０の処理に使用されると、データ記憶領域４０４から消去される。
【0124】
操作者音声データ４０４ｄは、マイク６２で検出された操作者の音声のデータである。操作者音声データ４０４ｄは、ＣＰＵ５０の処理に使用されたり、サーバ１２に送信されたりすると、データ記憶領域４０４から消去される。
【0125】
動作データ４０４ｅは、アバターの動作を制御するためのデータ、この第１実施例では、アバターの身振り手振り、顔の向きおよび顔の表情を制御するための各部位の位置および向きの情報（データ）である。具体的には、動作データ４０４ｅは、上述したように、顔の各部位すなわち眉毛、眼（上瞼、下瞼）、鼻および口（上唇、下唇）の位置と、顔の向きと、手、腕、肩、腰、膝および足首の位置と、手首および足首の向きについての情報である。動作データ４０４ｅは、ＣＰＵ５０の処理に使用されると、データ記憶領域４０４から消去される。
【0126】
アバター画像データ４０４ｆは、画像生成プログラム４０２ｄに従って生成されたアバター画像２０２についてのデータである。アバター画像データ４０４ｆは、ＣＰＵ５０によってサーバ１２に送信されると、データ記憶領域４０４から消去される。
【0127】
アバター音声データ４０４ｇは、音声変換プログラム４０２ｊに従って操作者音声データ４０４ｄに対応する操作者の音声を目標値のピッチおよびフォルマントに変換したアバターの音声についてのデータである。アバター音声データ４０４ｇは、ＣＰＵ５０によってサーバ１２に送信されると、データ記憶領域４０４から消去される。
【0128】
ユーザ映像データ４０４ｈは、サーバ１２から受信したユーザ映像データである。ユーザ映像データ４０４ｈは、ＣＰＵ５０の処理に使用されると、つまり、操作者側画面２５０の画像データの生成に使用されると、データ記憶領域４０４から消去される。
【0129】
ユーザ音声データ４０４ｉは、サーバ１２から受信したユーザ音声データである。ユーザ音声データ４０４ｉは、ＣＰＵ５０によってスピーカ６４に出力されると、データ記憶領域４０４から消去される。
【0130】
他の操作者音声データ４０４ｊは、サーバ１２から受信した他の操作者音声データである。また、他の操作者音声データ４０４ｊには、サーバ１２から受信したアバター音声データが含まれる。他の操作者音声データ４０４ｊは、ＣＰＵ５０によってスピーカ６４に出力されると、データ記憶領域４０４から消去される。
【0131】
また、データ記憶領域４０４にはアクティブフラグ４０４ｋが設けられる。アクティブフラグ４０４ｋは、操作者端末１６自身がアクティブ状態であるか非アクティブ状態であるかを示すフラグである。操作者端末１６自身がアクティブ状態である場合には、アクティブフラグ４０４ｋはオンされ、操作者端末１６自身が非アクティブ状態である場合には、アクティブフラグ４０４ｋはオフされる。
【0132】
図示は省略するが、データ記憶領域４０４には、操作者の音声を目標値のピッチおよびフォルマントに変換するためのパラメータなど、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要なタイマ（カウンタ）および他のフラグが設けられたりする。
【0133】
図１３はユーザ端末１８に内蔵されるＲＡＭ８２のメモリマップ５００の一例を示す。図１３に示すように、ＲＡＭ８２は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。プログラム記憶領域５０２には、この第１実施例のユーザ端末１８で実行される制御プログラムが記憶されている。
【0134】
ユーザ端末１８で実行される制御プログラムは、メイン処理プログラム５０２ａ、操作検出プログラム５０２ｂ、通信プログラム５０２ｃ、画像生成プログラム５０２ｄ、画像出力プログラム５０２ｅ、撮影プログラム５０２ｆ、音声検出プログラム５０２ｇおよび音声出力プログラム５０２ｈなどを含む。
【0135】
メイン処理プログラム５０２ａは、この第１実施例のユーザ端末１８の制御処理のメインルーチンを実行するためのプログラムである。
【0136】
操作検出プログラム５０２ｂは、ユーザの操作に従って入力装置８８から入力される操作データ５０４ａを検出し、データ記憶領域５０４に記憶するためのプログラムである。
【0137】
通信プログラム５０２ｃは、外部の機器、この第１実施例では、サーバ１２と通信（データ等の送信および受信）するためのプログラムである。
【0138】
画像生成プログラム５０２ｄは、画像生成データ５０４ｂを用いて、表示装置９０に表示するための画面（対話画面２００など）の全部または一部に対応する画像データを生成するためのプログラムである。ただし、対話画面２００の画像データを生成する場合には、アバター画像データ５０４ｅも用いられる。
【0139】
画像出力プログラム５０２ｅは、画像生成プログラム５０２ｄに従って生成した画像データを表示装置９０に出力するためのプログラムである。したがって、画像データに対応する画面が表示装置９０に表示される。
【0140】
撮影プログラム５０２ｆは、カメラ９６に撮影処理を実行させ、カメラ９６から入力されるユーザ映像データ５０４ｃをデータ記憶領域５０４に記憶するためのプログラムである。
【0141】
音声検出プログラム５０２ｇは、マイク９２から入力されるユーザの音声を検出し、検出した音声に対応するユーザ音声データ５０４ｄをデータ記憶領域５０４に記憶するためのプログラムである。
【0142】
音声出力プログラム５０２ｈは、サーバ１２から受信したアバター音声データ５０４ｆをスピーカ９４に出力するためのプログラムである。したがって、アバター音声データ５０４ｆに対応する音声がスピーカ９４から出る。
【0143】
図示は省略するが、プログラム記憶領域５０２には、ユーザ端末１８のオペレーティングシステム、ミドルウェアの他に、ブラウザ、本願の制御プログラム以外の他のアプリケーション・プログラムも記憶される。
【0144】
また、データ記憶領域５０４には、操作データ５０４ａ、画像生成データ５０４ｂ、ユーザ映像データ５０４ｃ、ユーザ音声データ５０４ｄ、アバター画像データ５０４ｅおよびアバター音声データ５０４ｆなどが記憶される。
【0145】
操作データ５０４ａは、操作検出プログラム５０２ｂに従って検出されたユーザの操作のデータである。操作データ５０４ａは、ＣＰＵ８０の処理に使用されると、データ記憶領域５０４から消去される。
【0146】
画像生成データ５０４ｂは、ユーザ端末１８の表示装置９０に表示される画面を生成するためのデータである。
【0147】
ユーザ映像データ５０４ｃは、カメラ９６で撮影された映像のデータである。このユーザ映像データ５０４ｃは、基本的には、ユーザを含む映像のデータであるが、ユーザが席を離れるなどしてカメラ９６の撮影範囲外に出た場合には、映像にユーザが含まれない場合もある。ユーザ映像データ５０４ｃは、ＣＰＵ８０によってサーバ１２に送信されると、データ記憶領域５０４から消去される。
【0148】
ユーザ音声データ５０４ｄは、マイク９２で検出されたユーザの音声のデータである。ユーザ音声データ５０４ｄは、ＣＰＵ８０によってサーバ１２に送信されると、データ記憶領域５０４から消去される。
【0149】
アバター画像データ５０４ｅは、サーバ１２から受信したアバター画像データである。アバター画像データ５０４ｅは、ＣＰＵ８０によって対話画面２００の画像データの生成に使用されると、データ記憶領域５０４から消去される。
【0150】
アバター音声データ５０４ｆは、サーバ１２から受信したアバター音声データである。アバター音声データ５０４ｆは、ＣＰＵ８０によってスピーカ９４に出力されると、データ記憶領域５０４から消去される。
【0151】
図示は省略するが、データ記憶領域５０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。
【0152】
図１４は、サーバ１２のＣＰＵ２０の制御処理のうちの入室管理処理を示すフロー図である。図１５は、サーバ１２のＣＰＵ２０の制御処理のうちの操作者切替処理を示すフロー図である。図１６は、サーバ１２のＣＰＵ２０の制御処理のうちの対話中における送受信処理を示すフロー図である。入室管理処理、操作者切替処理および送受信処理は、サーバ１２のＣＰＵ２０によって並行して実行される。また、サーバ１２のＣＰＵ２０は、接客を開始すると、制御処理、すなわち、室管理処理、操作者切替処理および送受信処理を開始する。
【0153】
図１４に示すように、ＣＰＵ２０は、入室管理処理を開始すると、ステップＳ１で、入室要求が有るかどうかを判断する。ステップＳ１で“ＮＯ”であれば、つまり、入室要求が無ければ、ステップＳ３で、退室要求が有るかどうかを判断する。
【0154】
ステップＳ３で“ＮＯ”であれば、つまり、退室要求が無ければ、ステップＳ１に戻る。一方、ステップＳ３で“ＹＥＳ”であれば、つまり、退室要求が有れば、ステップＳ５で、ユーザからの退室要求であるかどうかを判断する。
【0155】
ステップＳ５で“ＮＯ”であれば、つまり、ユーザから退室要求ではなく、操作者からの退室要求であれば、ステップＳ１に戻る。このとき、ＣＰＵ２０は、参加者管理テーブルにおいて、退室要求のあった操作者の入室状況を未入室に変更し、応対状態の情報を消去する。図示は省略するが、すべての操作者の入室状況が未入室に変更された場合には、ＣＰＵ２０は、入室管理処理を終了する。一方、ステップＳ５で“ＹＥＳ”であれば、つまり、ユーザからの退室要求であれば、接客の終了であると判断して、入室管理処理を終了する。
【0156】
また、ステップＳ１で“ＹＥＳ”であれば、つまり、入室要求が有れば、ステップＳ７で、操作者からの入室要求であるかどうかを判断する。ステップＳ７で“ＮＯ”であれば、つまり、操作者からの入室要求ではなく、ユーザからの入室要求であれば、ステップＳ９で、ユーザ端末１８と接続状態を確立し、ステップＳ１１で、ユーザ端末１８のカメラ９６とマイク９２をオンして、ステップＳ１に戻る。
【0157】
一方、ステップＳ７で“ＹＥＳ”であれば、つまり、操作者からの入室要求であれば、ステップＳ１３で、参加者管理データ３０４ａを参照して、既に入室中の操作者が存在するかどうかを判断する。
【0158】
ステップＳ１３で“ＹＥＳ”であれば、つまり、既に入室中の操作者が存在する場合には、ステップＳ１５で、今回入室した操作者を非アクティブに設定する。ここでは、ＣＰＵ２０は、参加者管理テーブルにおいて、今回入室した操作者の参加者ＩＤに対応して、応対状態の情報として非アクティブを記載する。
【0159】
次のステップＳ１７では、今回入室した操作者の操作者端末１６と接続状態を確立し、ステップＳ１９で、この操作者端末１６のカメラ６６をオフし、マイク６２をオンして、ステップＳ１に戻る。図示は省略するが、ステップＳ１７で、ＣＰＵ２０は、操作者端末１６と接続状態を確立したとき、当該操作者端末１６に非アクティブ状態であることを通知する。これに応じて、当該操作者端末１６では、アクティブフラグ４０４ｋがオフされる。
【0160】
また、ステップＳ１３で“ＮＯ”であれば、つまり、入室中の操作者が存在しない場合には、ステップＳ２１で、今回入室した操作者をアクティブに設定する。ここでは、ＣＰＵ２０は、参加者管理テーブルにおいて、今回入室した操作者の参加者ＩＤに対応して、応対状態の情報としてアクティブを記載する。
【0161】
次のステップＳ２３では、今回入室した操作者の操作者端末１６と接続状態を確立し、ステップＳ２５で、この操作者端末１６のカメラ６６およびマイク６２をオンして、ステップＳ１に戻る。図示は省略するが、ステップＳ２３で、ＣＰＵ２０は、操作者端末１６と接続状態を確立したとき、当該操作者端末１６にアクティブ状態であることを通知する。これに応じて、当該操作者端末１６では、アクティブフラグ４０４ｋがオンされる。
【0162】
図１５に示すように、ＣＰＵ２０は、操作者切替処理を開始すると、ステップＳ５１で、操作者端末１６からアクティブの要求通知が有るかどうかを判断する。ステップＳ５１で“ＮＯ”であれば、つまり、アクティブの要求通知が無ければ、ステップＳ６５に進む。一方、ステップＳ５１で“ＹＥＳ”であれば、つまり、アクティブの要求通知が有れば、ステップＳ５３で、参加者管理データ３０４ａに対応する参加者管理テーブルを参照して、アクティブの操作者が居るかどうかを判断する。
【0163】
ステップＳ５３で“ＮＯ”であれば、つまり、アクティブの操作者が居ない場合には、ステップＳ５５で、要求元の操作者端末１６のカメラ６６をオンして、ステップＳ６５に進む。図示は省略するが、ステップＳ５５では、ＣＰＵ２０は、要求元の操作者端末１６にアクティブ状態であることを通知するとともに、参加者管理テーブルにおいて、当該操作者端末１６の操作者の応対状態をアクティブに設定する。
【0164】
一方、ステップＳ５３で“ＹＥＳ”であれば、つまり、アクティブの操作者が居る場合には、ステップＳ５７で、アクティブの操作者に交代通知を送信する。つまり、ＣＰＵ２０は、アクティブ状態の操作者端末１６に交代通知を送信する。
【0165】
続いて、ステップＳ５９では、アクティブの解除操作が有るかどうかを判断する。つまり、ＣＰＵ２０は、アクティブ状態の操作者端末１６から解除通知を受信したかどうかを判断する。
【0166】
ステップＳ５９で“ＮＯ”であれば、つまり、アクティブの解除操作が無ければ、ステップＳ５９に戻る。一方、ステップＳ５９で“ＹＥＳ”であれば、つまり、アクティブの解除操作が有れば、ステップＳ６１で、アクティブ状態の操作者端末１６のカメラ６６をオフし、ステップＳ６３で、要求元の操作者端末１６のカメラ６６をオンする。
【0167】
図示は省略するが、ステップＳ６１では、ＣＰＵ２０は、解除操作が有った操作者端末１６に非アクティブ状態であることを通知するとともに、参加者管理テーブルにおいて、当該操作者端末１６の操作者の応対状態を非アクティブに設定（または、変更）する。
【0168】
また、ステップＳ６３では、ＣＰＵ２０は、要求元の操作者端末１６にアクティブ状態であることを通知するとともに、参加者管理テーブルにおいて、当該操作者端末１６の操作者の応対状態をアクティブに設定する。
【0169】
そして、ステップＳ６５では、接客終了かどうかを判断する。ここでは、ＣＰＵ２０は、操作者グループのすべての操作者端末１６またはユーザ端末１８が接客ルームを退室したり、接客ルームにおける対話の終了時間になったりしたかどうかを判断する。後述するステップＳ１１５についても同じである。
【0170】
ステップＳ６５で“ＮＯ”であれば、つまり、接客終了でなければ、ステップＳ５１に戻る。一方、ステップＳ６５で“ＹＥＳ”であれば、つまり、接客終了であれば、操作者切替処理を終了する。
【0171】
図１６に示すように、ＣＰＵ２０は、対話中における送受信処理を開始すると、ステップＳ１０１で、ユーザ端末１８からデータを受信したかどうかを判断する。ステップＳ１０１で“ＹＥＳ”であれば、つまり、ユーザ端末１８からデータを受信すれば、ステップＳ１０３で、受信したデータを操作者グループの各操作者端末１６に送信して、ステップＳ１０５に進む。この第１実施例では、ユーザ端末１８から受信したデータは、ユーザ映像データ３０４ｄおよびユーザ音声データ３０４ｅ、または、ユーザ映像データ３０４ｄである。一方、ステップＳ１０１で“ＮＯ”であれば、つまり、ユーザ端末１８からデータを受信していなければ、ステップＳ１０５に進む。
【0172】
ステップＳ１０５では、アクティブ状態の操作者端末１６からデータを受信したかどうかを判断する。ステップＳ１０５で“ＹＥＳ”であれば、つまり、アクティブ状態の操作者端末１６からデータを受信すれば、ステップＳ１０７で、受信したデータをユーザ端末１８に送信する。この第１実施例では、操作者端末１６から受信したデータは、アバター画像データ３０４ｂおよびアバター音声データ３０４ｃ、または、アバター画像データ３０４ｂである。
【0173】
さらに、ステップＳ１０９で、受信したアバター音声データ３０４ｃを非アクティブ状態の操作者端末１６に送信して、ステップＳ１１５に進む。ただし、ＣＰＵ２０は、アバター音声データ３０４ｃを受信していない場合には、ステップＳ１０９の処理をスキップする。
【0174】
また、ステップＳ１０５で“ＮＯ”であれば、つまり、アクティブ状態の操作者端末１６からデータを受信していなければ、ステップＳ１１１で、非アクティブ状態の操作者端末１６から他の操作者音声データ３０４ｆを受信したかどうかを判断する。
【0175】
ステップＳ１１１で“ＹＥＳ”であれば、つまり、非アクティブ状態の操作者端末１６から他の操作者音声データ３０４ｆを受信すれば、ステップＳ１１３で、受信した他の操作者音声データ３０４ｆを、操作者グループの各操作者端末１６のうち、当該他の操作者音声データ３０４ｆの送信元以外の他の操作者端末１６の各々に送信して、ステップＳ１１５に進む。
【0176】
ステップＳ１１５では、接客終了かどうかを判断する。ステップＳ１１５で“ＮＯ”であれば、つまり、接客終了でなければ、ステップＳ１０１に戻る。一方、ステップＳ１１５で“ＹＥＳ”であれば、つまり、接客終了であれば、対話中における送受信処理を終了する。
【0177】
【0178】
図示は省略するが、ＣＰＵ５０は、制御処理と並行して、操作データの検出処理を実行して操作データを記憶する処理したり、カメラ６６に撮影処理を実行させて操作者映像データを記憶する処理を実行したり、音声の検出処理を実行して操作者音声データを記憶する処理を実行したり、サーバ１２から送信されるデータ等を受信および記憶する処理を実行したりする。以下、操作者端末１６のＣＰＵ５０の制御処理について説明するが、重複する内容については簡単に説明することにする。
【0179】
サーバ１２から呼び出されたり、接客ルームにおける対話の開始時間となり操作者が入室を指示したりすると、図１７に示すように、ＣＰＵ５０は、制御処理を開始し、ステップＳ２０１で、サーバ１２と接続状態を確立する。つまり、仮想の接客ルームに入室する。このとき、サーバ１２からアクティブ状態または非アクティブ状態が通知され、ＣＰＵ５０は、アクティブフラグ４０４ｋをオンまたはオフする。
【0180】
次のステップＳ２０３で、アクティブ状態かどうかを判断する。ここでは、ＣＰＵ５０は、アクティブフラグ４０４ｋがオンであるかオフであるかを判断する。ステップＳ２０３で“ＮＯ”であれば、つまり、アクティブ状態でなければ、図１９に示すステップＳ２３５に進む。
【0181】
一方、ステップＳ２０３で“ＹＥＳ”であれば、つまり、アクティブ状態であれば、ステップＳ２０５で、図６に示したような、交代通知の無いアクティブ状態の操作者側画面２５０を表示装置６０に表示する。ただし、ユーザ映像データ４０４ｈを受信するまでは、表示領域２５２には何も表示されない。
【0182】
続くステップＳ２０７では、上述したように、操作者映像データ４０４ｃに基づいて動作データ４０４ｅを生成し、ステップＳ２０９で、動作データ４０４ｅに従う動作を行うアバターについてのアバター画像データ４０４ｆを生成し、ステップＳ２１１で、音声の入力が有るかどうかを判断する。
【0183】
ステップＳ２１１で“ＹＥＳ”であれば、つまり、音声の入力が有れば、ステップＳ２１３で、操作者音声データ４０４ｄをアバター音声データ４０４ｇに変換し、ステップＳ２１５で、ステップＳ２０７で生成したアバター画像データ４０４ｆと、ステップＳ２１３で変換したアバター音声データ４０４ｇをサーバ１２に送信して、図１８に示すステップＳ２１９に進む。
【0184】
一方、ステップＳ２１１で“ＮＯ”であれば、つまり、音声の入力が無ければ、ステップＳ２１７で、ステップＳ２０７で生成したアバター画像データ４０４ｆをサーバ１２に送信して、ステップＳ２１９に進む。
【0185】
図１８に示すように、ステップＳ２１９で、サーバ１２からデータを受信したかどうかを判断する。ステップＳ２１９で“ＹＥＳ”であれば、つまり、サーバ１２からデータを受信すれば、ステップＳ２２１で、受信したデータを出力して、ステップＳ２３１に進む。ステップＳ２２１では、ＣＰＵ５０は、ユーザ映像データを表示装置６０に出力する、または／および、ユーザ音声データ４０４ｉをスピーカ６４に出力する。また、ステップＳ２２１では、ＣＰＵ５０は、他の操作者音声データ４０４ｊをスピーカ６４に出力する。これらのことは、後述するステップＳ２４３も同じである。
【0186】
また、ステップＳ２１９で“ＮＯ”であれば、つまり、サーバ１２かデータを受信していなければ、ステップＳ２２３で、サーバ１２から交代通知が有るかどうかを判断する。ステップＳ２２３で“ＮＯ”であれば、つまり、サーバ１２から交代通知が無ければ、ステップＳ２３１に進む。一方、ステップＳ２２３で“ＹＥＳ”であれば、ステップＳ２２５で、図７に示したような、操作者側画面２５０すなわち交代通知画面を表示装置６０に表示する。
【0187】
次のステップＳ２２７では、解除操作が有るかどうかを判断する。ここでは、ボタン画像２７２がオンされたかどうかを判断する。ステップＳ２２７で“ＮＯ”であれば、つまり、解除操作が無ければ、ステップＳ２２７に戻る。一方、ステップＳ２２７で“ＹＥＳ”であれば、つまり、解除操作が有れば、ステップＳ２２９で、解除通知をサーバ１２に送信して、ステップＳ２３１に進む。
【0188】
ステップＳ２３１では、対話終了かどうかを判断する。ここでは、ＣＰＵ５０は、操作者によって退室することが指示されたかどうかを判断する。ステップＳ２３１で“ＮＯ”であれば、つまり、対話終了でなければ、ステップＳ２０３に戻る。一方、ステップＳ２３１で“ＹＥＳ”であれば、つまり、対話終了であれば、ステップＳ２３３で、終了通知をサーバ１２に送信して、制御処理を終了する。
【0189】
【0190】
続くステップＳ２３７では、音声の入力が有るかどうかを判断する。ステップＳ２３７で“ＹＥＳ”であれば、つまり、音声の入力が有れば、ステップＳ２３９で、操作者音声データ４０４ｄすなわち他の操作者音声データをサーバ１２に送信して、ステップＳ２４１に進む。一方、ステップＳ２３７で“ＮＯ”であれば、つまり、音声の入力が無ければ、ステップＳ２４１に進む。
【0191】
ステップＳ２４１では、サーバ１２からデータを受信したかどうかを判断する。ステップＳ２４１で“ＹＥＳ”であれば、ステップＳ２４３で、受信したデータを出力して、ステップＳ２４９に進む。一方、ステップＳ２４１で“ＮＯ”であれば、ステップＳ２４５で、アクティブの要求指示が有るかどうかを判断する。ここでは、ＣＰＵ５０は、ボタン画像２８２がオンされたかどうかを判断する。
【0192】
ステップＳ２４５で“ＹＥＳ”であれば、つまり、アクティブの要求指示が有れば、ステップＳ２４７で、アクティブの要求通知をサーバ１２に送信して、ステップＳ２４９に進む。一方、ステップＳ２４５で“ＮＯ”であれば、つまり、アクティブの要求指示が無ければ、ステップＳ２４９に進む。
【0193】
ステップＳ２４９では、対話終了かどうかを判断する。ステップＳ２４９で“ＮＯ”であれば、ステップＳ２０３に戻る。一方、ステップＳ２４９で“ＹＥＳ”であれば、ステップＳ２５１で、終了通知をサーバ１２に送信して、制御処理を終了する。
【0194】
図２０は図４に示したユーザ端末１８のＣＰＵ８０の制御処理の一例を示すフロー図である。図示は省略するが、ＣＰＵ８０は、制御処理と並行して、操作データの検出処理を実行して操作データを記憶する処理したり、カメラ９６に撮影処理を実行させてユーザ映像データを記憶する処理を実行したり、音声の検出処理を実行してユーザ音声データを記憶する処理を実行したり、サーバ１２から送信されるデータ等を受信および記憶する処理を実行したりする。以下、ユーザ端末１８のＣＰＵ８０の制御処理について説明するが、重複する内容については簡単に説明することにする。
【0195】
ユーザ操作によって操作者の応対をサーバ１２に要求したり、接客ルームにおける対話の開始時間となりユーザが入室を指示したりすると、図２０に示すように、ＣＰＵ８０は、制御処理を開始し、ステップＳ３０１で、サーバ１２と接続状態を確立する。つまり、仮想の接客ルームに入室する。
【0196】
次のステップＳ３０５では、対話終了であるかどうかを判断する。ここでは、ＣＰＵ８０は、ユーザによって退室することが指示されたかどうかを判断する。ステップＳ３０５で“ＹＥＳ”であれば、つまり、対話終了であれば、ステップＳ３０７で、終了通知をサーバ１２に送信して、制御処理を終了する。一方、ステップＳ３０５で“ＮＯ”であれば、つまり、対話終了でなければ、ステップＳ３０９で、サーバ１２からデータを受信したかどうかを判断する。
【0197】
ステップＳ３０９で“ＮＯ”であれば、つまり、サーバ１２からデータを受信していなければ、ステップＳ３１９に進む。一方、ステップＳ３０９で“ＹＥＳ”であれば、つまり、サーバ１２からデータを受信すれば、ステップＳ３１１で、アバター音声データ５０４ｆが有るかどうかを判断する。
【0198】
ステップＳ３１１で“ＹＥＳ”であれば、つまり、アバター音声データ５０４ｆが有れば、ステップＳ３１３で、アバター音声データ５０４ｆをスピーカ９４に出力し、ステップＳ３１５で、アバター音声データ５０４ｆの出力に合わせてアバター画像データ５０４ｅを表示装置９０に出力して、ステップＳ３１９に進む。ステップＳ３１５では、アバター画像２０２は、アバターの音声にリップシンクされる。
【0199】
一方、ステップＳ３１１で“ＮＯ”であれば、つまり、アバター音声データ５０４ｆが無ければ、ステップＳ３１７で、アバター画像データ５０４ｅを表示装置９０に出力し、ステップＳ３１９に進む。
【0200】
ステップＳ３１９では、音声の入力が有るかどうかを判断する。ステップＳ３１９で“ＹＥＳ”であれば、つまり、音声の入力が有れば、ステップＳ３２１で、ユーザ映像データ５０４ｃとユーザ音声データ５０４ｄをサーバ１２に送信して、ステップＳ３０５に戻る。一方、ステップＳ３１９で“ＮＯ”であれば、つまり、音声の入力が無ければ、ステップＳ３２３で、ユーザ映像データ５０４ｃをサーバ１２に送信して、ステップＳ３０５に戻る。
【0201】
第１実施例によれば、ユーザに応対する複数の操作者は１種類のアバターを使用し、また、各操作者の音声を目標のピッチおよびフォルマントと一致するように変換するので、ユーザは違和感なく複数の操作者で操作される１種類のアバターと対話することができる。また、操作者が交代する度に自己紹介するなどの無駄を省略することができる。したがって、商談の進行を円滑に行うことができる。このため、複数人の操作者がアバターを用いて円滑に応対することができる。
【0202】
なお、第１実施例では、各操作者端末でアバター画像データを生成し、サーバを介してユーザ端末に送信されるため、操作者が交代するときに、アバターの動作が不連続になってしまい、ユーザに違和感を与えてしまう虞がある。したがって、操作者が交代する場合には、その前後でアバターの動作が連続的に行われるように、一旦、アバターを所定の姿勢（たとえば、両手を下に下ろして正面を向いた姿勢）にさせるようにしてもよい。
【0203】
また、この第１実施例では、操作者を撮影した映像データから生成した動作データを用いてアバターの動作を制御するようにしたが、これに限定される必要はない。アバターに実行させる一連の動作に対応する動作データを予め用意しておき、操作者がボタン操作などで指示した一連の動作に対応する動作データに基づいてアバター画像データを生成するようにしてもよい。一連の動作の例としては、お辞儀して元の姿勢（たとえば、直立の状態）に戻る動作、辺りを見渡すように顔の向きを左右に数回動かして元の姿勢に戻る動作、右手または／および左手を胴体の前で振ってから元の姿勢に戻る動作、右手または／および左手を挙げてから元の姿勢に戻る動作などである。
【0204】
また、この第１実施例では、操作者の音声に基づいて、アバターに発話させるようにしたが、発話する内容のアバター音声データ（たとえば、合成音声データ）を予め用意しておき、操作者がボタン操作などで指示した発話する内容に対応するアバター音声データをユーザ端末に送信して、アバターの発話を制御するようにしてもよい。
【0205】
ただし、アバターの一連の動作に対応する動作データに基づいたアバター画像データとともに発話する内容のアバター音声データを１つのボタンに設定しておき、アバター画像データとアバター音声データを一度に送信するようにしてもよい。
【0206】
さらに、この第１実施例では、ユーザ端末にアバター画像を表示したＣＧアバターがユーザに応対するようにしたが、アバターはロボットアバターであってもよい。この場合、アクティブ状態の操作者端末を使用する操作者の操作（つまり、遠隔操作）に従ってロボットアバターが動作され、アクティブ状態の操作者端末を使用する操作者の音声がロボットアバターの音声に変換されてロボットアバターから出力される。操作者端末からは、ロボットアバターを動作させるためのコマンドがサーバを介して送信される。ただし、操作者映像データから生成した動作データに基づいてロボットアバターを動作させるためのコマンドが生成されてもよい。一例として、コマンドには、ロボットアバターの各関節の角度の情報が含まれる。
【0207】
ロボットアバターとしては、遠隔操作により、身体動作または／および音声による対話が可能なロボットを使用することができる。また、ロボットアバターは、移動可能なロボットまたは据え置き型のロボットである。
【0208】
一例として、特開２００７－１９０６５９号に開示されたコミュニケーションロボットを用いることができ、また、この特開２００７－１９０６５９号に開示された方法でコミュニケーションロボットを遠隔操作することができる。
【0209】
このコミュニケーションロボットを用いる場合には、ロボットの顔の表情は変化されないため、サーバに送信するコマンドには顔の表情についての情報は含めなくてもよいし、ロボット側で無視するようにしてもよい。
【0210】
また、他の例として、特開２０１７－４７４９４号に開示されたアンドロイド（登録商標）ロボットを用いることができ、また、この特開２０１７－４７４９４号に開示された方法でアンドロイドロボットを遠隔操作することができる。
【0211】
＜第２実施例＞
第２実施例の情報処理システム１０は、サーバ１２がアバター画像データを生成するようにした以外は、第１実施例と同じであるため、異なる内容について説明し、重複する説明は省略することにする。
第２実施例の情報処理システム１０は、サーバ１２がアバター画像データを生成するようにした以外は、第１実施例と同じであるため、異なる内容について説明し、重複する説明は省略することにする。
【0212】
第２実施例の情報処理システム１０では、アクティブ状態の操作者端末１６は、操作者映像データに応じた動作データに従う動作を行うアバター画像データを生成してサーバ１２に送信することに代えて、操作者映像データに応じた動作データをサーバ１２に送信する。サーバ１２は、アクティブ状態の操作者端末１６から受信した動作データに従う動作を行うアバター画像データを生成し、生成したアバター画像データをユーザ端末１８に送信する。
【0213】
したがって、第２実施例では、サーバ１２によってアバター制御プログラム４０２ｈが実行され、アバター画像データ４０４ｆが生成される。つまり、サーバ１２のＲＡＭ２２には、アバター画像データ４０４ｆを生成するための画像生成データも記憶される。
【0214】
以下、第２実施例のサーバ１２のＣＰＵ２０、操作者端末１６のＣＰＵ５０およびユーザ端末１８のＣＰＵ８０の処理について説明するが、上述したように、重複する説明は省略する。
【0215】
図２１は第２実施例のサーバ１２のＣＰＵ２０で実行される対話中における送受信処理の一例を示すフロー図である。なお、第２実施例のサーバ１２のＣＰＵ２０で実行される入室管理処理および操作者切替処理は第１実施例と同じであるため、重複した説明は省略する。
【0216】
第２実施例の送受信処理では、第１実施例で示したステップＳ１０７に代えて、ステップＳ１０７ａおよびステップＳ１０７ｂが実行される。
【0217】
具体的には、ＣＰＵ２０は、ステップＳ１０５で“ＹＥＳ”である場合に、ステップＳ１０７ａで、受信した動作データを用いてアバター画像データを生成する。つまり、ＣＰＵ２０は、動作データに従う動作を行うアバター画像データを生成する。
【0218】
次のステップＳ１０７ｂでは、ステップＳ１０７ａで生成したアバター画像データおよび受信したアバター音声データをユーザ端末１８に送信して、ステップＳ１０９に進む。
【0219】
図２２は第２実施例の操作者端末１６のＣＰＵ５０で実行される制御処理の一例の一部を示すフロー図である。第２実施例の操作者端末１６では、図１７に示したステップＳ２０９の処理が削除される。また、図１７に示したステップＳ２１５およびステップＳ２１７に代えて、ステップＳ２１５ａおよびステップＳ２１７ａが実行される。
【0220】
具体的には、ＣＰＵ５０は、ステップＳ２０７の処理を実行すると、ステップＳ２１１に進む。また、ＣＰＵ５０は、ステップＳ２１１で“ＹＥＳ”であれば、ステップＳ２１３の処理を実行し、ステップＳ２１５ａで、ステップＳ２０７で生成した動作データ４０４ｅと、ステップＳ２１３で変換したアバター音声データ４０４ｇをサーバ１２に送信して、ステップＳ２１９に進む。一方、ステップＳ２１１で“ＮＯ”であれば、ステップＳ２１７ａで、ステップＳ２０７で生成した動作データ４０４ｅをサーバ１２に送信して、ステップＳ２１９に進む。
【0221】
【0222】
また、第２実施例のユーザ端末１８のＣＰＵ８０の制御処理は第１実施例と同じであるため、重複した説明は省略する。
【0223】
第２実施例においても、第１実施例と同様に、複数人の操作者がアバターを用いて円滑に応対することができる。
【0224】
なお、第２実施例では、サーバでアバター画像データを生成するため、アクティブ状態の操作者端末が変更された場合には、その前後でアバターの動作が連続するように、アバターを構成する各ポリゴンの位置等をアクティブ状態の操作者端末の変更の前後で補間（たとえば、線形補間）により算出することができる。
【0225】
また、第２実施例では、サーバでアバター画像データを生成するようにしたが、アバター音声データもサーバで生成するようにしてもよい。この場合、アクティブ状態の操作者端末から操作者音声データがサーバに送信される。ただし、各操作者に設定された、ピッチおよびフォルマントを変換する変換器のパラメータはサーバで管理される。各操作者に設定されたパラメータは、アクティブ状態に変更されるときに、操作者端末からサーバに送信されるようにすることもできる。
【0226】
＜第３実施例＞
第３実施例の情報処理システム１０は、文字情報によるメッセージのやり取りも可能にした以外は第１実施例および第２実施例と同じであるため、異なる内容について説明し、重複する説明は省略することにする。
第３実施例の情報処理システム１０は、文字情報によるメッセージのやり取りも可能にした以外は第１実施例および第２実施例と同じであるため、異なる内容について説明し、重複する説明は省略することにする。
【0227】
図２３は操作者グループの各操作者端末１６およびユーザ端末１８に表示されるチャット画面６００の一例を示す。チャット画面６００は、対話画面２００の一部または対話画面２００に重ねてアバター画像２０２の横に表示され、操作者側画面２５０の一部または操作者側画面２５０に重ねて表示領域２５２の外側に表示される。なお、分かり易く示すために、チャット画面６００を対話画面２００および操作者側画面２５０と同程度の大きさで示してある。
【0228】
第３実施例では、チャット画面６００は、予め表示されているものとして説明する。
【0229】
ただし、アクティブ状態の操作者端末１６の操作者またはユーザ端末１８のユーザがチャットの実行を指示したことに応じて、チャット画面６００が表示されるようにしてもよい。
【0230】
この場合、アクティブ状態の操作者端末１６の操作者がチャットの実行を指示したことに応じて、当該操作者端末１６の表示装置６０にチャット画面６００が表示され、チャットの実行が指示されたことがサーバ１２を介して非アクティブ状態の各操作者端末１６およびユーザ端末１８に送信され、非アクティブ状態の各操作者端末１６の表示装置６０およびユーザ端末１８の表示装置９０にチャット画面６００が表示される。
【0231】
同様に、ユーザ端末１８のユーザがチャットの実行を指示したことに応じて、当該ユーザ端末１８の表示装置９０にチャット画面６００が表示され、チャットの実行が指示されたことがサーバ１２を介して操作者グループの各操作者端末１６に送信され、操作者グループの各操作者端末１６の表示装置６０にチャット画面６００が表示される。
【0232】
図２３に示すように、チャット画面６００は、表示領域６０２を含み、表示領域６０２の右側に、スクロールバー６０４が設けられる。また、入力領域６０６およびボタン画像６０８が、表示領域６０２およびスクロールバー６０４の下方に設けられる。
【0233】
表示領域６０２は、文字情報によるメッセージのやり取りを表示するための領域である。表示領域６０２には、メッセージ画像６２０およびメッセージ画像６２２が表示される。メッセージ画像６２０は、アバターすなわちアクティブ状態の操作者端末１６の操作者のメッセージについての画像であり、メッセージ画像６２２は、ユーザ端末１８のユーザのメッセージについての画像であり、時系列に従ってチャット画面６００（表示領域６０２）の上から下向きに並んで表示される。
【0234】
メッセージ画像６２０は、識別画像６２０ａおよび枠画像６２０ｂを含む。識別画像６２０ａは、アバターの顔画像であり、アバターからのメッセージであることを識別するための画像である。識別画像６２０ａは、アバターの顔画像に代えて、または、アバターの顔画像とともに、アバターの名称または操作者の文字列が表示されてもよい。枠画像６２０ｂは、アバターのメッセージを表示するための表示枠を示す画像であり、吹き出し（バルーン）の形状を有している。
【0235】
メッセージ画像６２２は、識別画像６２２ａおよび枠画像６２２ｂを含む。識別画像６２２ａは、ユーザを示す画像であり、ユーザからのメッセージであることを識別するための画像である。識別画像６２２ａは、ユーザを示す画像に代えて、または、ユーザを示す画像とともに、ユーザの名称またはユーザの文字列が表示されてもよい。枠画像６２２ｂは、ユーザのメッセージを表示するための表示枠を示す画像であり、吹き出し（バルーン）の形状を有している。
【0236】
アクティブ状態の操作者端末１６の操作者は、入力装置５８を操作して、文字すなわちユーザからの問い合わせ（質問）に対する応答内容のメッセージを入力領域６０６に入力する。また、操作者は、入力装置５８を操作して、ボタン画像６０８をオンすると、入力領域６０６に入力されたメッセージがサーバ１２を介して、ユーザ端末１８および非アクティブ状態の各操作者端末１６に送信される。
【0237】
したがって、ユーザ端末１８は、メッセージを受信して、表示装置９０に表示されるチャット画面６００の表示領域６０２に、受信したメッセージを含むメッセージ画像６２０を表示する。このとき、メッセージ画像６２０は、時間的に最も新しい、この実施例では、一番下に配置されている、メッセージ画像６２０またはメッセージ画像６２２の下側に表示される。以下、メッセージ画像６２２が表示される場合も含めて同じである。
【0238】
同様に、非アクティブ状態の操作者端末１６は、メッセージを受信して、表示装置６０に表示されるチャット画面６００の表示領域６０２に、受信したメッセージを含むメッセージ画像６２０を表示する。また、このとき、アクティブ状態の操作者端末１６の表示装置６０に表示されるチャット画面６００において、入力領域６０６に入力されたメッセージを含むメッセージ画像６２０が表示領域６０２に表示される。入力領域６０６に入力されたメッセージは、サーバ１２に送信されるとともに、表示領域６０２に表示されるときに、入力領域６０６から消去される。
【0239】
いずれの操作者端末１６がアクティブ状態であっても同じアバターの顔画像の識別画像６２０ａを含むメッセージ画像６２０が表示される。つまり、異なる操作者が応対する場合であっても、１人の操作者がメッセージを送信しているように見せることができる。したがって、複数の操作者が交代で文字情報をやり取りする場合であっても、ユーザに同一のアバターすなわち同一人物が応対していると認識させることができる。
【0240】
また、操作者は、入力装置５８を操作して、チャット画面６００のスクロールバー６０４を上また下に移動させることで表示領域６０２をスクロールさせる。つまり、表示領域６０２に表示された１または複数のメッセージ画像６２０と、１または複数のメッセージ画像６２２が上または下に移動される。
【0241】
ユーザは、入力装置８８を操作して、文字すなわち問い合わせ（質問）内容のメッセージを入力領域６０６に入力する。また、ユーザは、入力装置８８を操作して、ボタン画像６０８をオンすると、入力領域６０６に入力されたメッセージがサーバ１２を介して、操作者グループの各操作者端末１６に送信される。
【0242】
したがって、各操作者端末１６は、メッセージを受信して、表示装置６０に表示されるチャット画面６００の表示領域６０２に、受信したメッセージを含むメッセージ画像６２２を表示する。また、このとき、ユーザ端末１８の表示装置９０に表示されるチャット画面６００において、入力領域６０６に入力されたメッセージを含むメッセージ画像６２２が表示領域６０２に表示される。入力領域６０６に入力されたメッセージは、サーバ１２に送信されるとともに、表示領域６０２に表示されるときに、入力領域６０６から消去される。
【0243】
また、ユーザは、入力装置８８を操作して、チャット画面６００のスクロールバー６０４を上また下に移動させることで表示領域６０２をスクロールさせる。つまり、表示領域６０２に表示された１または複数のメッセージ画像６２０と、１または複数のメッセージ画像６２２が上または下に移動される。
【0244】
第３実施例では、操作者グループの各操作者端末１６およびユーザ端末１８では、チャットのプログラムが実行可能に記憶される。
【0245】
以下、第３実施例のサーバ１２のＣＰＵ２０、操作者端末１６のＣＰＵ５０およびユーザ端末１８のＣＰＵ８０の処理について説明するが、上述したように、重複する説明は省略する。
【0246】
図２４は第３実施例のサーバ１２のＣＰＵ２０で実行される対話中における送受信処理の一例を示すフロー図である。なお、第３実施例のサーバ１２のＣＰＵ２０で実行される入室管理処理および操作者切替処理は第１実施例と同じであるため、重複する説明は省略する。
【0247】
第３実施例の送受信処理では、第１実施例で示した送受信処理において、ステップＳ１０９とステップＳ１１１の間にステップＳ１５１が追加される。
【0248】
また、ステップＳ１０１およびステップＳ１０３で実行される処理の内容が変更される。具体的には、ステップＳ１０１で受信したかどうかが判断されるのは、ユーザ映像データ３０４ｄおよびユーザ音声データ３０４ｅ、または、ユーザ映像データ３０４ｄ、あるいは、メッセージデータである。したがって、ステップＳ１０３では、ＣＰＵ２０は、ユーザ映像データ３０４ｄおよびユーザ音声データ３０４ｅ、または、ユーザ映像データ３０４ｄ、あるいは、メッセージデータを操作者グループの各操作者端末１６に送信する。
【0249】
さらに、ステップＳ１０５で実行される処理の内容が変更される。具体的には、ステップＳ１０５で受信したかどうかが判断されるのは、アバター画像データ３０４ｂおよびアバター音声データ３０４ｃ、または、アバター画像データ３０４ｂ、あるいは、メッセージデータである。したがって、ステップＳ１５１では、ＣＰＵ２０は、メッセージデータを非アクティブ状態の各操作者端末１６に送信する。ただし、アクティブ状態の操作者端末１６からメッセージデータを受信していない場合には、ステップＳ１５１の処理はスキップされる。
【0250】
図２５は第３実施例の操作者端末１６の制御処理の一部を示すフロー図である。図２５に示すように、第３実施例では、第１実施例の図１７に示したステップＳ２１５およびステップＳ２１７と、図１８に示したステップＳ２１９の間において、または、第２実施例の図２２に示したステップＳ２１５ａおよびステップＳ２１７ａと、図１８に示したステップＳ２１９の間において、ステップＳ２７１、Ｓ２７３、Ｓ２７５、Ｓ２７７、Ｓ２７９、Ｓ２８１、Ｓ２８３が実行される。
【0251】
具体的には、ＣＰＵ５０は、ステップＳ２１５またはステップＳ２１７の処理を実行すると、または、ステップＳ２１５ａまたはステップＳ２１７ａの処理を実行すると、ステップＳ２７１で、送信指示が有るかどうかを判断する。ここでは、チャット画面６００のボタン画像６０８がオンされたかどうかを判断する。
【0252】
なお、第３実施例では、ステップＳ２０５で、操作者側画面２５０を表示装置６０に表示するときに、チャット画面６００も表示される。
【0253】
ステップＳ２７１で“ＹＥＳ”であれば、つまり、送信指示が有れば、ステップＳ２７３で、入力領域６０６に入力された文字または文字列すなわちメッセージに対応するメッセージデータをサーバ１２に送信する。
【0254】
続くステップＳ２７５で、メッセージ画像６２０をチャット画面６００の表示領域６０２に表示し、ステップＳ２７７で、チャット画面６００の入力領域６０６に入力されたメッセージを消去して、ステップＳ２１９に進む。
【0255】
また、ステップＳ２７１で“ＮＯ”であれば、つまり、送信指示が無ければ、ステップＳ２７９で、文字の入力かどうかを判断する。ここでは、ＣＰＵ５０は、チャット画面６００において、入力装置５８を操作して、入力領域６０６に文字が入力されたかどうかを判断する。
【0256】
ステップＳ２７９で“ＹＥＳ”であれば、つまり、文字の入力であれば、ステップＳ２８１で、チャット画面６００の入力領域６０６に入力された文字を表示して、ステップＳ２１９に進む。一方、ステップＳ２７９で“ＮＯ”であれば、つまり、文字の入力でなければ、ステップＳ２８３で、その他の処理を実行して、ステップＳ２１９に進む。一例として、ＣＰＵ５０は、ステップＳ２８３で、スクロールバー６０４の移動に応じてチャット画面６００の表示領域６０２をスクロールさせる。ただし、チャット画面６００において、操作者の操作が無い場合には、ＣＰＵ５０は、ステップＳ２８３で、その他の処理を実行しないで、ステップＳ２１９に進む。
【0257】
【0258】
【0259】
具体的には、ＣＰＵ８０は、ステップＳ３０９で“ＹＥＳ”であれば、ステップＳ３５１で、サーバ１２から受信したメッセージデータが有るかどうかを判断する。ステップＳ３５１で“ＹＥＳ”であれば、つまり、サーバ１２から受信したメッセージデータが有れば、ステップＳ３５３で、チャット画面６００の表示領域６０２に、受信したメッセージを含むメッセージ画像６２０を表示して、ステップＳ３１１に進む。一方、ステップＳ３５１で“ＮＯ”であれば、つまり、サーバ１２から受信したメッセージが無ければ、ステップＳ３１１に進む。
【0260】
また、図２７に示すように、第３実施例では、第１実施例の図２０に示したステップＳ３２１およびステップＳ３２３と、ステップＳ３０５に戻る間において、ステップＳ３７１、Ｓ３７３、Ｓ３７５、Ｓ３７７、Ｓ３７９、Ｓ３８１、Ｓ３８３が実行される。このことは、第２実施例に第３実施例の変更を加える場合も同じである。
【0261】
具体的には、ＣＰＵ８０は、ステップＳ３２１またはステップＳ３２３の処理を実行すると、ステップＳ３７１で、送信指示が有るかどうかを判断する。ここでは、チャット画面６００のボタン画像６０８がオンされたかどうかを判断する。
【0262】
なお、第３実施例では、ステップＳ３０３で、対話画面２００を表示装置９０に表示するときに、チャット画面６００も表示される。
【0263】
ステップＳ３７１で“ＹＥＳ”であれば、つまり、送信指示が有れば、ステップＳ３７３で、入力領域６０６に入力された文字または文字列すなわちメッセージに対応するメッセージデータをサーバ１２に送信する。
【0264】
続くステップＳ３７５で、メッセージ画像６２２をチャット画面６００の表示領域６０２に表示し、ステップＳ３７７で、チャット画面６００の入力領域６０６に入力されたメッセージを消去して、ステップＳ３０５に戻る。
【0265】
また、ステップＳ３７１で“ＮＯ”であれば、つまり、送信指示が無ければ、ステップＳ３７９で、文字の入力かどうかを判断する。ここでは、ＣＰＵ８０は、チャット画面６００において、入力装置８８を操作して、入力領域６０６に文字が入力されたかどうかを判断する。
【0266】
ステップＳ３７９で“ＹＥＳ”であれば、つまり、文字の入力であれば、ステップＳ３８１で、チャット画面６００の入力領域６０６に入力された文字を表示して、ステップＳ３０５に戻る。一方、ステップＳ３７９で“ＮＯ”であれば、つまり、文字の入力でなければ、ステップＳ３８３で、その他の処理を実行して、ステップＳ３０５に戻る。一例として、ＣＰＵ８０は、ステップＳ３８３で、スクロールバー６０４の移動に応じてチャット画面６００の表示領域６０２をスクロールさせる。ただし、チャット画面６００において、ユーザの操作が無い場合には、ＣＰＵ８０は、ステップＳ３８３で、その他の処理を実行しないで、ステップＳ３０５に戻る。
【0267】
第３実施例においても、第１実施例および第２実施例と同様に、複数人の操作者がアバターを用いて円滑に応対することができる。
【0268】
また、第３実施例によれば、ユーザと文字情報でやり取りすることもできるため、より円滑に応対することができる。
【0269】
なお、第３実施例では、アクティブ状態の操作者端末の操作者がメッセージを送信できるようにしたが、非アクティブ状態の操作者端末の各操作者もメッセージを送信できるようにすることもできる。ただし、操作者グループの各操作者端末の操作者が一度にメッセージを送信し、一度にメッセージ画像をチャット画面に表示してしまうと、複数人の操作者が居ると認識してしまう虞がある。このため、サーバは、２以上の操作者端末から一度に複数のメッセージを受信した場合には、メッセージの長さに応じた時間間隔をあけて順次メッセージ画像を表示する。
【0270】
なお、上述の各実施例の情報処理システムにおいては、操作者グループの複数の操作者端末間で文字情報を送受信可能なチャット機能をさらに設けて、操作者グループの複数の操作者間で情報を共有するようにしてもよい。
【0271】
また、上述の各実施例で示したフロー図の各ステップは同じ結果が得られる場合には、処理する順番を変更することが可能である。
【0272】
さらに、上述の各実施例で挙げた各種の画面、具体的数値はいずれも単なる例示であり、必要に応じて適宜変更可能である。
【符号の説明】
【0273】
１０ …情報処理システム
１２ …サーバ
１４ …ネットワーク
１６ …操作者端末
１８ …ユーザ端末
２０、５０、８０ …ＣＰＵ
２２、５２、８２ …ＲＡＭ
２４、５４、８４ …通信Ｉ／Ｆ
２６、５６、８６ …入出力Ｉ／Ｆ
２８、５８、８８ …入力装置
３０、６０、９０ …表示装置
３２、６２、９２ …マイク
３４、６４、９４ …スピーカ
３６、６６、９６ …カメラ
１２ …サーバ
１４ …ネットワーク
１６ …操作者端末
１８ …ユーザ端末
２０、５０、８０ …ＣＰＵ
２２、５２、８２ …ＲＡＭ
２４、５４、８４ …通信Ｉ／Ｆ
２６、５６、８６ …入出力Ｉ／Ｆ
２８、５８、８８ …入力装置
３０、６０、９０ …表示装置
３２、６２、９２ …マイク
３４、６４、９４ …スピーカ
３６、６６、９６ …カメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】