知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024088981
(43)【公開日】2024-07-03
(54)【発明の名称】情報処理システムおよび情報処理方法
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240626BHJP
【ＦＩ】
G06F3/0481
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022204072
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】521413866
【氏名又は名称】ＡＶＩＴＡ株式会社
(74)【代理人】
【識別番号】100090181
【弁理士】
【氏名又は名称】山田 義人
(74)【代理人】
【識別番号】100168217
【弁理士】
【氏名又は名称】大村 和史
(72)【発明者】
【氏名】西口 昇吾
(72)【発明者】
【氏名】三上 崇志
(72)【発明者】
【氏名】石黒 浩
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA27
5E555BA02
5E555BA04
5E555BB02
5E555BB04
5E555DA03
5E555DA23
5E555DB32
5E555DC11
5E555FA00
(57)【要約】
【課題】 アバターを用いた新しいサービスを提供することができる。
【解決手段】 制御装置（１２）は、大画面表示装置１８にアバター画像２０２を表示し、操作者は、アバターを通して、大画面表示装置の前に居る複数のユーザに話し掛け、１または複数のユーザはこれに応答する。所定の条件を満たすと、１のユーザ端末（３０）の表示装置（１１０）にアバターに対応するアバター画像（２４２）が表示され、操作者は、アバターを通して、ユーザ端末を使用するユーザと対話する。返却条件を満たすと、ユーザ端末の表示装置に表示されたアバター画像は非表示され、操作者は、再び、アバターを通して、大画面表示装置の前に居る複数のユーザに話し掛ける。
【選択図】 図５
【解決手段】 制御装置（１２）は、大画面表示装置１８にアバター画像２０２を表示し、操作者は、アバターを通して、大画面表示装置の前に居る複数のユーザに話し掛け、１または複数のユーザはこれに応答する。所定の条件を満たすと、１のユーザ端末（３０）の表示装置（１１０）にアバターに対応するアバター画像（２４２）が表示され、操作者は、アバターを通して、ユーザ端末を使用するユーザと対話する。返却条件を満たすと、ユーザ端末の表示装置に表示されたアバター画像は非表示され、操作者は、再び、アバターを通して、大画面表示装置の前に居る複数のユーザに話し掛ける。
【選択図】 図５
【特許請求の範囲】
【請求項1】
複数のユーザが視認可能に配置されたコンピュータグラフィックスのアバターまたはロボットのアバター、
前記複数のユーザの各々が使用する複数のユーザ端末、
前記アバターの操作者が使用する操作者端末、および
前記操作者端末からの指示に従って、少なくとも前記アバターの動作を制御する制御装置を備える、情報処理システムであって、
前記制御装置は、所定の条件を満たす場合に、前記複数のユーザ端末のうちの少なくとも１の前記ユーザ端末を決定し、
前記操作者端末は、決定された少なくとも１の前記ユーザ端末と通信可能に接続し、
決定された少なくとも１の前記ユーザ端末は、前記アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置である端末表示装置に表示して、当該端末用アバター画像を用いた個別のサービスの提供を受ける、情報処理システム。
前記複数のユーザの各々が使用する複数のユーザ端末、
前記アバターの操作者が使用する操作者端末、および
前記操作者端末からの指示に従って、少なくとも前記アバターの動作を制御する制御装置を備える、情報処理システムであって、
前記制御装置は、所定の条件を満たす場合に、前記複数のユーザ端末のうちの少なくとも１の前記ユーザ端末を決定し、
前記操作者端末は、決定された少なくとも１の前記ユーザ端末と通信可能に接続し、
決定された少なくとも１の前記ユーザ端末は、前記アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置である端末表示装置に表示して、当該端末用アバター画像を用いた個別のサービスの提供を受ける、情報処理システム。
【請求項2】
前記複数のユーザが視認可能に設けられた共通表示装置を備え、
前記制御装置は、前記コンピュータグラフィックスのアバターについての共通アバター画像を前記共通表示装置に表示し、
前記端末用アバター画像が前記端末装置に表示されると、前記制御装置は、前記共通表示装置の前記共通アバター画像を非表示する、請求項１記載の情報処理システム。
前記制御装置は、前記コンピュータグラフィックスのアバターについての共通アバター画像を前記共通表示装置に表示し、
前記端末用アバター画像が前記端末装置に表示されると、前記制御装置は、前記共通表示装置の前記共通アバター画像を非表示する、請求項１記載の情報処理システム。
【請求項3】
前記ユーザ端末は、前記個別のサービスの提供が終了されると、前記端末表示装置に表示された前記端末用アバター画像を非表示し、
前記端末表示装置に表示された前記端末用アバター画像が非表示されると、前記制御装置は、前記共通表示装置に前記共通アバター画像を表示する、請求項２記載の情報処理システム。
前記端末表示装置に表示された前記端末用アバター画像が非表示されると、前記制御装置は、前記共通表示装置に前記共通アバター画像を表示する、請求項２記載の情報処理システム。
【請求項4】
前記コンピュータグラフィックスのアバターは、前記操作者端末からの動作データおよび音声データに従って動作および発話する、請求項１から３までのいずれかに記載の情報処理システム。
【請求項5】
前記端末用アバター画像が前記端末表示装置に表示されると、前記制御装置は、前記ロボットのアバターを停止させる、請求項１記載の情報処理システム。
【請求項6】
前記ユーザ端末は、前記個別のサービスの提供が終了されると、前記端末表示装置に表示された前記端末用アバター画像を非表示し、
前記ユーザ端末の表示装置から前記端末用アバター画像が非表示されると、前記制御装置は、前記操作者端末からの指示に従って前記ロボットのアバターを動作させる、請求項５記載の情報処理システム。
前記ユーザ端末の表示装置から前記端末用アバター画像が非表示されると、前記制御装置は、前記操作者端末からの指示に従って前記ロボットのアバターを動作させる、請求項５記載の情報処理システム。
【請求項7】
前記所定の条件は、前記ユーザ端末から前記個別のサービスの提供を受けることを前記制御装置に依頼したことである、請求項１記載の情報処理システム。
【請求項8】
前記所定の条件は、前記アバターからの要求に対して、前記ユーザ端末から前記個別のサービスの提供を受けることを前記制御装置に依頼したことである、請求項１記載の情報処理システム。
【請求項9】
２以上の前記ユーザ端末が前記個別のサービスの提供を受けることを前記制御装置に依頼した場合、前記制御装置は、所定のルールに従って前記２以上のユーザ端末のうちから１の前記ユーザ端末を決定する、請求項７または８記載の情報処理システム。
【請求項10】
複数のユーザが視認可能に配置されたコンピュータグラフィックスのアバターまたはロボットのアバター、
前記複数のユーザの各々が使用する複数のユーザ端末、
前記アバターの操作者が使用する操作者端末、および
前記操作者端末からの指示に従って、前記アバターの動作および発話を制御する制御装置を備える、情報処理システムであって、
前記制御装置は、
少なくとも前記操作者端末からの動作データおよび音声データに従って前記アバターの動作および発話を制御する第１アバター制御手段、
所定の条件を満たす場合に、前記複数のユーザ端末のうちから少なくとも１の前記ユーザ端末を決定する決定手段、および
前記決定手段によって決定された少なくとも１の前記ユーザ端末に前記操作者端末の接続情報を送信する接続情報送信手段を備え、
前記ユーザ端末は、
前記接続情報送信手段によって送信された前記操作者端末の接続情報を用いて前記操作者端末との接続状態を確立する確立手段、
前記確立手段によって前記操作者端末との接続状態が確立された場合に、前記アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置に表示させる表示制御手段、および
少なくとも前記操作者端末からの動作データおよび音声データに従って前記アバターの動作および発話を制御する第２アバター制御手段を備え、
前記操作者端末は、
前記操作者の動作および音声に基づいて動作データおよび音声データを生成する生成手段、および
前記生成手段によって生成された動作データおよび音声データを前記制御装置または前記ユーザ端末に送信するデータ送信手段を備える、情報処理システム。
前記複数のユーザの各々が使用する複数のユーザ端末、
前記アバターの操作者が使用する操作者端末、および
前記操作者端末からの指示に従って、前記アバターの動作および発話を制御する制御装置を備える、情報処理システムであって、
前記制御装置は、
少なくとも前記操作者端末からの動作データおよび音声データに従って前記アバターの動作および発話を制御する第１アバター制御手段、
所定の条件を満たす場合に、前記複数のユーザ端末のうちから少なくとも１の前記ユーザ端末を決定する決定手段、および
前記決定手段によって決定された少なくとも１の前記ユーザ端末に前記操作者端末の接続情報を送信する接続情報送信手段を備え、
前記ユーザ端末は、
前記接続情報送信手段によって送信された前記操作者端末の接続情報を用いて前記操作者端末との接続状態を確立する確立手段、
前記確立手段によって前記操作者端末との接続状態が確立された場合に、前記アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置に表示させる表示制御手段、および
少なくとも前記操作者端末からの動作データおよび音声データに従って前記アバターの動作および発話を制御する第２アバター制御手段を備え、
前記操作者端末は、
前記操作者の動作および音声に基づいて動作データおよび音声データを生成する生成手段、および
前記生成手段によって生成された動作データおよび音声データを前記制御装置または前記ユーザ端末に送信するデータ送信手段を備える、情報処理システム。
【請求項11】
複数のユーザが視認可能に配置されたコンピュータグラフィックスのアバターまたはロボットのアバター、
前記複数のユーザの各々が使用する複数のユーザ端末、
前記アバターの操作者が使用する操作者端末、および
前記操作者端末からの指示に従って、少なくとも前記アバターの動作を制御する制御装置を備える、情報処理システムの情報処理方法であって、
前記制御装置は、所定の条件を満たす場合に、前記複数のユーザ端末のうちの少なくとも１の前記ユーザ端末を決定し、
前記操作者端末は、決定された少なくとも１の前記ユーザ端末と通信可能に接続し、
決定された少なくとも１の前記ユーザ端末は、前記アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置に表示して、当該端末用アバター画像を用いた個別のサービスの提供を受ける、情報処理方法。
前記複数のユーザの各々が使用する複数のユーザ端末、
前記アバターの操作者が使用する操作者端末、および
前記操作者端末からの指示に従って、少なくとも前記アバターの動作を制御する制御装置を備える、情報処理システムの情報処理方法であって、
前記制御装置は、所定の条件を満たす場合に、前記複数のユーザ端末のうちの少なくとも１の前記ユーザ端末を決定し、
前記操作者端末は、決定された少なくとも１の前記ユーザ端末と通信可能に接続し、
決定された少なくとも１の前記ユーザ端末は、前記アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置に表示して、当該端末用アバター画像を用いた個別のサービスの提供を受ける、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報処理システムおよび情報処理方法に関し、特にたとえば、複数のユーザに視認可能に配置されたアバターに対応するアバター画像を、少なくとも１つのユーザ端末に表示して当該アバターの操作者の指示に従ってアバターを動作させる、情報処理システムおよび情報処理方法に関する。
【背景技術】
【0002】
この種の情報処理システムに近似する先行技術は存在しなかった。アバターを介して操作者とコミュニケーションを行う先行技術の一例が特許文献１に開示される。この特許文献１に開示されるコミュニケーションシステムでは、テレイグジスタンスモードが設定された状態で、オペレータ端末は、オペレータの表情およびジェスチャを座標データに変換し、応答音声データと共に応対端末へ送信する。応対端末は、オペレータ端末から送られた座標データに基づいてアバターを生成することで、オペレータの表情およびジェスチャがアバターの表情および仕草に反映されたキャラクタ応対情報を生成し、ユーザに向けて表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－５６９４０号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の特許文献１では、応対端末を使用するユーザとオペレータ端末を使用するオペレータが、応対端末にアバターを表示して対話するだけであり、複数のユーザが存在する場合および複数の応対端末が設けられる場合については何ら考慮されていない。
【0005】
それゆえに、この発明の主たる目的は、新規な、情報処理システムおよび情報処理方法を提供することである。
【0006】
また、この発明の他の目的は、アバターを用いた新しいサービスを提供することができる、情報処理システムおよび情報処理方法を提供することである。
【課題を解決するための手段】
【0007】
第１の発明は、複数のユーザが視認可能に配置されたコンピュータグラフィックスのアバターまたはロボットのアバター、複数のユーザの各々が使用する複数のユーザ端末、アバターの操作者が使用する操作者端末、および操作者端末からの指示に従って、少なくともアバターの動作を制御する制御装置を備える、情報処理システムであって、制御装置は、所定の条件を満たす場合に、複数のユーザ端末のうちの少なくとも１のユーザ端末を決定し、操作者端末は、決定された少なくとも１のユーザ端末と通信可能に接続し、決定された少なくとも１のユーザ端末は、アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置である端末表示装置に表示して、当該端末用アバター画像を用いた個別のサービスの提供を受ける、情報処理システムである。
【0008】
第２の発明は、第１の発明に従属し、複数のユーザが視認可能に設けられた共通表示装置を備え、制御装置は、コンピュータグラフィックスのアバターについての共通アバター画像を共通表示装置に表示し、端末用アバター画像が端末装置に表示されると、制御装置は、共通表示装置の共通アバター画像を非表示する。
【0009】
第３の発明は、第２の発明に従属し、ユーザ端末は、個別のサービスの提供が終了されると、端末表示装置に表示された端末用アバター画像を非表示し、端末表示装置に表示された端末用アバター画像が非表示されると、制御装置は、共通表示装置に共通アバター画像を表示する。
【0010】
第４の発明は、第１から第３の発明までのいずれかに従属し、コンピュータグラフィックスのアバターは、操作者端末からの動作データおよび音声データに従って動作および発話する。
【0011】
第５の発明は、第１の発明に従属し、端末用アバター画像が端末表示装置に表示されると、制御装置は、ロボットのアバターを停止させる。
【0012】
第６の発明は、第５の発明に従属し、ユーザ端末は、個別のサービスの提供が終了されると、端末表示装置に表示された端末用アバター画像を非表示し、ユーザ端末の表示装置から端末用アバター画像が非表示されると、制御装置は、操作者端末からの指示に従ってロボットのアバターを動作させる。
【0013】
第７の発明は、第１の発明に従属し、所定の条件は、ユーザ端末から個別のサービスの提供を受けることを制御装置に依頼したことである。
【0014】
第８の発明は、第１の発明に従属し、所定の条件は、アバターからの要求に対して、ユーザ端末から個別のサービスの提供を受けることを制御装置に依頼したことである。
【0015】
第９の発明は、第７または第８の発明に従属し、２以上のユーザ端末が個別のサービスの提供を受けることを制御装置に依頼した場合、制御装置は、所定のルールに従って２以上のユーザ端末のうちから１のユーザ端末を決定する。
【0016】
第１０の発明は、複数のユーザが視認可能に配置されたコンピュータグラフィックスのアバターまたはロボットのアバター、複数のユーザの各々が使用する複数のユーザ端末、アバターの操作者が使用する操作者端末、および操作者端末からの指示に従って、アバターの動作および発話を制御する制御装置を備える、情報処理システムであって、制御装置は、少なくとも操作者端末からの動作データおよび音声データに従ってアバターの動作および発話を制御する第１アバター制御手段、所定の条件を満たす場合に、複数のユーザ端末のうちから少なくとも１のユーザ端末を決定する決定手段、および決定手段によって決定された少なくとも１のユーザ端末に操作者端末の接続情報を送信する接続情報送信手段を備え、ユーザ端末は、接続情報送信手段によって送信された操作者端末の接続情報を用いて操作者端末との接続状態を確立する確立手段、確立手段によって操作者端末との接続状態が確立された場合に、アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置に表示させる表示制御手段、および少なくとも操作者端末からの動作データおよび音声データに従ってアバターの動作および発話を制御する第２アバター制御手段を備え、操作者端末は、操作者の動作および音声に基づいて動作データおよび音声データを生成する生成手段、および生成手段によって生成された動作データおよび音声データを制御装置またはユーザ端末に送信するデータ送信手段を備える、情報処理システムである。
【0017】
第１１の発明は、複数のユーザが視認可能に配置されたコンピュータグラフィックスのアバターまたはロボットのアバター、複数のユーザの各々が使用する複数のユーザ端末、アバターの操作者が使用する操作者端末、および操作者端末からの指示に従って、少なくともアバターの動作を制御する制御装置を備える、情報処理システムの情報処理方法であって、制御装置は、所定の条件を満たす場合に、複数のユーザ端末のうちの少なくとも１のユーザ端末を決定し、操作者端末は、決定された少なくとも１のユーザ端末と通信可能に接続し、決定された少なくとも１のユーザ端末は、アバターに対応する端末用アバター画像を当該ユーザ端末の表示装置に表示して、当該端末用アバター画像を用いた個別のサービスの提供を受ける、情報処理方法である。
【発明の効果】
【0018】
この発明によれば、アバターを用いた新しいサービスを提供することができる。
【0019】
この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
図１を参照して、この実施例の情報処理システム１０は制御装置１２を含み、制御装置１２は、ネットワーク１４を介して、操作者端末１６および複数のユーザ端末３０に通信可能に接続される。また、情報処理システム１０は、大画面表示装置１８、マイク２０、スピーカ２２およびカメラ２４を含み、制御装置１２は、大画面表示装置（「共通表示装置」に対応する）１８、マイク２０、スピーカ２２およびカメラ２４のそれぞれに接続される。
【0022】
この実施例では、制御装置１２に、大画面表示装置１８、マイク２０、スピーカ２２およびカメラ２４が接続されるように示してあるが、大画面表示装置１８、マイク２０、スピーカ２２およびカメラ２４は制御装置１２に含められてもよい。
【0023】
一例として、Web Real-Time Communication (WebRTC)の技術によって、制御装置１２と操作者端末１６の間、および、操作者端末１６と各ユーザ端末３０の間で、Ｗｅｂブラウザを介して映像または／および音声をリアルタイムに送受信することができる。たとえば、制御装置１２と操作者端末１６は、Ｐ２Ｐ(Peer to Peer)通信を行い、操作者端末１６と各ユーザ端末３０は、Ｐ２Ｐ通信を行う。この場合、制御装置１２がＷｅｂＲＴＣによる通信相手に関する情報を取得するためのシグナリングサーバとしても機能することができる。
【0024】
なお、ＷｅｂＲＴＣは、複数のサーバを組み合わせて利用することが可能である。具体的には、ＷｅｂＲＴＣを利用するための複数のサーバには、シグナリングサーバの他に、スタン（ＳＴＵＮ）サーバ及びターン（ＴＵＲＮ）サーバ等が含まれる。詳細な説明は省略するが、スタンサーバおよびターンサーバは通信相手が異なるネットワークに存在している場合にいわゆるＮＡＴ（Network Address Translation）越えをするためのサーバである。
【0025】
操作者端末１６は操作者によって使用され、複数のユーザ端末３０は、それぞれ、異なるユーザによって使用される。この実施例では、ユーザは、アバターを用いて提供される所定のサービスを利用する者（すなわち、顧客）である。操作者は、アバターを操作してユーザに所定のサービスを提供するものである。
【0026】
制御装置１２は、情報処理装置であり、汎用のＰＣまたはサーバを用いることができる。制御装置１２は、この実施例の所定のサービスを提供するために設けられる。
【0027】
ネットワーク１４は、インターネットを含むＩＰ網（または、ＩＰネットワーク）と、このＩＰ網にアクセスするためのアクセス網（または、アクセスネットワーク）とから構成される。アクセス網としては、公衆電話網、携帯電話網、有線ＬＡＮ、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等を用いることができる。
【0028】
操作者端末１６は、制御装置１２およびユーザ端末３０とは異なる他の情報処理装置であり、一例として、ノート型ＰＣまたはデスクトップ型ＰＣであるが、スマートフォンまたはタブレットＰＣなどの汎用の端末を用いることもできる。
【0029】
ユーザ端末３０は、制御装置１２および操作者端末１６とは異なるその他の情報処理装置であり、一例として、スマートフォンであるが、タブレットＰＣまたはノート型ＰＣなどの汎用の携帯型の端末を用いることもできる。
【0030】
図２は図１に示した制御装置１２の電気的な構成の一例を示すブロック図である。図２に示すように、制御装置１２はＣＰＵ５０を含み、ＣＰＵ５０は、内部バスを介して、ＲＡＭ５２、通信インタフェース（以下、「通信Ｉ／Ｆ」という）５４および入出力インタフェース（以下、「入出力Ｉ／Ｆ」という）５６に接続される。
【0031】
ＣＰＵ５０は、制御装置１２の全体的な制御を司る。ただし、ＣＰＵ５０に代えて、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）を設けてもよい。
【0032】
ＲＡＭ５２は、主記憶装置であり、ＣＰＵ５０のワーク領域またはバッファ領域として使用される。図示は省略するが、制御装置１２には、補助記憶装置として、ＨＤＤおよびＲＯＭが設けられる。ただし、ＨＤＤに代えて、または、ＨＤＤに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0033】
通信Ｉ／Ｆ５４は、ＣＰＵ５０の制御の下、ネットワーク１４を介して、ユーザ端末３０および操作者端末１６などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うための有線インタフェースである。ただし、通信Ｉ／Ｆ５４としては、無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースを使用することもできる。
【0034】
入出力Ｉ／Ｆ５６には、入力装置５８が接続される。入力装置５８は、キーボードおよびコンピュータマウスである。入出力Ｉ／Ｆ５６は、入力装置５８から入力された操作データ（または、操作情報）をＣＰＵ５０に出力する。
【0035】
また、入出力Ｉ／Ｆ５６には、図１に示した、大画面表示装置１８、マイク２０、スピーカ２２およびカメラ２４が接続される。大画面表示装置１８は、一例として、１００インチを超える大型の液晶表示装置である。マイク２０は、汎用の収音マイクである。マイク２０は複数設けられてもよい。スピーカ２２は、汎用のステレオスピーカである。カメラ２４は、汎用のＣＣＤカメラである。
【0036】
入出力Ｉ／Ｆ５６は、ＣＰＵ５０から出力される画像データを大画面表示装置１８に出力する。この実施例では、操作者の分身であるアバター（または、キャラクタ）に対応するアバター画像を含むアバター画面の画像データが出力される。ただし、外部のコンピュータ（たとえば、制御装置１２または操作者端末１６）から受信した画像データがＣＰＵ５０によって出力される場合もある。
【0037】
また、入出力Ｉ／Ｆ５６は、マイク２０で検出された１または複数のユーザの音声をデジタルの音声データ（以下、「会場音声データ」という）に変換してＣＰＵ５０に出力したり、ＣＰＵ５０によって出力される音声データをアナログの音声信号に変換してスピーカ２２から出力させたり、カメラ２４で撮影（検出）された１または複数のユーザを含む映像の映像データ（以下、「会場映像データ」という）をＣＰＵ５０に出力したりする。ただし、この実施例では、ＣＰＵ５０から出力される音声データは、操作者端末１６から受信した操作者の音声データまたは操作者の音声をアバターの音声に変換した音声データである。以下、これらの音声データを操作者音声データと呼ぶことにする。
【0038】
なお、図２に示す制御装置１２の電気的な構成は一例であり、限定される必要はない。
【0039】
図３は図１に示した操作者端末１６の電気的な構成を示すブロック図である。図３に示すように、操作者端末１６はＣＰＵ７０を含み、ＣＰＵ７０は、内部バスを介して、ＲＡＭ７２、通信Ｉ／Ｆ７４および入出力Ｉ／Ｆ７６に接続される。
【0040】
ＣＰＵ７０は、操作者端末１６の全体的な制御を司る。ただし、ＣＰＵ７０に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。
【0041】
ＲＡＭ７２は、主記憶装置であり、ＣＰＵ７０のワーク領域またはバッファ領域として使用される。図示は省略するが、操作者端末１６には、補助記憶装置として、ＨＤＤおよびＲＯＭが設けられる。ただし、ＨＤＤに代えて、または、ＨＤＤに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0042】
通信Ｉ／Ｆ７４は、ＣＰＵ７０の制御の下、ネットワーク１４を介して、操作者端末１６などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うための有線インタフェースである。ただし、通信Ｉ／Ｆ７４としては、無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースを使用することもできる。
【0043】
入出力Ｉ／Ｆ７６には、入力装置７８、表示装置８０、マイク８２、スピーカ８４およびカメラ８６が接続されている。マイク８２およびスピーカ８４は、操作者がユーザとの間で音声通話するために使用するマイク付きのヘッドセットを構成してもよい。
【0044】
また、入力装置７８は、キーボードおよびコンピュータマウスである。さらに、タッチパネルが設けられる場合もある。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。
【0045】
表示装置８０は、一例として、液晶表示装置である。マイク８２は、汎用の収音マイクである。スピーカ８４は、汎用のステレオスピーカである。カメラ８６は、汎用のＣＣＤカメラである。
【0046】
ただし、操作者端末１６として、スマートフォンまたはタブレットＰＣが用いられる場合には、入力装置７８は、タッチパネルおよびハードウェアのボタンである。
【0047】
入出力Ｉ／Ｆ７６は、マイク８２で検出された操作者の音声をデジタルの音声データに変換してＣＰＵ７０に出力したり、ＣＰＵ７０によって出力される音声データをアナログの音声信号に変換してスピーカ８４から出力させたり、カメラ８６で撮影（検出）された操作者の映像の映像データ（以下、「操作者映像データ」という）をＣＰＵ７０に出力したりする。ただし、この実施例では、ＣＰＵ７０から出力される音声データは、制御装置１２から受信した会場音声データまたはユーザ端末３０から受信したユーザの音声データ（以下、「ユーザ音声データ」という）である。
【0048】
また、入出力Ｉ／Ｆ７６は、入力装置７８から入力された操作データ（または、操作情報）をＣＰＵ７０に出力し、また、ＣＰＵ７０によって生成された画像データを表示装置８０に出力して、画像データに対応する画面を表示装置８０に表示させる。ただし、外部のコンピュータ（たとえば、制御装置１２またはユーザ端末３０）から受信した画像データがＣＰＵ７０によって出力される場合もある。制御装置１２から受信した画像データは、会場映像データである。また、ユーザ端末３０から受信した画像データは、ユーザを含む映像のデータ（以下、「ユーザ映像データ」という）である。
【0049】
なお、図３に示す操作者端末１６の電気的な構成は一例であり、限定される必要はない。
【0050】
また、操作者端末１６がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この実施例では、そのような通話は行わないため、図示は省略してある。
【0051】
図４は図１に示したユーザ端末３０の電気的な構成を示すブロック図である。図４に示すように、ユーザ端末３０はＣＰＵ１００を含み、ＣＰＵ１００は、内部バスを介して、ＲＡＭ１０２、通信Ｉ／Ｆ１０４および入出力Ｉ／Ｆ１０６に接続される。
【0052】
ＣＰＵ１００は、ユーザ端末３０の全体的な制御を司る。ただし、ＣＰＵ１００に代えて、ＣＰＵ機能、ＧＰＵ機能等の複数の機能を含むＳｏＣを設けてもよい。
【0053】
ＲＡＭ１０２は、主記憶装置であり、ＣＰＵ１００のワーク領域またはバッファ領域として使用される。図示は省略するが、ユーザ端末３０には、補助記憶装置として、ＨＤＤおよびＲＯＭが設けられる。ただし、ＨＤＤに代えて、または、ＨＤＤに加えて、ＳＳＤ等の不揮発性メモリが使用されてもよい。
【0054】
通信Ｉ／Ｆ１０４は、ＣＰＵ１００の制御の下、ネットワーク１４を介して、ユーザ端末３０などの外部のコンピュータとの間で、制御信号およびデータの送受信を行うための無線ＬＡＮまたはBluetooth（登録商標）等の無線インタフェースである。ただし、場合によっては、通信Ｉ／Ｆ１０４として、有線インタフェースを使用することもできる。
【0055】
入出力Ｉ／Ｆ１０６には、入力装置１０８、表示装置１１０、マイク１１２、スピーカ１１４およびカメラ１１６が接続されている。入力装置１０８は、タッチパネルおよびハードウェアのボタンである。タッチパネルは、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。
【0056】
表示装置１１０は、一例として、液晶表示装置である。マイク１１２は、汎用の収音マイクである。スピーカ１１４は、汎用のステレオスピーカである。カメラ１１６は、汎用のＣＣＤカメラである。
【0057】
ただし、ユーザ端末３０として、ノート型ＰＣが用いられる場合には、入力装置１０８は、キーボードおよびコンピュータマウスである。さらに、タッチパネルが設けられる場合もある。
【0058】
入出力Ｉ／Ｆ１０６は、マイク１１２で検出されたユーザの音声をデジタルの音声データすなわちユーザ音声データに変換してＣＰＵ１００に出力したり、ＣＰＵ１００によって出力される音声データをアナログの音声信号に変換してスピーカ１１４から出力させたり、カメラ１１６で撮影（検出）されたユーザを含む映像の映像データすなわちユーザ映像データをＣＰＵ１００に出力したりする。ただし、この実施例では、ＣＰＵ１００から出力される音声データは、操作者端末１６から受信した操作者音声データである。
【0059】
また、入出力Ｉ／Ｆ１０６は、入力装置１０８から入力された操作データ（または、操作情報）をＣＰＵ１００に出力するとともに、ＣＰＵ１００によって生成された画像データを表示装置１１０に出力して、画像データに対応する画面または画像を表示装置１１０に表示させる。ただし、外部のコンピュータ（たとえば、制御装置１２または操作者端末１６）から受信した画像データがＣＰＵ１００によって出力される場合もある。
【0060】
なお、図４に示すユーザ端末３０の電気的な構成は一例であり、限定される必要はない。また、各ユーザ端末３０は、同じ構成である必要はない。
【0061】
また、ユーザ端末３０がスマートフォンである場合には、携帯電話通信網、または、携帯電話網および公衆電話網を介して、通話するための通話回路を備えるが、この実施例では、そのような通話は行わないため、図示は省略してある。
【0062】
以下、この実施例の情報処理システム１０の動作について説明するが、各ユーザ端末３０の動作は同じであるため、複数台のうちの１台について説明し、他のユーザ端末３０についての説明は省略することにする。
【0063】
簡単に説明すると、このような情報処理システム１０では、少なくとも、大画面表示装置１８、マイク２０、スピーカ２２およびカメラ２４がこの実施例のサービスが提供される場所ないし会場に設置される。この実施例のアバターを用いたサービスは、会場に居る複数のユーザの全体に対して行われるサービス（以下、「全体のサービス」という）と、会場に居る複数のユーザに対して個別に行われるサービス（以下、「個別のサービス」という）を含む。
【0064】
一例として、図５に示すように、大画面表示装置１８は、複数のユーザに視認可能に配置され、マイク２０は１または複数のユーザの音声を検出可能に大画面表示装置１８の前方の数メートル離れた位置に配置され、スピーカ２２は複数のユーザに聴取可能に大画面表示装置１８の左右にそれぞれ配置され、カメラ２４は複数のユーザを撮影可能に大画面表示装置１８の上方（または、上端）に配置される。上述したように、マイク２０は複数設けられてもよい。また、図５では制御装置１２は省略してある。
【0065】
この実施例の全体のサービスでは、コンピュータグラフィックス（以下、「ＣＧ」という）のアバター（または、ＣＧのキャラクタ）についてのアバター画像（「共通アバター画像」に相当する）２０２を含むアバター画面２００が大画面表示装置１８に表示され、ＣＧのアバターが大画面表示装置１８の前に居る複数のユーザに対して、身振り手振りしながら、話し掛けたり、歌を歌ったりする。１または複数のユーザは、アバターからの話し掛けに応じてアバターに答えたり、アバターに話し掛けたり、歌を聞いたりする。
【0066】
この実施例では、大画面表示装置１８に表示されるアバターの動作および音声は、操作者端末１６の操作者の動作および音声に基づいて制御される。動作は、身振り手振り、顔の向きおよび顔の表情を含む。操作者の動作は、操作者端末１６のカメラ８６で撮影された操作者の映像から検出される。操作者の音声は、マイク８２で検出される。
【0067】
操作者端末１６では、操作者の動作に基づいてアバターの動作を制御するための動作データが生成され、操作者の音声に基づいてアバターの発話（音声の出力）を制御するための音声データが生成される。動作データは、アバターの身振り手振り、顔の向きおよび顔の表情を制御するための各部位の位置および向きの情報（データ）である。具体的には、動作データは、顔の各部位すなわち眉毛、眼（上瞼、下瞼）、鼻および口（上唇、下唇）の位置（座標データ）と、顔の向き、手、腕、肩、腰、膝および足首の位置（座標データ）と、手首および足首の向きについての情報である。音声データは、操作者の音声をアバターの音声に変換した音声のデータである。ただし、音声データは、操作者の音声のデータをそのまま用いることもできる。
【0068】
なお、操作者の動作に基づいてアバターの動作を制御するための動作データは、一例として、MediaPipe Holisticのような画像処理ライブラリを用いて生成することができる。他の例では、背景技術の特開２０２１－５６９４０号に開示された方法を用いることもできる。
【0069】
制御装置１２では、動作データに従ってアバター画像２０２を変化させる。したがって、アバターは動作される。また、制御装置１２は、受信した操作者音声データをスピーカ２２に出力する。つまり、制御装置１２は、操作者端末１６からの指示に従って大画面表示装置１８に表示されるアバター画像２０２(アバター)を制御する。ただし、操作者端末１６からの指示は、動作データ、または、動作データおよび操作者音声データである。
【0070】
このようなアバターの制御については、後述するように、ユーザ端末３０の表示装置１１０に表示されるアバターを制御する場合についても同様である。
【0071】
一方、複数のユーザを含む映像はカメラ２４で撮影され、会場の様子を示す映像の映像データすなわち会場映像データは制御装置１２から操作者端末１６に送信される。また、１または複数のユーザの音声はマイク２０で検出され、会場の音声の音声データすなわち会場音声データは制御装置１２から操作者端末１６に送信される。会場映像データは、操作者端末１６の表示装置８０に出力され、会場音声データは、操作者端末１６のスピーカ８４から出力される。したがって、操作者は会場の様子を見たり聞いたりしながら、アバターを制御することができる。
【0072】
また、所定の条件が満たされると、複数のユーザ端末３０（または、ユーザ）から１のユーザ端末３０が決定され、決定された１のユーザ端末３０（または、ユーザ）が個別のサービスの提供を受ける。
【0073】
この実施例では、全体のサービスを提供している場合に、操作者がユーザ端末３０への招待を要求する指示（以下、「要求指示」という）を制御装置１２に送信すると、制御装置１２の制御に従って、アバターがユーザ端末３０への招待を呼び掛ける。つまり、ユーザ端末３０への招待が要求される。たとえば、「私を自分の端末に呼んでね」という音声がスピーカ２２から出力されるとともに、この音声の出力に合わせて、アバター画像２０２が招待を要求（または、お願い）することを表現する動作を行うように変化される。このとき、アバター画像２０２は、スピーカ２２から出力される音声にリップシンクされる。以下、音声に合わせてアバターを動作させる場合について同じである。これらのことは、後述するように、ユーザ端末３０にアバター画像２４２が表示される場合も同じである。
【0074】
この実施例では、ユーザ端末３０への招待を要求するためのアバターの一連の動作の動作データおよびアバターの音声データは制御装置１２に記憶されているものとする。ただし、これらの動作データおよび音声データは、要求指示とともに、操作者端末１６から制御装置１２に送信されるようにすることもできる。また、一例として、ユーザ端末３０への招待を要求するための一連の動作は、アバターが右手を挙げて辺りを見渡すように顔の向きを左右に数回動かして元の姿勢（たとえば、直立の状態）に戻る動作である。
【0075】
ユーザは、自身のユーザ端末３０を操作して、この実施例の個別のサービスの提供を受けるためのアプリケーション・プログラム（制御プログラム）を実行する。すると、図６に示すような、アバターを招待するための画面（以下、「招待画面」という）２２０が表示装置１１０に表示される。
【0076】
図６に示すように、招待画面２２０は、ほぼ中央にボタン画像２２２が設けられ、下端部にボタン画像２２４が設けられる。ボタン画像２２２は、アバターを招待することを制御装置１２に指示するためのアイコンである。ボタン画像２２４は、個別のサービスを受けるためのアプリケーション・プログラムを終了するためのアイコンである。
【0077】
アバターからの要求に応じて、ユーザがボタン画像２２２をオンすると、アバターを自身のユーザ端末３０に招待することの通知（以下、「招待通知」という）が制御装置１２に送信される。つまり、アバターを招待することが制御装置１２に依頼される。招待通知には、ユーザ端末３０の接続情報（ＩＰアドレスなど）も含まれる。
【0078】
制御装置１２は、アバターがユーザに対して招待を要求してから所定時間（たとえば、３０秒）ユーザ端末３０からの招待通知が有るのを待機する。複数のユーザ端末３０から招待要求の通知が有ると、制御装置１２は、個別のサービスを提供する１のユーザ端末３０を所定のルールに従って決定する。所定のルールは、所定の番目（たとえば、１番）に招待要求の通知が有ったことである。
【0079】
ただし、所定のルールは、個別のサービスの提供を受けるための料金をユーザが決める場合には最も高額を設定したこと、または、個別のサービスの提供を受けるためにクイズに答える場合にはクイズに最初に正解したことでもよい。
【0080】
所定時間待機してもユーザ端末３０からの招待通知が無い場合には、制御装置１２は、招待通知が無いことの通知（以下、「招待無し通知」という）を操作者端末１６に送信する。操作者端末１６は、招待無し通知を受信すると、そのことを操作者に報知する。一例として、「ユーザからの招待がありません」というメッセージがテキストで表示装置８０に表示されたり、音声でスピーカ８４から出力されたりする。したがって、操作者は、再度、要求指示を出したり、大画面表示装置１８の前に居る複数のユーザに話し掛けたり、歌を歌ったりすることができる。
【0081】
制御装置１２は、個別のサービスを提供する１のユーザ端末３０を決定すると、このユーザ端末３０の接続情報を操作者端末１６に送信するとともに、このユーザ端末３０に操作者端末１６の接続情報を送信する。
【0082】
また、このとき、制御装置１２は、全体のサービスの提供を停止する。この実施例では、アバター画面２００（アバター画像２０２）が非表示され、操作者音声データの出力も停止される。また、マイク２０での音声の検出およびカメラ２４での撮影も停止される。
【0083】
ただし、アバター画面２００(アバター画像２０２)を非表示することに代えて、静止画のアバター画像２０２を表示したり、首を動かしたり（相槌を打ったり）、瞬きしたり、髪の毛を触ったりするような無意識動作するアバター画像２０２のアニメーションを再生したり、予め定義（用意）されたアバター画像２０２の待機アニメーションまたは待機モーションが再生されたりする。待機アニメーションまたは待機モーションは、一般的な３次元コンピュータグラフィックスの仮想のゲームなどで用いられる関節角アニメーションを意味する。この場合、アバターは、操作者の操作に基づいて制御されず、制御装置１２で制御されるため、アバター画像２０２を生成するためのデータとして、アバターが静止した状態の画像データ、アバターの無意識動作のアニメーションデータおよびアバターの待機動作についてのアニメーションデータが制御装置１２のメモリに記憶される。
【0084】
個別のサービスの提供を受けることが決定された１のユーザ端末３０は、操作者端末１６と接続状態を確立するとともに、図７に示すように、大画面表示装置１８に表示されたアバターと同じアバターに対応するアバター画像（「端末用アバター画像」に相当する）２４２を含む画面（以下、「個別対話画面」という）２４０を表示装置１１０に表示する。この実施例では、個別のサービスでは、アバター画像２４２すなわちＣＧのアバターが、このＣＧのアバターが表示されたユーザ端末３０のユーザに対して、身振り手振りしながら、話し掛けたり、歌を歌ったりする。したがって、このユーザ端末３０のユーザは、アバターからの話し掛けに応じてアバターに答えたり（つまり、対話したり）、アバターに話し掛けたり、歌を聞いたりする。また、ユーザはユーザ端末３０に表示されたアバターに触れることでアバターの反応を楽しんだりする。個別のサービスは、一例であり、アバターと対話するだけでもよいし、アバターの反応を楽しむだけでもよいし、ユーザ端末３０のユーザに対してのみ、アバターが話し掛けたり、歌を歌ったりしてもよい。
【0085】
図７に示すように、個別対話画面２４０は、アバター画像２４２を含み、その下端部にボタン画像２５０およびボタン画像２５２が横に並んで設けられる。ボタン画像２５０は、アバターを大画面に返却する、すなわち、個別のサービスの提供を受けるのを終了するためのアイコンである。個別のサービスの提供を受けるのを終了すると、個別対話画面２４０（すなわち、アバター画像２４２）が消去され、招待画面２２０が表示装置１１０に表示される。ボタン画像２５２は、個別のサービスを受けるためのアプリケーション・プログラムを終了するためのアイコンである。
【0086】
ただし、ユーザがボタン画像２５０をオンしない場合であっても、第２制限時間（たとえば、５分）が経過すると、アバターは大画面に返却される。つまり、ボタン画像２５０がオンされたり、第２制限時間が経過したりする返却条件を満たすと、アバターは返却される。
【0087】
また、アバターが返却されると、再び、アバター画像２０２が大画面表示装置１８に表示され、操作者端末１６からの指示に従ってアバター画像２０２が制御される。
【0088】
上述したように、表示装置１１０に表示されるアバターの動作および音声は、操作者端末１６で生成される動作データおよび音声データを用いて制御される。
【0089】
一方、ユーザを含む映像はカメラ１１６で撮影され、ユーザを示す映像の映像データすなわちユーザ映像データはユーザ端末３０から操作者端末１６に送信される。また、ユーザの音声はマイク１１２で検出され、ユーザの音声の音声データすなわちユーザ音声データはユーザ端末３０から操作者端末１６に送信される。ユーザ映像データは、操作者端末１６の表示装置８０に出力され、ユーザ音声データは、操作者端末１６のスピーカ８４から出力される。したがって、操作者はユーザ端末３０のユーザの様子を見ながら、当該ユーザと対話したり、アバターの動作を制御したりすることができる。
【0090】
また、ユーザが表示装置１１０に表示されたアバター画像２４２に触れると、触れたアバターの部位を含む情報（以下、「タッチ情報」という）が操作者端末１６に送信される。操作者端末１６は、受信したタッチ情報に応じた反応データをユーザ端末３０に送信する。ユーザが触れたアバターの部位毎に、アバターの動作データまたは／および音声データを含む反応データが予め用意されており、タッチ情報が示すアバターの部位に応じた反応データがユーザ端末３０に送信される。ユーザ端末３０では、受信した反応データに従ってアバターの動作または／および発話を制御する。したがって、ユーザはアバターの反応を楽しむこともできる。
【0091】
ただし、これは一例であり、タッチ情報を操作者に提示して、アバターの反応についても、操作者が制御するようにしてもよい。また、反応データについては、ユーザ端末３０に予め記憶しておき、ユーザがアバターに触れたことに応じて、予め記憶しておいた反応データに従ってアバターが制御されてもよい。
【0092】
詳細な説明は省略するが、ユーザ端末３０（または、ユーザ）が個別のサービスの提供を受ける場合には、その料金（対価）を支払うようにしてもよい。料金の支払いは、個別のサービスの提供の開始時または終了時のような所定のタイミングで実行される。
【0093】
図８は制御装置１２に内蔵されるＲＡＭ５２のメモリマップ３００の一例を示す。図８に示すように、ＲＡＭ５２は、プログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、この実施例の制御装置１２で実行される制御プログラムが記憶されている。
【0094】
制御装置１２で実行される制御プログラムは、メイン処理プログラム３０２ａ、通信プログラム３０２ｂ、画像生成プログラム３０２ｃ、画像出力プログラム３０２ｄ、撮影プログラム３０２ｅ、アバター制御プログラム３０２ｆ、音声検出プログラム３０２ｇ、音声出力プログラム３０２ｈ、招待要求プログラム３０２ｉおよびユーザ決定プログラム３０２ｊなどを含む。
【0095】
メイン処理プログラム３０２ａは、この実施例の制御装置１２の制御処理のメインルーチンを実行するためのプログラムである。
【0096】
通信プログラム３０２ｂは、外部の機器、この実施例では、操作者端末１６および１または複数のユーザ端末３０と通信（データ等の送信および受信）するためのプログラムである。
【0097】
画像生成プログラム３０２ｃは、大画面表示装置１８に表示するための画面（２００など）の全部または一部に対応する画像データを、画像生成データ３０４ａを用いて生成するためのプログラムである。
【0098】
画像出力プログラム３０２ｄは、画像生成プログラム３０２ｃに従って生成した画像データを大画面表示装置１８に出力するためのプログラムである。したがって、画像データに対応する画面が大画面表示装置１８に表示される。
【0099】
撮影プログラム３０２ｅは、カメラ２４に撮影処理を実行させ、カメラ２４から入力される会場映像データ３０４ｂをデータ記憶領域３０４に記憶するためのプログラムである。
【0100】
アバター制御プログラム３０２ｆは、動作データ３０４ｄを用いて、アバターを動作させるためのプログラムである。
【0101】
音声検出プログラム３０２ｇは、マイク２０から入力される１または複数のユーザの音声を検出し、検出した音声に対応する会場音声データ３０４ｃをデータ記憶領域３０４に記憶するためのプログラムである。
【0102】
音声出力プログラム３０２ｈは、操作者端末１６から受信した操作者音声データ３０４ｅをスピーカ２２に出力するためのプログラムである。したがって、操作者音声データ３０４ｅに対応する音声がスピーカ２２から出る。
【0103】
招待要求プログラム３０２ｉは、操作者端末１６から要求指示を受信したことに応じて、１または複数のユーザ（ユーザ端末３０）に対して招待を要求するためのプログラムである。
【0104】
ユーザ決定プログラム３０２ｊは、所定の条件を満たす場合に、個別のサービスの提供を受ける、１人のユーザすなわち１つのユーザ端末３０を決定するためのプログラムである。
【0105】
図示は省略するが、プログラム記憶領域３０２には、制御装置１２のオペレーティングシステム、ミドルウェアの他に、ブラウザ、本願の制御プログラム以外の他のアプリケーション・プログラムも記憶される。
【0106】
また、データ記憶領域３０４には、画像生成データ３０４ａ、会場映像データ３０４ｂ、会場音声データ３０４ｃ、動作データ３０４ｄおよび操作者音声データ３０４ｅなどが記憶される。
【0107】
画像生成データ３０４ａは、大画面表示装置１８に表示される画面を生成するためのデータであり、アバター画像２０２を生成するためのデータを含む。アバター画像２０２を生成するためのデータは、２次元ＣＧ画像データまたは３次元ＣＧ画像データにより構成される。これらの画像データは、アバターの各部位の位置が座標データ（向きの情報を含む部位もある）により定義され、座標データを与えることでアバターの動作を制御することが可能となっている。このことは、後述する画像生成データ５０４ｂについても同様である。
【0108】
会場映像データ３０４ｂは、カメラ２４で撮影された会場の映像すなわち大画面表示装置１８の前に居る１または複数のユーザを含む映像のデータである。会場映像データ３０４ｂは、ＣＰＵ５０によって操作者端末１６に送信されると、データ記憶領域３０４から消去される。
【0109】
会場音声データ３０４ｃは、マイク２０で検出された会場の音声すなわち大画面表示装置１８の前に居る１または複数のユーザの音声を含む音声のデータである。会場音声データ３０４ｃは、ＣＰＵ５０によって操作者端末１６に送信されると、データ記憶領域３０４から消去される。
【0110】
動作データ３０４ｄは、操作者端末１６から受信した動作データである。動作データ３０４ｄは、ＣＰＵ５０の処理に使用されると、データ記憶領域３０４から消去される。操作者音声データ３０４ｅは、操作者端末１６から受信した操作者音声データである。操作者音声データ３０４ｅは、ＣＰＵ５０によってスピーカ２２に出力されると、データ記憶領域３０４から消去される。
【0111】
また、データ記憶領域３０４には、タイマ３０４ｆが設けられる。タイマ３０４ｆは、ユーザ端末３０からアバターの招待の依頼が有るのを待機する第１制限時間（たとえば、３０秒）をカウントするためのカウンタである。
【0112】
図示は省略するが、データ記憶領域３０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要な他のタイマ（カウンタ）およびフラグが設けられたりする。たとえば、ユーザ端末への招待を要求するためのアバターの動作データおよびアバターの音声データが記憶される。
【0113】
図９は操作者端末１６に内蔵されるＲＡＭ７２のメモリマップ４００の一例を示す。図９に示すように、ＲＡＭ７２は、プログラム記憶領域４０２およびデータ記憶領域４０４を含む。プログラム記憶領域４０２には、この実施例の操作者端末１６で実行される制御プログラムが記憶されている。
【0114】
操作者端末１６で実行される制御プログラムは、メイン処理プログラム４０２ａ、操作検出プログラム４０２ｂ、通信プログラム４０２ｃ、画像生成プログラム４０２ｄ、画像出力プログラム４０２ｅ、撮影プログラム４０２ｆ、動作データ生成プログラム４０２ｇ、音声検出プログラム４０２ｈおよび音声出力プログラム４０２ｉなどを含む。
【0115】
メイン処理プログラム４０２ａは、この実施例の操作者端末１６の制御処理のメインルーチンを実行するためのプログラムである。
【0116】
操作検出プログラム４０２ｂは、操作者の操作に従って入力装置７８から入力される操作データ４０４ａを検出し、データ記憶領域４０４に記憶するためのプログラムである。
【0117】
通信プログラム４０２ｃは、外部の機器、この実施例では、制御装置１２およびユーザ端末３０と通信するためのプログラムである。
【0118】
画像生成プログラム４０２ｄは、表示装置８０に表示するための画面に対応する画像データを、画像生成データ４０４ｂを用いて生成するためのプログラムである。
【0119】
画像出力プログラム４０２ｅは、画像生成プログラム４０２ｄに従って生成した画像データを表示装置８０に出力するためのプログラムである。したがって、画像データに対応する画面が表示装置８０に表示される。
【0120】
撮影プログラム４０２ｆは、カメラ８６に撮影処理を実行させ、カメラ８６から入力される操作者映像データ４０４ｃをデータ記憶領域４０４に記憶するためのプログラムである。
【0121】
動作データ生成プログラム４０２ｇは、操作者映像データ４０４ｃから操作者の動作を検出し、アバターの動作を制御するための動作データ４０４ｅを生成するためのプログラムである。
【0122】
音声検出プログラム４０２ｈは、マイク６２から入力される操作者の音声を検出し、検出した音声に対応する操作者音声データ４０４ｄをデータ記憶領域４０４に記憶するためのプログラムである。
【0123】
音声出力プログラム４０２ｉは、制御装置１２から受信した会場音声データ４０４ｇまたはユーザ端末３０から受信したユーザ音声データ４０４ｉをスピーカ８４に出力するためのプログラムである。したがって、会場音声データ４０４ｇに対応する音声またはユーザ音声データ４０４ｉに対応する音声がスピーカ８４から出る。
【0124】
図示は省略するが、プログラム記憶領域４０２には、操作者端末１６のオペレーティングシステム、ミドルウェアの他に、ブラウザ、本願の制御プログラム以外の他のアプリケーション・プログラムも記憶される。
【0125】
図１０は図９に示したデータ記憶領域４０４の具体的な内容の一例を示す図である。図１０に示すように、データ記憶領域４０４には、操作データ４０４ａ、画像生成データ４０４ｂ、操作者映像データ４０４ｃ、操作者音声データ４０４ｄ、動作データ４０４ｅ、会場映像データ４０４ｆ、会場音声データ４０４ｇ、ユーザ映像データ４０４ｈ、ユーザ音声データ４０４ｉ、タッチ情報データ４０４ｊおよび反応データ４０４ｋなどが記憶される。
【0126】
操作データ４０４ａは、操作検出プログラム４０２ｂに従って検出された操作データである。この操作データ４０４ａには、制御装置１２に送信される要求指示も含まれる。操作データ４０４ａは、ＣＰＵ７０の処理に使用されたり、制御装置１２またはユーザ端末３０に送信されたりすると、データ記憶領域４０４から消去される。
【0127】
画像生成データ４０４ｂは、操作者端末１６の表示装置８０に表示される画面を生成するために用いられるデータである。
【0128】
操作者映像データ４０４ｃは、カメラ８６で撮影された操作者を含む映像のデータである。操作者映像データ４０４ｃは、ＣＰＵ７０の処理に使用されると、データ記憶領域４０４から消去される。
【0129】
操作者音声データ４０４ｄは、マイク８２で検出された操作者の音声のデータである。操作者音声データ４０４ｃは、ＣＰＵ７０によって制御装置１２またはユーザ端末３０に送信されると、データ記憶領域４０４から消去される。
【0130】
動作データ４０４ｅは、アバターの動作を制御するためのデータ、この実施例では、アバターの身振り手振り、顔の向きおよび顔の表情を制御するための各部位の位置および向きの情報（データ）である。具体的には、動作データ４０４ｅは、上述したように、顔の各部位すなわち眉毛、眼（上瞼、下瞼）、鼻および口（上唇、下唇）の位置と、顔の向きと、手、腕、肩、腰、膝および足首の位置と、手首および足首の向きについての情報である。動作データ４０４ｅは、ＣＰＵ７０によって制御装置１２またはユーザ端末３０に送信されると、データ記憶領域４０４から消去される。
【0131】
会場映像データ４０４ｆは、制御装置１２から受信した会場映像データである。会場映像データ４０４ｆは、ＣＰＵ７０によって表示装置８０に出力されると、データ記憶領域４０４から消去される。会場音声データ４０４ｇは、制御装置１２から受信した会場音声データである。会場音声データ４０４ｇは、ＣＰＵ７０によってスピーカ８４に出力されると、データ記憶領域４０４から消去される。
【0132】
ユーザ映像データ４０４ｈは、ユーザ端末３０から受信したユーザ映像データである。ユーザ映像データ４０４ｈは、ＣＰＵ７０によって表示装置８０に出力されると、データ記憶領域４０４から消去される。ユーザ音声データ４０４ｉは、ユーザ端末３０から受信したユーザ音声データである。ユーザ音声データ４０４ｉは、ＣＰＵ７０によってスピーカ８４に出力されると、データ記憶領域４０４から消去される。
【0133】
タッチ情報データ４０４ｊは、ユーザ端末３０から受信したタッチ情報についてのデータである。タッチ情報データ４０４ｊは、ＣＰＵ７０の処理に使用されると、データ記憶領域４０４から消去される。反応データ４０４ｋは、ユーザ端末３０でアバター画像２４２がタッチされたことに応じてアバターに反応させる動作または／および音声についてデータである。この実施例では、タッチされたアバター（アバター画像２４２）の部位毎に異なる反応データ４０４ｋが記憶されている。
【0134】
図示は省略するが、データ記憶領域４０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要なタイマ（カウンタ）およびフラグが設けられたりする。
【0135】
図１１はユーザ端末３０に内蔵されるＲＡＭ１０２のメモリマップ５００の一例を示す。図１１に示すように、ＲＡＭ１０２は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。プログラム記憶領域５０２には、この実施例のユーザ端末３０で実行される制御プログラムすなわち個別のサービスを受けるためのアプリケーション・プログラムが記憶されている。
【0136】
ユーザ端末３０で実行される制御プログラムは、メイン処理プログラム５０２ａ、操作検出プログラム５０２ｂ、通信プログラム５０２ｃ、画像生成プログラム５０２ｄ、画像出力プログラム５０２ｅ、撮影プログラム５０２ｆ、アバター制御プログラム５０２ｇ、音声検出プログラム５０２ｈ、音声出力プログラム５０２ｉ、招待プログラム５０２ｊおよび返却プログラム５０２ｋなどを含む。
【0137】
メイン処理プログラム５０２ａは、この実施例のユーザ端末３０の制御処理のメインルーチンを実行するためのプログラムである。
【0138】
操作検出プログラム５０２ｂは、ユーザの操作に従って入力装置１０８から入力される操作データ５０４ａを検出し、データ記憶領域５０４に記憶するためのプログラムである。
【0139】
通信プログラム５０２ｃは、外部の機器、この実施例では、制御装置１２および操作者端末１６と通信するためのプログラムである。
【0140】
画像生成プログラム５０２ｄは、表示装置１１０に表示するための画面（２２０、２４０など）に対応する画像データを、画像生成データ５０４ｂを用いて生成するためのプログラムである。
【0141】
画像出力プログラム５０２ｅは、画像生成プログラム５０２ｄに従って生成した画像データを表示装置１１０に出力するためのプログラムである。したがって、画像データに対応する画面が表示装置１１０に表示される。
【0142】
撮影プログラム５０２ｆは、カメラ１１６に撮影処理を実行させ、カメラ１１６から入力されるユーザ映像データ５０４ｃをデータ記憶領域５０４に記憶するためのプログラムである。
【0143】
アバター制御プログラム５０２ｇは、動作データ５０４ｅを用いて、アバターを動作させるためのプログラムである。
【0144】
音声検出プログラム５０２ｈは、マイク１１２から入力されるユーザの音声を検出し、検出した音声に対応するユーザ音声データ５０４ｄをデータ記憶領域５０４に記憶するためのプログラムである。
【0145】
音声出力プログラム５０２ｉは、操作者端末１６から受信した操作者音声データ５０４ｆをスピーカ１１４に出力するためのプログラムである。したがって、操作者音声データ５０４ｆに対応する音声がスピーカ１１４から出る。
【0146】
招待プログラム５０２ｊは、ユーザの操作に従ったアバターを自身のユーザ端末３０に招待するためのプログラムである。具体的には、招待プログラム５０２ｊは、個別のサービスの提供を受けることを制御装置１２に依頼するためのプログラムである。
【0147】
返却プログラム５０２ｋは、自身のユーザ端末３０に招待したアバターを大画面表示装置１８（すなわち、制御装置１２）に返却するためのプログラムである。具体的には、返却プログラム５０２ｋは、個別のサービスの提供を終了し、アバターを返却することを制御装置１２に通知するためのプログラムである。
【0148】
図示は省略するが、プログラム記憶領域５０２には、ユーザ端末３０のオペレーティングシステム、ミドルウェアの他に、ブラウザ、本願の制御プログラム以外の他のアプリケーション・プログラムも記憶される。
【0149】
また、データ記憶領域５０４には、操作データ５０４ａ、画像生成データ５０４ｂ、ユーザ映像データ５０４ｃ、ユーザ音声データ５０４ｄ、動作データ５０４ｅ、操作者音声データ５０４ｆおよび反応データ５０４ｇなどが記憶される。
【0150】
操作データ５０４ａは、操作検出プログラム５０２ｂに従って検出された操作データである。操作データ５０４ａには、アバターを招待することを指示する招待指示、アバター画像２４２をタッチしたタッチ情報、アバターを返却することを通知する返却通知も含まれる。操作データ５０４ａは、ＣＰＵ１００の処理に使用されたり、制御装置１２または操作者端末１６に送信されたりすると、データ記憶領域５０４から消去される。
【0151】
画像生成データ５０４ｂは、ユーザ端末３０の表示装置１１０に表示される画面を生成するためのデータであり、アバター画像２４２を生成するためのデータを含む。
【0152】
ユーザ映像データ５０４ｃは、カメラ１１６で撮影されたユーザを含む映像のデータである。ユーザ映像データ５０４ｃは、ＣＰＵ１００によって操作者端末１６に送信されると、データ記憶領域５０４から消去される。ユーザ音声データ５０４ｄは、マイク１１２で検出されたユーザの音声のデータである。ユーザ音声データ５０４ｄは、ＣＰＵ１００によって操作者端末１６に送信されると、データ記憶領域５０４から消去される。
【0153】
動作データ５０４ｅは、操作者端末１６から受信した動作データである。動作データ５０４ｅは、ＣＰＵ１００の処理に使用されると、データ記憶領域５０４から消去される。操作者音声データ５０４ｆは、操作者端末１６から受信した操作者音声データである。操作者音声データ５０４ｆは、ＣＰＵ１００によってスピーカ１１４に出力されると、データ記憶領域５０４から消去される。反応データ５０４ｇは、操作者端末１６から受信した反応データである。反応データ５０４ｇは、ＣＰＵ１００の処理に使用されると、データ記憶領域５０４から消去される。
【0154】
また、データ記憶領域５０４には、タイマ５０４ｈが設けられる。タイマ５０４ｈは、個別のサービスの第２制限時間（たとえば、５分）をカウントするためのカウンタである。
【0155】
図示は省略するが、データ記憶領域５０４には、制御処理を実行するために必要な他のデータが記憶されたり、制御処理を実行するために必要な他のタイマ（カウンタ）およびフラグが設けられたりする。
【0156】
図１２および図１３は、制御装置１２のＣＰＵ５０の制御処理を示すフロー図である。図示は省略するが、ＣＰＵ５０は、制御処理と並行して、操作データの検出処理を実行して操作データを記憶する処理を実行したり、カメラ２４に撮影処理を実行させて会場映像データを記憶する処理を実行したり、音声の検出処理を実行して会場音声データを記憶する処理を実行したり、操作者端末１６およびユーザ端末３０から送信されるデータ等を受信および記憶する処理を実行したりする。
【0157】
図１２に示すように、制御装置１２のＣＰＵ５０は、制御処理を開始すると、ステップＳ１で、操作者端末１６と接続状態を確立し、ステップＳ３で、図５に示したようなアバター画面２００を大画面表示装置１８に表示する。
【0158】
次のステップＳ５では、制御処理の終了かどうかを判断する。ここでは、ＣＰＵ５０は、制御装置１２の管理者によって制御処理を終了する指示が入力されたかどうかを判断する。
【0159】
ステップＳ５で“ＹＥＳ”であれば、つまり、制御処理の終了であれば、制御処理を終了する。一方、ステップＳ５で“ＮＯ”であれば、つまり、制御処理の終了でなければ、ステップＳ７で、操作者端末１６からデータを受信したかどうかを判断する。ここでは、ＣＰＵ５０は、操作者端末１６から動作データ、または、動作データおよび操作者音声データを受信したかどうかを判断する。
【0160】
ステップＳ７で“ＮＯ”であれば、つまり、操作者端末１６からデータを受信していなければ、ステップＳ１７に進む。一方、ステップＳ７で“ＹＥＳ”であれば、つまり、操作者端末１６からデータを受信すれば、ステップＳ９で、操作者音声データ３０４ｅが有るかどうかを判断する。
【0161】
ステップＳ９で“ＹＥＳ”であれば、つまり、操作者音声データ３０４ｅが有れば、ステップＳ１１で、操作者音声データ３０４ｅをスピーカ２２に出力し、ステップＳ１３で、操作者音声データ３０４ｅの出力に合わせて、動作データに従う動作を行うアバターの画像データを生成し、大画面表示装置１８に出力して、ステップＳ１７に進む。したがって、上述したように、大画面に表示されたアバターは、１または複数のユーザに向けて、話し掛けたり、歌を歌ったりする。
【0162】
一方、ステップＳ９で“ＮＯ”であれば、つまり、操作者音声データ３０４ｅが無ければ、ステップＳ１５で、動作データに従う動作を行うアバターの画像データを生成し、大画面表示装置１８に出力して、ステップＳ１７に進む。したがって、上述したように、大画面に表示されたアバターは、身振り手振りを行なったり、顔の向きを変化させたりする。
【0163】
ステップＳ１７では、会場映像データ３０４ｂおよび会場音声データ３０４ｃを操作者端末１６に送信し、図１３に示すステップＳ１９で、招待の要求が有るかどうかを判断する。ここでは、ＣＰＵ５０は、操作者端末１６からの要求指示が有るかどうかを判断する。
【0164】
ステップＳ１９で“ＮＯ”であれば、つまり、招待の要求が無ければ、図１２に示したステップＳ５に戻る。一方、ステップＳ１９で“ＹＥＳ”であれば、つまり、招待の要求が有れば、ステップＳ２１で、ユーザ端末３０への招待を要求する。ここでは、ＣＰＵ５０は、「私をあなたの端末に呼んでね」というアバターの音声データをスピーカ２２から出力するとともに、１または複数のユーザに対して呼び掛ける動作を行うアバターの画像データを生成し、大画面表示装置１８に出力する。図示は省略するが、ユーザ端末３０への招待を要求したときに、タイマ３０４ｆをリセットおよびスタートする。
【0165】
次のステップＳ２３では、ユーザ端末３０から招待が有るかどうかを判断する。ステップＳ２３で“ＮＯ”であれば、つまり、ユーザ端末３０から招待が無ければ、ステップＳ２５で、招待の要求の終了かどうかを判断する。ここでは、ＣＰＵ５０は、タイマ３０４ｆのカウント値が第１制限時間（３０秒）を経過したかどうかを判断する。
【0166】
ステップＳ２５で“ＮＯ”であれば、つまり、招待の要求の終了でなければ、ステップＳ２３に戻る。一方、ステップＳ２５で“ＹＥＳ”であれば、つまり、招待の要求の終了であれば、ステップＳ２７で、招待無し通知を操作者端末１６に送信して、ステップＳ５に戻る。
【0167】
また、ステップＳ２３で“ＹＥＳ”であれば、つまり、招待が有れば、ステップＳ２９で、個別のサービスを提供する１のユーザ端末３０を決定する。上述したように、複数のユーザ端末３０から招待が有った場合には、所定の番目（たとえば、１番）に招待した１のユーザ端末３０が選択される。
【0168】
次のステップＳ３１では、決定した１のユーザ端末３０の接続情報を操作者端末１６に送信し、ステップＳ３３で、操作者端末１６との接続状態を解除し、ステップＳ３５で、アバター画面２００を非表示する。
【0169】
続いて、ステップＳ３７で、ユーザ端末３０からの返却通知が有るかどうかを判断する。ステップＳ３７で“ＮＯ”であれば、つまり、返却通知が無ければ、ステップＳ３７に戻る。一方、ステップＳ３７で“ＹＥＳ”であれば、つまり、返却通知が有れば、ステップＳ１に戻る。
【0170】
図１４－図１６は、操作者端末１６のＣＰＵ７０の制御処理を示すフロー図である。図示は省略するが、ＣＰＵ７０は、制御処理と並行して、操作データの検出処理を実行して操作データを記憶する処理したり、カメラ８６に撮影処理を実行させて操作者映像データを記憶する処理を実行したり、音声の検出処理を実行して操作者音声データを記憶する処理を実行したり、制御装置１２およびユーザ端末３０から送信されるデータ等を受信および記憶する処理を実行したりする。以下、操作者端末１６のＣＰＵ７０の制御処理について説明するが、重複する内容については簡単に説明することにする。
【0171】
図１４に示すように、ＣＰＵ７０は、制御処理を開始すると、ステップＳ１０１で、制御装置１２との接続状態を確立し、ステップＳ１０３で、制御処理の終了かどうかを判断する。ここでは、ＣＰＵ７０は、操作者から制御処理の終了を指示されたかどうかを判断する。
【0172】
ステップＳ１０３で“ＹＥＳ”であれば、つまり、制御処理の終了であれば、制御処理を終了する。一方、ステップＳ１０３で“ＮＯ”であれば、つまり、制御処理の終了でなければ、ステップＳ１０５で、操作者映像データ４０４ｃから動作データ４０４ｅを生成し、ステップＳ１０７で、音声の入力が有るかどうかを判断する。
【0173】
ステップＳ１０７で“ＮＯ”であれば、つまり、音声の入力が無ければ、ステップＳ１０９で、ステップＳ１０５で生成した動作データ４０４ｅを制御装置１２に送信して、ステップＳ１１３に進む。一方、ステップＳ１０７で“ＹＥＳ”であれば、つまり、音声の入力が有れば、ステップＳ１１１で、ステップＳ１０５で生成した動作データ４０４ｅと操作者音声データ４０４ｄを制御装置１２に送信して、ステップＳ１１３に進む。
【0174】
ステップＳ１１３では、制御装置１２からデータを受信したかどうかを判断する。ここでは、ＣＰＵ７０は、制御装置１２から会場映像データ、または、会場映像データおよび会場音声データを受信したかどうかを判断する。ステップＳ１１３で“ＮＯ”であれば、つまり、制御装置１２からデータを受信していなければ、ステップＳ１１７に進む。一方、ステップＳ１１３で“ＹＥＳ”であれば、つまり、制御装置１２からデータを受信すれば、ステップＳ１１５で、会場映像データ４０４ｆおよび会場音声データ４０４ｇを出力して、ステップＳ１１７に進む。したがって、会場の映像が表示装置８０に表示され、会場の音声がスピーカ８４から出力される。なお、会場音声データ４０４ｇを受信していない場合には、会場映像データ４０４ｆのみが出力される。
【0175】
ステップＳ１１７では、招待要求の指示が有るかどうかを判断する。ステップＳ１１７で“ＮＯ”であれば、つまり、招待要求の指示が無ければ、ステップＳ１０３に戻る。一方、ステップＳ１１７で“ＹＥＳ”であれば、つまり、招待要求の指示が有れば、図１５に示すステップＳ１１９で、ユーザ端末３０の接続情報を受信したかどうかを判断する。
【0176】
ステップＳ１１９で“ＮＯ”であれば、つまり、ユーザ端末３０の接続情報を受信していなければ、ステップＳ１２１で、招待無し通知が有るかどうかを判断する。ステップＳ１２１で“ＮＯ”であれば、つまり、招待無し通知が無ければ、ステップＳ１１９に戻る。
【0177】
一方、ステップＳ１２１で“ＹＥＳ”であれば、つまり、招待無し通知が有れば、ステップＳ１２３で、ユーザ端末３０からの招待が無いことを操作者に報知して、ステップＳ１０３に戻る。一例として、ステップＳ１２３で、ＣＰＵ７０は、ユーザ端末３０からの招待が無いことのテキストを表示装置８０に表示する。
【0178】
また、ステップＳ１１９で“ＹＥＳ”であれば、つまり、ユーザ端末３０の接続情報を受信していれば、ステップＳ１２５で、制御装置１２との接続状態を解除し、ステップＳ１２７で、ユーザ端末３０との接続状態を確立する。ただし、ステップＳ１２７で接続状態を確立するのは、受信した接続情報を有するユーザ端末３０である。
【0179】
次のステップＳ１２９では、制御処理を終了するかどうかを判断する。ステップＳ１２９で“ＹＥＳ”であれば、制御処理を終了する。一方、ステップＳ１２９で“ＮＯ”であれば、ステップＳ１３１で、操作者映像データ４０４ｃから動作データ４０４ｅを生成し、ステップＳ１３３で、音声の入力が有るかどうかを判断する。
【0180】
ステップＳ１３３で“ＮＯ”であれば、ステップＳ１３５で、ステップＳ１３１で生成した動作データ４０４ｅをユーザ端末３０に送信して、図１６に示すステップＳ１３９に進む。一方、ステップＳ１３３で“ＹＥＳ”であれば、ステップＳ１３７で、ステップＳ１３１で生成した動作データ４０４ｅと操作者音声データ４０４ｄをユーザ端末３０に送信して、ステップＳ１３９に進む。
【0181】
図１６に示すように、ステップＳ１３９では、ユーザ端末３０からデータを受信したかどうかを判断する。ここでは、ＣＰＵ７０は、ユーザ端末３０からユーザ映像データ、または、ユーザ映像データおよびユーザ音声データを受信したかどうかを判断する。ステップＳ１３９で“ＮＯ”であれば、つまり、ユーザ端末３０からデータを受信していなければ、ステップＳ１４３に進む。一方、ステップＳ１３９で“ＹＥＳ”であれば、つまり、ユーザ端末３０からデータを受信すれば、ステップＳ１４１で、ユーザ映像データ４０４ｈおよびユーザ音声データ４０４ｉを出力して、ステップＳ１４３に進む。したがって、ユーザの映像が表示装置８０に表示され、ユーザの音声がスピーカ８４から出力される。なお、ユーザ音声データ４０４ｉを受信していない場合には、ユーザ映像データ４０４ｈのみが出力される。
【0182】
ステップＳ１４３では、タッチ情報が有るかどうかを判断する。ステップＳ１４３で“ＮＯ”であれば、つまり、タッチ情報が無ければ、ステップＳ１４７に進む。一方、ステップＳ１４３で“ＹＥＳ”であれば、つまり、タッチ情報が有れば、ステップＳ１４５で、タッチ情報に応じた反応データ４０４ｋをユーザ端末３０に送信して、ステップＳ１４７に進む。
【0183】
ステップＳ１４７では、返却通知が有るかどうかを判断する。ステップＳ１４７で“ＮＯ”であれば、つまり、返却通知が無ければ、ステップＳ１２９に戻る。一方、ステップＳ１４７で“ＹＥＳ”であれば、つまり、返却通知が有れば、ステップＳ１４９で、ユーザ端末３０との接続状態を解除して、ステップＳ１０１に戻る。
【0184】
図１７－図１９は、ユーザ端末３０のＣＰＵ１００の制御処理を示すフロー図である。図示は省略するが、ＣＰＵ１００は、制御処理と並行して、操作データの検出処理を実行して操作データを記憶する処理したり、カメラ１１６に撮影処理を実行させて利用者映像データを記憶する処理を実行したり、音声の検出処理を実行して利用者音声データを記憶する処理を実行したり、操作者端末１６およびユーザ端末３０から送信されるデータ等を受信および記憶する処理を実行したりする。以下、ユーザ端末３０のＣＰＵ１００の制御処理について説明するが、重複する内容については簡単に説明することにする。
【0185】
ユーザ端末３０の制御プログラムすなわち個別のサービスの提供を受けるためのアプリケーション・プログラムを実行すると、図１７に示すように、ＣＰＵ１００は、制御処理を開始し、ステップＳ２０１で、図６に示したような招待画面２２０を表示装置１１０に表示する。
【0186】
次のステップＳ２０３では、アバターを招待するかどうかを判断する。ここでは、ＣＰＵ１００は、ボタン画像２２２がオンされたかどうかを判断する。ステップＳ２０３で“ＮＯ”であれば、つまり、アバターを招待しない場合には、ステップＳ２０３に戻る。一方、ステップＳ２０３で“ＹＥＳ”であれば、つまり、アバターを招待する場合には、ステップＳ２０５で、アバターを招待することを制御装置１２に通知する。
【0187】
続いて、ステップＳ２０７では、操作者端末１６の接続情報を受信したかどうかを判断する。ステップＳ２０７で“ＮＯ”であれば、つまり、操作者端末１６の接続情報を受信していなければ、ステップＳ２０７に戻る。図示は省略するが、所定時間（たとえば、３０秒）経過しても、操作者端末１６の接続情報を受信しない場合には、アバターを招待できなかったと判断して、ステップＳ２０１に戻る。
【0188】
一方、ステップＳ２０７で“ＹＥＳ”であれば、つまり、操作者端末１６の接続情報を受信すれば、ステップＳ２０９で、操作者端末１６と接続状態を確立し、ステップＳ２１１で、図７に示したような個別対話画面２４０を表示装置１１０に表示し、図１８に示すステップＳ２１３で、制御処理を終了するかどうかを判断する。ここでは、ＣＰＵ１００は、ボタン画像２５２が操作されたかどうかを判断する。
【0189】
ステップＳ２１３で“ＹＥＳ”であれば、つまり、制御処理を終了する場合には、制御処理を終了する。一方、ステップＳ２１３で“ＮＯ”であれば、つまり、制御処理の終了でなければ、ステップＳ２１５で、操作者端末１６からデータを受信したかどうかを判断する。ここでは、ＣＰＵ１００は、操作者端末１６から動作データ、または、動作データおよび操作者音声データを受信したかどうかを判断する。
【0190】
ステップＳ２１５で“ＮＯ”であれば、つまり、操作者端末１６からデータを受信していなければ、ステップＳ２２５に進む。一方、ステップＳ２１５で“ＹＥＳ”であれば、つまり、操作者端末１６からデータを受信すれば、ステップＳ２１７で、操作者音声データ５０４ｆが有るかどうかを判断する。
【0191】
ステップＳ２１７で“ＹＥＳ”であれば、つまり、操作者音声データ５０４ｆが有れば、ステップＳ２１９で、操作者音声データ５０４ｆをスピーカ１１４に出力し、ステップＳ２２１で、操作者音声データ５０４ｆの出力に合わせて、動作データに従う動作を行うアバターの画像データを生成し、表示装置１１０に出力して、図１９に示すステップＳ２２５に進む。したがって、上述したように、ユーザ端末３０の画面に表示されたアバターは、当該ユーザ端末３０のユーザに向けて、話し掛けたり、歌を歌ったりする。
【0192】
一方、ステップＳ２１７で“ＮＯ”であれば、つまり、操作者音声データ５０４ｆが無ければ、ステップＳ２２３で、動作データに従う動作を行うアバターの画像データを生成し、表示装置１１０に出力して、ステップＳ２２５に進む。したがって、ユーザ端末３０の画面に表示されたアバターは、操作者の動作、たとえば、無意識動作を行う。
【0193】
なお、操作者端末１６から反応データ５０４ｇを受信した場合にも、ステップＳ２１９およびステップＳ２２１が実行されたり、ステップＳ２２３が実行されたりして、アバターはユーザのタッチに応じて反応する。
【0194】
図１９に示すステップＳ２２５では、音声の入力が有るかどうかを判断する。ステップＳ２２５で“ＹＥＳ”であれば、つまり、音声の入力が有れば、ステップＳ２２７で、ユーザ映像データ５０４ｃとユーザ音声データ５０４ｄを操作者端末１６に送信して、ステップＳ２３１に進む。一方、ステップＳ２２５で“ＮＯ”であれば、つまり、音声の入力が無ければ、ステップＳ２２９で、ユーザ映像データ５０４ｃを操作者端末１６に送信して、ステップＳ２３１に進む。
【0195】
ステップＳ２３１では、アバターに触れたかどうかを判断する。ここでは、ＣＰＵ１００は、ユーザがアバター画像２４２にタッチしたかどうかを判断する。ステップＳ２３１で“ＮＯ”であれば、つまり、アバターに触れていなければ、ステップＳ２３５に進む。一方、ステップＳ２３１で“ＹＥＳ”であれば、つまり、アバターに触れていれば、ステップＳ２３３で、タッチした部位に応じたタッチ情報を操作者端末１６に送信して、ステップＳ２３５に進む。
【0196】
ステップＳ２３５では、アバターを返却するかどうかを判断する。ここでは、ＣＰＵ１００は、ユーザがボタン画像２５０を操作したかどうかを判断する。ステップ２３５で“ＮＯ”であれば、つまり、アバターを返却しない場合には、ステップＳ２１３に戻る。
【0197】
一方、ステップＳ２３５で“ＹＥＳ”であれば、つまり、アバターをする場合には、ステップＳ２３７で、個別対話画面２４０を非表示し、ステップＳ２３９で、返却通知を制御装置１２と操作者端末１６に送信し、ステップＳ２４１で、操作者端末１６との接続状態を解除して、ステップＳ２０１に戻る。
【0198】
図示は省略するが、招待画面２２０のボタン画像２２４がオンされた場合にも、ＣＰＵ１００は制御処理を終了する。
【0199】
この実施例によれば、複数のユーザが視認可能な大画面に表示されたアバターをユーザ端末に招待し、１人のユーザのユーザ端末にアバターを表示して個別のサービスの提供を受けるので、アバターを用いた新しいサービスを提供することができる。
【0200】
また、この実施例によれば、大画面に表示されたアバターと同じアバターを、複数のユーザのうちの１人のユーザのユーザ端末に表示して個別のサービスの提供を受けるので、個別のサービスの提供を受けるユーザはアバターに対して特別な思いを持つことができる。したがって、アバターを用いたサービスの提供を受けるユーザの楽しみを増大させることができる。
【0201】
なお、この実施例では、複数のユーザが視認可能にＣＧのアバターを配置するようにしたが、他の実施例では、ＣＧのアバターに代えて、ロボットアバターを配置するようにしてもよい。具体的には、制御装置に、大画面表示装置、マイク、スピーカおよびカメラに代えて、ロボットアバターが通信可能に接続される。
【0202】
ロボットアバターとしては、遠隔操作により、身体動作または／および音声による対話が可能なロボットを使用することができる。また、ロボットアバターは、移動可能なロボットまたは据え置き型のロボットである。
【0203】
一例として、特開２００７－１９０６５９号に開示されたコミュニケーションロボットを用いることができ、また、この特開２００７－１９０６５９号に開示された方法でコミュニケーションロボットを遠隔操作することができる。この特開２００７－１９０６５９号には開示されていないが、ロボットからオペレータの音声またはオペレータの音声をロボットの音声に変換して出力することもできる。操作者端末からは、ロボットアバターを動作させるためのコマンドが制御装置に送信される。ただし、操作者映像データから生成した動作データに基づいてロボットアバターを動作させるためのコマンドが生成されてもよい。一例として、コマンドには、ロボットアバターの各関節の角度の情報が含まれる。
【0204】
このコミュニケーションロボットを用いる場合には、ロボットの顔の表情は変化されないため、制御装置に送信する動作データから顔の表情についての情報は削除してもよいし、ロボット側で無視するようにしてもよい。
【0205】
また、他の例として、特開２０１７－４７４９４号に開示されたアンドロイド（登録商標）ロボットを用いることができ、また、この特開２０１７－４７４９４号に開示された方法でアンドロイドロボットを遠隔操作することができる。
【0206】
このように、ＣＧのアバターに代えてロボットアバターを用いる場合には、個別のサービスを提供するとき、ユーザ端末の表示装置に、ロボットアバターに対応するアバター画像が表示される。一例として、個別のサービスを提供する場合、ロボットアバターは、停止される。ただし、コミュニケーションロボットは、ユーザから見えない位置に移動されるようにしもよい。
【0207】
また、この実施例では、制御装置、操作者端末およびユーザ端末を、ネットワークを介して通信可能に接続するようにしたが、それらが直接通信可能な範囲に配置される場合には、ネットワークを介さずに直接接続することもできる。
【0208】
また、この実施例では、１のユーザ端末を決定して個別のサービスを提供するようにしたが、アバターを招待したすべてのユーザ端末の表示装置の各々にアバター画像を表示して、各ユーザ端末において、個別のサービスを提供するようにしてもよい。この場合、操作者が各ユーザと対話するのは困難であるため、個別のサービスでは、アバターは、歌を歌ったり、ユーザが触れたことに応じて反応したりする。
【0209】
さらに、この実施例では、アバターからの呼び掛けに応じて、ユーザがアバターの招待を依頼するようにしたが、アバターからの呼び掛けが無くても、ユーザがアバターの招待を依頼できるようにしてもよい。つまり、操作者からの招待要求の指示が無くても、ユーザからの依頼に応じて、個別のサービスの提供を受けることができるようにしてもよい。
【0210】
さらにまた、この実施例では、操作者端末でアバターの動作データを生成し、動作データを制御装置またはユーザ端末に送信して、制御装置またはユーザ端末でアバター画像を生成するようにしたが、操作者端末でアバター画像を生成して、アバター画像を制御装置またはユーザ端末に送信するようにしてもよい。
【0211】
また、この実施例では、操作者を撮影した映像データから生成した動作データを用いてアバターの動作を制御するようにしたが、これに限定される必要はない。アバターに実行させる一連の動作に対応する動作データを予め用意しておき、操作者がボタン操作などで指示した一連の動作に対応する動作データを制御装置またはユーザ端末に送信して、アバターの動作を制御するようにしてもよい。一連の動作の例としては、お辞儀して元の姿勢（たとえば、直立の状態）に戻る動作、辺りを見渡すように顔の向きを左右に数回動かして元の姿勢に戻る動作、歌う間の振り付けの動作、右手または／および左手を胴体の前で振ってから元の姿勢に戻る動作、右手または／および左手を挙げてから元の姿勢に戻る動作などである。
【0212】
また、この実施例では、操作者の音声に基づいて、アバターに発話させるようにしたが、発話する内容の音声データを予め用意しておき、操作者がボタン操作などで指示した発話する内容に対応する音声データを制御装置またはユーザ端末に送信して、アバターの発話を制御するようにしてもよい。
【0213】
ただし、アバターの一連の動作に対応する動作データとともに発話する内容の音声データを１つのボタンに設定しておき、動作データと音声データを一度に制御装置またはユーザ端末に送信するようにしてもよい。
【0214】
さらに、この実施例で示したフロー図の各ステップは同じ結果が得られる場合には、処理する順番を変更することが可能である。
【0215】
また、この実施例で挙げた各種の画面、具体的数値はいずれも単なる例示であり、必要に応じて適宜変更可能である。
【符号の説明】
【0216】
１０ …情報処理システム
１２ …制御装置
１４ …ネットワーク
１６ …操作者端末
１８、８０、１１０ …表示装置
２０、８２、１１２ …マイク
２２、８４、１１４ …スピーカ
２４、８６、１１６ …カメラ
３０ …ユーザ端末
５０、７０、１００ …ＣＰＵ
５２、７２、１０２ …ＲＡＭ
５４、７４、１０４ …通信Ｉ／Ｆ
５６、７６、１０６ …入出力Ｉ／Ｆ
５８、７８、１０８ …入力装置
１２ …制御装置
１４ …ネットワーク
１６ …操作者端末
１８、８０、１１０ …表示装置
２０、８２、１１２ …マイク
２２、８４、１１４ …スピーカ
２４、８６、１１６ …カメラ
３０ …ユーザ端末
５０、７０、１００ …ＣＰＵ
５２、７２、１０２ …ＲＡＭ
５４、７４、１０４ …通信Ｉ／Ｆ
５６、７６、１０６ …入出力Ｉ／Ｆ
５８、７８、１０８ …入力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】