(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023153126
(43)【公開日】2023-10-17
(54)【発明の名称】端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法
(51)【国際特許分類】
H04N 7/15 20060101AFI20231005BHJP
H04N 21/431 20110101ALI20231005BHJP
H04L 51/52 20220101ALI20231005BHJP
H04L 51/10 20220101ALI20231005BHJP
H04L 67/131 20220101ALI20231005BHJP
【FI】
H04N7/15 170
H04N21/431
H04L51/52
H04L51/10
H04L67/131
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2023106842
(22)【出願日】2023-06-29
(62)【分割の表示】P 2022060389の分割
【原出願日】2022-03-31
(71)【出願人】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100196829
【弁理士】
【氏名又は名称】中澤 言一
(72)【発明者】
【氏名】早田 大起
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA10
5C164MA03S
5C164UB41S
5C164UB81P
5C164VA07P
5C164VA13P
5C164YA21
(57)【要約】
【課題】他ユーザとのコミュニケーションを継続しようとするユーザの意欲を向上させることを可能とする。
【解決手段】端末装置の制御プログラムは、第1ユーザの端末装置に、第1ユーザを示す第1オブジェクトを含む第1画像と、第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる指示に応じて変化した第1オブジェクトを表示するとともに、第1ユーザによる指示に応じて変化した第2画像を表示すること、を実行させる。
【選択図】
図3
【特許請求の範囲】
【請求項1】
第1ユーザの端末装置の制御プログラムであって、
前記第1ユーザの端末装置に、
前記第1ユーザを示す第1オブジェクトを含む第1画像と、前記第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、
前記第1画像の表示に関する情報を前記第2ユーザの端末装置に送信し、
前記第1ユーザの第1音声を取得した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示し、
前記第2ユーザの第2音声を受信した場合、前記第2音声を出力し、
前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示し、
前記第1ユーザによる第1指示又は前記第2ユーザによる第1指示に応じて、配信ユーザの端末装置から前記配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を受信し、前記第3画像を表示すること、
を実行させるための制御プログラム。
【請求項2】
前記第3画像の表示中、前記第1ユーザの端末装置に、
前記第2ユーザの前記第2音声を受信した場合、前記第2音声を出力し、前記配信ユーザの第3音声を受信した場合、前記第3音声を出力すること、
を実行させ、
前記第1ユーザの前記第1音声を取得した場合に前記第2ユーザの端末装置に送信する前記第1音声は、前記配信ユーザの端末装置に送信されない、請求項1に記載の制御プログラム。
【請求項3】
前記第1ユーザの端末装置に、
前記第3画像の表示に応じて、前記第1画像及び前記第2画像の表示を変更し、
前記第1ユーザによる第2指示又は前記第2ユーザによる第2指示に応じて、前記第3画像の表示を終了し、前記第1画像及び前記第2画像の表示を前記変更の前に戻すこと、
を実行させる、請求項1又は2に記載の制御プログラム。
【請求項4】
前記第1画像及び前記第2画像の前記表示の変更は、前記第1画像及び前記第2画像の大きさ又は位置を変更すること、又は、前記第1画像及び前記第2画像を前記第1オブジェクト及び前記第2オブジェクトを含む第4画像に変更することである、請求項3に記載の制御プログラム。
【請求項5】
前記第3画像の表示中、前記第1ユーザの端末装置に、
前記第1ユーザによる第3指示又は前記第2ユーザによる第3指示に対応する第4オブジェクトを含む前記第3画像を表示すること、
を実行させる、請求項1~4のいずれか一項に記載の制御プログラム。
【請求項6】
前記第3画像の表示中、前記第1ユーザの端末装置に、
前記第1ユーザによる前記第3指示及び/又は前記第2ユーザによる第3指示の表示要求に関する条件が満たされた場合、第5オブジェクトを含む前記第3画像を表示すること、
を実行させる、請求項5に記載の制御プログラム。
【請求項7】
前記表示要求に関する条件は、前記第1ユーザによる前記第3指示に対応する前記第4オブジェクト及び前記第2ユーザによる前記第3指示に対応する前記第4オブジェクトが互いに異なる特定の種類のオブジェクトであり、且つ、前記第1ユーザによる前記第3指示のタイミング及び前記第2ユーザによる前記第3指示のタイミングの時間差が所定時間内であること、である、請求項6に記載の制御プログラム。
【請求項8】
前記第5オブジェクトを含む前記第3画像の表示において、前記第1ユーザの端末装置に、
前記表示要求に関する条件が満たされた場合、前記第1ユーザによる前記第3指示に対応する前記第4オブジェクト及び前記第2ユーザによる前記第3指示に対応する前記第4オブジェクトを表示せずに、前記第5オブジェクトを含む前記第3画像を表示すること、
を実行させる、請求項6又は7に記載の制御プログラム。
【請求項9】
前記第4オブジェクトを含む前記第3画像の表示において、前記第1ユーザの端末装置に、
前記第1ユーザ及び/又は前記第2ユーザによる前記第3指示の回数に応じて表示態様を変化させた前記第4オブジェクトを前記第3画像に含ませること、
を実行させる、請求項5~8のいずれか一項に記載の制御プログラム。
【請求項10】
前記第3画像の表示中、前記第1ユーザの端末装置に、
前記第1ユーザ及び/又は前記第2ユーザによる第4指示に対応する数の合計に関する所定条件が満たされた場合、第6オブジェクトを含む前記第3画像を表示すること、
を実行させる、請求項1~9のいずれか一項に記載の制御プログラム。
【請求項11】
前記第6オブジェクトを含む前記第3画像の表示において、前記第1ユーザの端末装置に、
前記第6オブジェクトの近傍に位置する又は前記第6オブジェクトに重畳する、前記第1ユーザ及び前記第2ユーザに関する画像を表示すること、
を実行させる、請求項10に記載の制御プログラム。
【請求項12】
前記第1ユーザの端末装置に、
前記第6オブジェクトを前記第1ユーザが選択するための第1入力オブジェクトを表示し、
前記第1入力オブジェクトが前記第1ユーザによって指定された場合、
前記第4指示を前記第1ユーザが入力するための第2入力オブジェクトを表示し、
前記第6オブジェクトの選択に関する情報を前記第2ユーザの端末装置に送信すること、
を実行させ、
前記第6オブジェクトの選択に関する情報は、当該情報を受信した前記第2ユーザの端末装置において、前記第4指示を前記第2ユーザが入力するための第2入力オブジェクトを表示させるために用いられる、請求項10又は11に記載の制御プログラム。
【請求項13】
第1ユーザの端末装置及び前記第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御プログラムであって、
前記第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、前記第1ユーザの端末装置から受信し、前記第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、前記第2ユーザの端末装置から受信し、
前記第1画像を少なくとも表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、前記第2画像を少なくとも表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
前記第1ユーザの第1音声を受信した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
前記第2ユーザの第2音声を受信した場合、前記第2音声を前記第1ユーザの端末装置に送信し、
前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
配信ユーザの端末装置から受信した、前記配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を、前記第1ユーザによる第1指示又は前記第2ユーザによる第1指示に応じて前記第1ユーザの端末装置及び前記第2ユーザの端末装置に送信すること、
を実行させるための制御プログラム。
【請求項14】
第1ユーザの端末装置であって、
前記第1ユーザを示す第1オブジェクトを含む第1画像と、前記第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、
前記第1画像の表示に関する情報を前記第2ユーザの端末装置に送信し、
前記第1ユーザの第1音声を取得した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示し、
前記第2ユーザの第2音声を受信した場合、前記第2音声を出力し、
前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示し、
前記第1ユーザによる第1指示又は前記第2ユーザによる第1指示に応じて、配信ユーザの端末装置から前記配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を受信し、前記第3画像を表示する、処理部
を備えることを特徴とする端末装置。
【請求項15】
第1ユーザの端末装置及び前記第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置であって、
前記第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、前記第1ユーザの端末装置から受信し、前記第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、前記第2ユーザの端末装置から受信し、
前記第1画像を少なくとも表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、前記第2画像を少なくとも表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
前記第1ユーザの第1音声を受信した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
前記第2ユーザの第2音声を受信した場合、前記第2音声を前記第1ユーザの端末装置に送信し、
前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
配信ユーザの端末装置から受信した、前記配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を、前記第1ユーザによる第1指示又は前記第2ユーザによる第1指示に応じて前記第1ユーザの端末装置及び前記第2ユーザの端末装置に送信する、処理部
を備えることを特徴とするサーバ装置。
【請求項16】
第1ユーザの端末装置の制御方法であって、
前記第1ユーザの端末装置が、
前記第1ユーザを示す第1オブジェクトを含む第1画像と、前記第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、
前記第1画像の表示に関する情報を前記第2ユーザの端末装置に送信し、
前記第1ユーザの第1音声を取得した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示し、
前記第2ユーザの第2音声を受信した場合、前記第2音声を出力し、
前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示し、
前記第1ユーザによる第1指示又は前記第2ユーザによる第1指示に応じて、配信ユーザの端末装置から前記配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を受信し、前記第3画像を表示すること、
を含むことを特徴とする制御方法。
【請求項17】
第1ユーザの端末装置及び前記第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御方法であって、
前記第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、前記第1ユーザの端末装置から受信し、前記第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、前記第2ユーザの端末装置から受信し、
前記第1画像を少なくとも表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、前記第2画像を少なくとも表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
前記第1ユーザの第1音声を受信した場合、前記第1音声を前記第2ユーザの端末装置に送信し、
前記第1ユーザの動作又は前記第1音声に応じて変化する前記第1オブジェクトを含む前記第1画像を表示するための情報を、少なくとも前記第2ユーザの端末装置に送信し、
前記第2ユーザの第2音声を受信した場合、前記第2音声を前記第1ユーザの端末装置に送信し、
前記第2ユーザの動作又は前記第2音声に応じて変化する前記第2オブジェクトを含む前記第2画像を表示するための情報を、少なくとも前記第1ユーザの端末装置に送信し、
配信ユーザの端末装置から受信した、前記配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を、前記第1ユーザによる第1指示又は前記第2ユーザによる第1指示に応じて前記第1ユーザの端末装置及び前記第2ユーザの端末装置に送信すること、
を含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示された実施形態は、端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法に関する。
【背景技術】
【0002】
従来から、複数のユーザがそれぞれPC(Personal Computer)等の端末装置を用いて各ユーザ自身を示す画像及び/又は各ユーザの音声等の各種情報を互いに他ユーザの端末装置に送信することでコミュニケーションを実現する情報システムが知られている。例えば、非特許文献1には、インターネットに接続された各ユーザのPCに備えられたカメラ及びマイクから取得した各ユーザの画像及び音声を、各ユーザのPCが共有することで、ユーザ間の音声チャットが実現する情報システムの技術が開示されている。さらに、非特許文献1には、「画面共有」という機能が用いられることにより、音声チャットに参加しているいずれかのユーザのPCから、他の各ユーザのPCが動画等を取得して共有する技術が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Zoom Video Communications, Inc.,“Zoomサポート 画面、コンテンツ、第2カメラの共有”,[online],2021年12月22日,[2022年1月26日検索],インターネット<URL:https://support.zoom.us/hc/ja/articles/201362153-%E7%94%BB%E9%9D%A2-%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84-%E7%AC%AC-2-%E3%82%AB%E3%83%A1%E3%83%A9%E3%81%AE%E5%85%B1%E6%9C%89>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の情報システムでは、ユーザが他ユーザとのコミュニケーションを行っている時にユーザの端末装置からの出力に多様性がないため、ユーザが他ユーザとのコミュニケーションに飽きてしまうという問題が生じていた。
【0005】
開示された端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法は、他ユーザとのコミュニケーションを継続しようとするユーザの意欲を向上させることを可能とする。
【課題を解決するための手段】
【0006】
端末装置の制御プログラムは、第1ユーザの端末装置の制御プログラムであって、第1ユーザの端末装置に、第1ユーザを示す第1オブジェクトを含む第1画像と、第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる第1指示又は第2ユーザによる第1指示に応じて、配信ユーザの端末装置から配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を受信し、第3画像を表示すること、を実行させる。
【0007】
また、端末装置の制御プログラムにおいて、第3画像の表示中、第1ユーザの端末装置に、第2ユーザの第2音声を受信した場合、第2音声を出力し、配信ユーザの第3音声を受信した場合、第3音声を出力すること、を実行させ、第1ユーザの第1音声を取得した場合に第2ユーザの端末装置に送信する第1音声は、配信ユーザの端末装置に送信されないことが好ましい。
【0008】
また、端末装置の制御プログラムにおいて、第1ユーザの端末装置に、第3画像の表示に応じて、第1画像及び第2画像の表示を変更し、第1ユーザによる第2指示又は第2ユーザによる第2指示に応じて、第3画像の表示を終了し、第1画像及び第2画像の表示を変更の前に戻すこと、を実行させることが好ましい。
【0009】
また、端末装置の制御プログラムにおいて、第1画像及び第2画像の表示の変更は、第1画像及び第2画像の大きさ又は位置を変更すること、又は、第1画像及び第2画像を第1オブジェクト及び第2オブジェクトを含む第4画像に変更することであることが好ましい。
【0010】
また、端末装置の制御プログラムにおいて、第3画像の表示中、第1ユーザの端末装置に、第1ユーザによる第3指示又は第2ユーザによる第3指示に対応する第4オブジェクトを含む第3画像を表示すること、を実行させることが好ましい。
【0011】
また、端末装置の制御プログラムにおいて、第3画像の表示中、第1ユーザの端末装置に、第1ユーザによる第3指示及び/又は第2ユーザによる第3指示の表示要求に関する条件が満たされた場合、第5オブジェクトを含む第3画像を表示すること、を実行させることが好ましい。
【0012】
また、端末装置の制御プログラムにおいて、表示要求に関する条件は、第1ユーザによる第3指示に対応する第4オブジェクト及び第2ユーザによる第3指示に対応する第4オブジェクトが互いに異なる特定の種類のオブジェクトであり、且つ、第1ユーザによる第3指示のタイミング及び第2ユーザによる第3指示のタイミングの時間差が所定時間内であること、であることが好ましい。
【0013】
また、端末装置の制御プログラムにおいて、第5オブジェクトを含む第3画像の表示において、第1ユーザの端末装置に、表示要求に関する条件が満たされた場合、第1ユーザによる第3指示に対応する第4オブジェクト及び第2ユーザによる第3指示に対応する第4オブジェクトを表示せずに、第5オブジェクトを含む第3画像を表示すること、を実行させることが好ましい。
【0014】
また、端末装置の制御プログラムにおいて、第4オブジェクトを含む第3画像の表示において、第1ユーザの端末装置に、第1ユーザ及び/又は第2ユーザによる第3指示の回数に応じて表示態様を変化させた第4オブジェクトを第3画像に含ませること、を実行させることが好ましい。
【0015】
また、端末装置の制御プログラムにおいて、第3画像の表示中、第1ユーザの端末装置に、第1ユーザ及び/又は第2ユーザによる第4指示に対応する数の合計に関する所定条件が満たされた場合、第6オブジェクトを含む第3画像を表示すること、を実行させることが好ましい。
【0016】
また、端末装置の制御プログラムにおいて、第6オブジェクトを含む第3画像の表示において、第1ユーザの端末装置に、第6オブジェクトの近傍に位置する又は第6オブジェクトに重畳する、第1ユーザ及び第2ユーザに関する画像を表示すること、を実行させることが好ましい。
【0017】
また、端末装置の制御プログラムにおいて、第1ユーザの端末装置に、第6オブジェクトを第1ユーザが選択するための第1入力オブジェクトを表示し、第1入力オブジェクトが第1ユーザによって指定された場合、第4指示を第1ユーザが入力するための第2入力オブジェクトを表示し、第6オブジェクトの選択に関する情報を第2ユーザの端末装置に送信すること、を実行させ、第6オブジェクトの選択に関する情報は、当該情報を受信した第2ユーザの端末装置において、第4指示を第2ユーザが入力するための第2入力オブジェクトを表示させるために用いられることが好ましい。
【0018】
サーバ装置の制御プログラムは、第1ユーザの端末装置及び第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御プログラムであって、第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、第1ユーザの端末装置から受信し、第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、第2ユーザの端末装置から受信し、第1画像を少なくとも表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2画像を少なくとも表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザの第1音声を受信した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザの第2音声を受信した場合、第2音声を第1ユーザの端末装置に送信し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信し、配信ユーザの端末装置から受信した、配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を、第1ユーザによる第1指示又は第2ユーザによる第1指示に応じて第1ユーザの端末装置及び第2ユーザの端末装置に送信すること、を実行させる。
【0019】
端末装置は、第1ユーザの端末装置であって、第1ユーザを示す第1オブジェクトを含む第1画像と、第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる第1指示又は第2ユーザによる第1指示に応じて、配信ユーザの端末装置から配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を受信し、第3画像を表示する、処理部を備える。
【0020】
サーバ装置は、第1ユーザの端末装置及び第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置であって、第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、第1ユーザの端末装置から受信し、第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、第2ユーザの端末装置から受信し、第1画像を少なくとも表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2画像を少なくとも表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザの第1音声を受信した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザの第2音声を受信した場合、第2音声を第1ユーザの端末装置に送信し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信し、配信ユーザの端末装置から受信した、配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を、第1ユーザによる第1指示又は第2ユーザによる第1指示に応じて第1ユーザの端末装置及び第2ユーザの端末装置に送信する、処理部を備える。
【0021】
端末装置の制御方法は、第1ユーザの端末装置の制御方法であって、第1ユーザの端末装置が、第1ユーザを示す第1オブジェクトを含む第1画像と、第1ユーザとは異なる第2ユーザを示す第2オブジェクトを含む第2画像とを少なくとも表示し、第1画像の表示に関する情報を第2ユーザの端末装置に送信し、第1ユーザの第1音声を取得した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示し、第2ユーザの第2音声を受信した場合、第2音声を出力し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示し、第1ユーザによる第1指示又は第2ユーザによる第1指示に応じて、配信ユーザの端末装置から配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を受信し、第3画像を表示すること、を含む。
【0022】
サーバ装置の制御方法は、第1ユーザの端末装置及び第1ユーザとは異なる第2ユーザの端末装置のそれぞれと通信可能なサーバ装置の制御方法であって、第1ユーザを示す第1オブジェクトを含む第1画像の表示に関する情報を、第1ユーザの端末装置から受信し、第2ユーザを示す第2オブジェクトを含む第2画像の表示に関する情報を、第2ユーザの端末装置から受信し、第1画像を少なくとも表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2画像を少なくとも表示するための情報を、少なくとも第1ユーザの端末装置に送信し、第1ユーザの第1音声を受信した場合、第1音声を第2ユーザの端末装置に送信し、第1ユーザの動作又は第1音声に応じて変化する第1オブジェクトを含む第1画像を表示するための情報を、少なくとも第2ユーザの端末装置に送信し、第2ユーザの第2音声を受信した場合、第2音声を第1ユーザの端末装置に送信し、第2ユーザの動作又は第2音声に応じて変化する第2オブジェクトを含む第2画像を表示するための情報を、少なくとも第1ユーザの端末装置に送信し、配信ユーザの端末装置から受信した、配信ユーザを示す第3オブジェクトを含む第3画像を表示するための情報を、第1ユーザによる第1指示又は第2ユーザによる第1指示に応じて第1ユーザの端末装置及び第2ユーザの端末装置に送信すること、を含む。
【発明の効果】
【0023】
端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法によって、他ユーザとのコミュニケーションを継続しようとするユーザの意欲を向上させることが可能となる。
【図面の簡単な説明】
【0024】
【
図1】情報システムの概要の一例を説明するための模式図である。
【
図2】情報システムの概略構成の一例を示す図である。
【
図4】各種テーブルのデータ構造の一例を示す図である。
【
図5】サーバ装置の概略構成の一例を示す図である。
【
図6】端末装置の表示装置に表示される画面の一例を示す図である。
【
図7】端末装置の表示装置に表示される画面の一例を示す図である。
【
図8】端末装置の表示装置に表示される画面の一例を示す図である。
【
図9】端末装置の表示装置に表示される画面の一例を示す図である。
【
図10】端末装置の表示装置に表示される画面の一例を示す図である。
【
図11】端末装置の表示装置に表示される画面の一例を示す図である。
【
図12】端末装置の表示装置に表示される画面の一例を示す図である。
【
図13】端末装置の表示装置に表示される画面の一例を示す図である。
【
図14】端末装置の表示装置に表示される画面の一例を示す図である。
【
図15】情報システムの動作シーケンスの一例を示す図である。
【
図16】端末装置の表示装置に表示される画面の一例を示す図である。
【
図17】端末装置の表示装置に表示される画面の一例を示す図である。
【
図18】端末装置の表示装置に表示される画面の一例を示す図である。
【
図19】仮想空間内を説明するための模式図である。
【発明を実施するための形態】
【0025】
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0026】
(情報システムの概要)
図1は、情報システムの概要の一例を説明するための模式図である。情報システムは、複数のユーザのそれぞれが操作する端末装置とサーバ装置とを備える。例えば、端末装置は、ユーザが所有する多機能携帯電話(所謂「スマートフォン」)等の情報処理装置である。例えば、サーバ装置は、通信ネットワークを介して端末装置間のコミュニケーションサービスを提供するためのコンピュータである。
【0027】
端末装置は、アプリケーションプログラム等の制御プログラムを記憶し、ユーザからの開始操作に応じて制御プログラムをメモリにロードし、ロードした制御プログラムに含まれる命令の実行によりコミュニケーションサービスを開始する。コミュニケーションサービスが開始されると、端末装置は、制御プログラムに含まれる命令を実行することにより複数の機能を実現する。
【0028】
例えば、ユーザの端末装置は、ユーザによって入力された各種の入力データに基づくモーションデータを含むキャラクタ動画データを含む出力情報を生成する生成機能を実現する。例えば、入力データは、ユーザの端末装置に備えられた撮像装置によって所定のサンプリング時間間隔ごとに取得された複数の撮像データであり、この場合、各撮像データにはユーザが写されている。キャラクタ動画データは、ユーザを示すキャラクタオブジェクトを含むユーザ出力画像の表示に関する情報の一例である。コミュニケーションサービス中において、出力情報は所定時間ごとに生成される。
【0029】
また、例えば、ユーザの端末装置は、キャラクタ動画データに基づいてユーザ出力画像を表示し、生成された出力情報をサーバ装置経由で他ユーザの端末装置に送信するため、当該出力情報をサーバ装置に所定時間ごとに送信する出力機能を実現する。また、例えば、ユーザの端末装置は、サーバ装置から所定時間ごとに送信された他ユーザの出力情報に基づいて、他ユーザを示すキャラクタオブジェクトを含む他ユーザ出力画像を表示する機能を実現する。
【0030】
コミュニケーションサービスが開始されると、
図1(a)に示されるように、ユーザの端末装置によって、例えば、ユーザ出力画像(1)と他ユーザ出力画像(2)とが表示される。コミュニケーションサービスが開始されたときに、他ユーザがコミュニケーションサービスに参加していない場合、ユーザの端末装置によって、ユーザ出力画像(1)のみが表示される。コミュニケーションサービスが開始されたときに、ユーザがコミュニケーションサービスに参加していない場合、他ユーザの端末装置では、他ユーザ出力画像(2)のみが表示される。
【0031】
ユーザ出力画像(1)は、キャラクタ動画データに含まれるユーザのモーションデータに応じて動作するユーザのキャラクタオブジェクトを含む。また、他ユーザ出力画像(2)は、受信された他ユーザの出力情報に含まれる他ユーザのモーションデータに応じて動作する他ユーザのキャラクタオブジェクトを含む。このように、ユーザの端末装置は、ユーザの動作に応じて変化するユーザのキャラクタオブジェクトを含むユーザ出力画像(1)を表示し、他ユーザの動作に応じて変化する他ユーザのキャラクタオブジェクトを含む他ユーザ出力画像(2)を表示する。
【0032】
ユーザの端末装置及び他ユーザの端末装置はともにマイクを備えるため、ユーザの端末装置はユーザによって発せられた音声を取得し、他ユーザの端末装置は他ユーザによって発せられた音声を取得する。そして、ユーザの端末装置は、取得したユーザの音声データを出力情報に含め、ユーザの音声データを含む出力情報をサーバ装置経由で他ユーザの端末装置に送信するため、当該出力情報をサーバ装置に送信する。また、ユーザの端末装置は、他ユーザの端末装置によってサーバ装置に送信された他ユーザの音声データを含む出力情報を、サーバ装置から受信する。
【0033】
例えば、ユーザによって音声が発生される時、キャラクタ動画データに含まれるユーザのモーションデータには、ユーザの唇の動きを示すフェイスモーションデータが含まれる。この場合、ユーザの端末装置において、ユーザが発生している音声と略同期するように唇が動作するユーザのキャラクタオブジェクトを含むユーザ出力画像(1)が表示されることになる。ユーザの端末装置によって受信された他ユーザの出力情報に、他ユーザのモーションデータとともに他ユーザの音声データが含まれる場合がある。この場合、ユーザの端末装置において、他ユーザの音声が出力されるとともに、他ユーザの音声と略同期するように唇が動作する他ユーザのキャラクタオブジェクトを含む他ユーザ出力画像(2)が表示されることになる。
【0034】
上述した機能の他に、ユーザの端末装置は、ユーザによる指示又は他ユーザによる指示に応じて、特定の配信イベントにおいて配信された出力情報に基づく配信画像を表示する機能を実現する。配信画像は、配信ユーザのキャラクタ動画データに基づくユーザ出力画像である。以下、配信ユーザによる特定の配信イベントの一例について説明する。
【0035】
特定の配信イベントを配信ユーザが開始するため、配信ユーザの端末装置は、配信ユーザからの実行開始操作に応じて、動画配信アプリケーションプログラムをメモリにロードし、ロードした動画配信アプリケーションプログラムに含まれる命令を実行する。動画配信アプリケーションプログラムは、配信ユーザの端末装置に記憶される制御プログラムの一部の要素プログラムである。動画配信プログラムは、制御プログラムとは異なるプログラムであってもよい。特定の配信イベントにおいて、配信ユーザの端末装置は、配信ユーザによって入力されたモーションデータを含むキャラクタ動画データ等のゲーム動画データを含む出力情報をサーバ装置に送信する機能を有する。
【0036】
配信ユーザの配信画像を視聴ユーザが視聴するため、視聴ユーザの端末装置は、視聴ユーザからの実行開始操作に応じて、動画配信アプリケーションプログラムをメモリにロードし、ロードした動画配信アプリケーションプログラムに含まれる命令を実行する。特定の配信イベントにおいて、視聴ユーザの端末装置は、視聴ユーザによる視聴開始操作に応じて、配信中の配信画像のうちの視聴を所望する配信画像の視聴指示をサーバ装置に送信する。サーバ装置は、視聴ユーザの端末装置からの視聴指示に応じて、視聴ユーザが視聴を所望する配信画像に関する出力情報を、視聴ユーザの端末装置に送信する。視聴ユーザの端末装置は、サーバ装置によって送信された出力情報を受信すると、出力情報に含まれる配信ユーザのキャラクタ動画データ等に基づいて配信ユーザのキャラクタオブジェクトを含む配信画像を表示する。このように、配信ユーザは、配信ユーザに係る配信画像をサーバ装置経由で一又は複数の視聴ユーザの端末装置を提供する配信イベントを実施することが可能となる。
【0037】
コミュニケーションサービスに参加しているユーザの端末装置は、コミュニケーションサービス中においてユーザによる視聴開始が操作された場合、配信画像を他ユーザの端末装置にも表示させるか否かをユーザに問い合わせる画面を表示する(
図1(b))。ユーザの端末装置は、表示された画面(
図1(b))に対するユーザの操作に応じて、配信画像を他ユーザの端末装置にも表示させる指示を取得すると、配信画像の視聴指示をサーバ装置に送信する。複数の配信画像が配信中である場合、ユーザによる選択指示に応じた一の配信画像に関する情報が視聴指示とともにサーバ装置に送信されてもよい。
【0038】
サーバ装置は、ユーザの端末装置から送信された視聴指示を受信すると、ユーザの視聴指示に対応する配信画像を表示するための出力情報を、ユーザの端末装置及び他ユーザの端末装置に送信する。ユーザの端末装置から視聴指示が送信された場合、ユーザの端末装置及び他ユーザの端末装置は、サーバ装置から送信された出力情報に基づいて配信画像(3)を表示する(
図1(c))。
【0039】
サーバ装置は、他ユーザの端末装置から送信された視聴指示を受信すると、他ユーザの視聴指示に対応する配信画像を表示するための出力情報を、ユーザの端末装置及び他ユーザの端末装置に送信する。他ユーザの端末装置から視聴指示が送信された場合、ユーザの端末装置から視聴指示が送信された場合と同様に、ユーザの端末装置及び他ユーザの端末装置は、サーバ装置から送信された出力情報に基づいて配信画像(3)を表示する(
図1(c))ことができる。
【0040】
なお、出力情報に配信ユーザの音声データが含まれる場合、ユーザの端末装置及び他ユーザの端末装置は、配信ユーザが発生している音声と略同期するように唇が動作する配信ユーザのキャラクタオブジェクトを含む配信画像(3)を表示する。
【0041】
ユーザの端末装置及び他ユーザの端末装置は、配信画像(3)を表示する場合、
図1(c)に示されるように、ユーザ出力画像(1)及び他ユーザ出力画像(2)を縮小して表示する。また、ユーザの端末装置及び他ユーザの端末装置は、配信画像(3)を表示する場合、ユーザ出力画像(1)及び他ユーザ出力画像(2)の表示を終了してもよい。
【0042】
以上、
図1を参照しつつ説明したとおり、ユーザの端末装置の制御プログラム、ユーザの端末装置、ユーザの端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法では、ユーザによる指示又は他ユーザによる指示に応じて、ユーザの端末装置は、配信ユーザの端末装置によって送信された配信ユーザを示すキャラクタオブジェクトを含む配信画像を表示するための情報をサーバ経由で受信し、配信画像を表示する。このように、ユーザの端末装置の制御プログラム、ユーザの端末装置、ユーザの端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法によって、コミュニケーションサービス中に、ユーザの端末装置からの出力がユーザ又は他ユーザによって変更されるようにすることで、コミュニケーションに対するユーザの継続使用の意欲を向上させることが可能となる。
【0043】
また、従来の情報システムでは、ユーザを示すアバタ等のキャラクタオブジェクトを介してユーザが他ユーザとのコミュニケーションを行っている途中で、他のサービスを開始させるためには、ユーザはコミュニケーションサービスを中断又は終了する必要があった。その後、ユーザ及び他ユーザは、他のサービスの開始の指示をサーバ装置等に行うことで、他のサービスの提供を受けることができた。このように、従来の情報システムでは、ユーザ及び他ユーザがサービスの提供を受けている途中で他のサービスの提供を受ける場合、サービスの中断又は終了に関する通信、及び、他サービスの開始に関する通信が発生していた。このように、サービスの提供を受けているユーザ及び他ユーザが当該サービスの途中で他のサービスの提供を受けようとする際に、端末装置の処理負荷及び/又は端末装置とサーバ装置と間の通信の負荷が増大するという問題が生じることがあった。これに対し、実施形態で開示されたユーザの端末装置の制御プログラム、ユーザの端末装置、ユーザの端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法では、配信サービスの開始に関する通信だけで、ユーザ及び他ユーザは配信サービスの提供を受けることができ、端末装置の処理負荷及び/又は端末装置とサーバ装置と間の通信負荷を低減させることが可能となる。
【0044】
図1に示される例において、ユーザ及び他ユーザは、コミュニケーションサービスを利用可能な複数のユーザのうち、所定のコミュニケーショングループに所属するユーザである。所定のコミュニケーショングループは、ユーザ及び他ユーザのいずれかによって作成されたグループ等である。
図1に示される例では、2人のユーザのキャラクタオブジェクトが表示されるが、所定のコミュニケーショングループに所属する3人以上のユーザのキャラクタオブジェクトが表示され、3人以上のユーザがコミュニケーションできるように構成されてもよい。
【0045】
また、
図1に示される例において、ユーザ及び他ユーザは、所定の関係を有しているユーザでもよい。ユーザと所定の関係を有する他ユーザは、例えば、ユーザの相互フォロワーである。なお、ユーザが他ユーザをフォローし且つ他ユーザもユーザをフォローしている(ユーザと他ユーザが相互フォローしている)場合、ユーザと他ユーザは相互フォロワーとなる。また、ユーザと所定の関係を有する他ユーザは、ユーザと相互フォローしている所定ユーザと相互フォローの関係にある他ユーザでもよい。また、ユーザと所定の関係を有する他ユーザは、ユーザとフレンド関係にある他ユーザでもよく、または、ユーザの端末装置に特定情報(電話番号、メールアドレス、所定のID(identification)等)が記憶されている他のユーザでもよい。また、ユーザの端末装置がユーザのキャラクタオブジェクトを含むユーザ出力画像を、一又は複数の他ユーザの端末装置に、サーバ装置を介して配信する機能を有する場合、ユーザと所定の関係を有する他ユーザは、ユーザが配信したユーザ出力画像を視聴した他ユーザである。この場合、所定の関係を有しているユーザ及び他ユーザが、
図1に示されるようなコミュニケーションを行場合、ユーザ及び他ユーザによって構成される所定のコミュニケーショングループが、ユーザ若しくは他ユーザの端末装置又はサーバ装置によって一時的に作成されてもよい。
【0046】
なお、上述した
図1の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。
【0047】
(情報システム1)
図2は、情報システム1の概略構成の一例を示す図である。情報システム1は、複数のユーザのそれぞれが操作する端末装置2と、サーバ装置3とを備える。端末装置2及びサーバ装置3は、例えば、基地局4と移動体通信網5とゲートウェイ6とインターネット7等の通信ネットワークとを介して相互に接続される。端末装置2及びサーバ装置3間では、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol,HTTP)等の通信プロトコルに基づいて通信が行われる。また、端末装置2及びサーバ装置3間において、最初にHTTP通信によりコネクションが確立され、その後は、HTTP通信よりも小コスト(通信負荷及び処理負荷が少ない)の双方向通信が行われるWebSocketに基づいて通信が行われてもよい。なお、端末装置2及びサーバ装置3間の通信方式は、上述の方式に限定されず、本実施形態を実現できるものであれば、端末装置2及びサーバ装置3間においてどのような通信方式の技術が用いられてもよい。
【0048】
端末装置2は、スマートフォン等の情報処理装置である。端末装置2は、携帯電話機、ノートPC、タブレット端末、タブレットPC、ヘッドマウントディスプレイ(Head Mounted Display,HMD)、電子書籍リーダー、又はウェアラブルコンピュータ等でもよい。端末装置2は、携帯ゲーム機、又はゲーム用コンソール等でもよい。端末装置2は、ユーザ及び他ユーザのキャラクタオブジェクトの表示出力、並びに、ユーザ及び他ユーザの音声の出力が可能であれば、どのような情報処理装置でもよい。
【0049】
図2に示される例では、1台のサーバ装置3が情報システム1の構成要素として図示されているが、サーバ装置3は複数の物理的に別体のサーバ装置3の集合であってもよい。この場合、複数のサーバ装置3のそれぞれは、同一の機能を有するものでもよく、1台のサーバ装置3の機能を分散して有するものでもよい。
【0050】
(端末装置2)
図3は、端末装置2の概略構成の一例を示す図である。端末装置2は、基地局4と移動体通信網5とゲートウェイ6とインターネット7等の通信ネットワークとを介してサーバ装置3に接続し、サーバ装置3と通信を行う。端末装置2は、ユーザによって入力された各種データ(撮像データ等)に従ってモーションデータを含むキャラクタ動画データを生成し、生成したキャラクタ動画データ及び/又はユーザの音声データを含む出力情報をサーバ装置3に送信する。また、端末装置2は、サーバ装置3から送信された他ユーザの出力情報を受信し、受信した出力情報に基づいて他ユーザのキャラクタオブジェクトを表示し、及び/又は、他ユーザの音声を出力する。このような機能を実現するため、端末装置2は、端末通信I/F21と、端末記憶装置22と、表示装置23と、入力装置24と、撮像装置25と、マイク26と、端末処理装置27とを備える。
【0051】
端末通信I/F21は、ハードウェア、ファームウェア、又はTCP/IP(Transmission Control Protocol / Internet Protocol)ドライバやPPP(Point-to-Point Protocol)ドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。端末装置2は、端末通信I/F21を介して、サーバ装置3等の他の装置にデータを送信し且つ他の装置からデータを受信することができる。
【0052】
端末記憶装置22は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ装置である。端末記憶装置22は、端末処理装置27における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、制御プログラム及びデータ等を記憶する。端末記憶装置22に記憶されるドライバプログラムは、表示装置23を制御する出力デバイスドライバプログラム、及び、入力装置24を制御する入力デバイスドライバプログラム等である。端末記憶装置22に記憶される制御プログラムは、例えば、コミュニケーションサービスに関する各種機能を実現するためのアプリケーションプログラムである。なお、制御プログラムは、サーバ装置3又はその他の装置から送信されたものでもよい。
【0053】
端末記憶装置22は、データとして、端末装置2を操作するユーザを一意に識別するための識別情報(例えば、ユーザID(identification))等を記憶する。また、端末記憶装置22は、データとして、背景データ及びモデルデータ等を記憶する。また、端末記憶装置22は、データとして、ユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3を記憶する。また、端末記憶装置22は、所定の処理に係るデータを一時的に記憶してもよい。
【0054】
背景データは、ユーザ出力画像及び配信画像において、ユーザ及び配信ユーザのキャラクタオブジェクトが存在する仮想空間を構築するためのアセットデータである。背景データは、仮想空間の背景を描画するためのデータ、ユーザ出力画像及び配信画像に含まれる各種物体を描画するためのデータ、及びこれら以外のユーザ出力画像及び配信画像に表示される各種背景オブジェクトを描画するためのデータが含まれる。背景データには、仮想空間における各種背景オブジェクトの位置を示すオブジェクト位置情報が含まれてもよい。
【0055】
表示装置23は、液晶ディスプレイである。なお、表示装置23は、有機EL(Electro-Luminescence)ディスプレイ等でもよい。表示装置23は、端末処理装置27から供給された、動画像データに応じた動画像及び/又は静止画像データに応じた静止画像等を表示画面に表示する。また、表示装置23は、端末装置2の構成要素でなくてもよく、この場合、表示装置23は、サーバ装置3と通信可能なHMDのディスプレイ、有線又は無線を介して端末装置2と通信可能な、プロジェクションマッピング(Projection Mapping)用の映写装置、網膜投影型の投影装置等でもよい。
【0056】
入力装置24は、タッチパネル等のポインティングデバイスである。入力装置24がタッチパネルである場合、入力装置24は、ユーザのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、ユーザの非接触操作を検出可能に構成されてもよい。なお、入力装置24は、入力キー等でもよい。ユーザは、入力装置24を用いて、文字、数字及び記号、若しくは、表示装置23の表示画面上の位置等を入力することができる。入力装置24は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、入力装置24は、発生した信号を、ユーザの指示として、端末処理装置27に供給する。
【0057】
撮像装置25は、結像光学系、撮像素子及び画像処理部等を有するカメラである。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して撮像データとして出力する。または、画像処理部は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して撮像データとして出力する。
【0058】
マイク26は、ユーザによって発せられた音声を取得し、音声データに変換するように構成された集音装置である。マイク26は、ユーザの音声入力を取得することができるように構成され、マイク26により取得されたユーザの音声入力を音声データに変換し、音声データを端末処理装置27に出力する。
【0059】
端末処理装置27は、端末記憶装置22に記憶されているオペレーティングシステムプログラム、ドライバプログラム及び制御プログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行するプロセッサである。端末処理装置27は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等の電子回路、又は各種電子回路の組み合わせである。端末処理装置27は、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、MCU(Micro Controller Unit)等の集積回路により実現されてもよい。
図3においては、端末処理装置27が単一の構成要素として図示されているが、端末処理装置27は複数の物理的に別体のプロセッサの集合であってもよい。
【0060】
端末処理装置27は、制御プログラムに含まれる各種命令を実行することにより、生成部271、送信部272、受信部273、表示処理部274、及び音声出力部275として機能する。生成部271、送信部272、受信部273、表示処理部274、及び音声出力部275の機能については後述する。
【0061】
(各種テーブル)
図4は、端末記憶装置22に記憶されるユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3のデータ構造の一例を示す図である。なお、ユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3のうちの少なくとも一つのテーブルは、サーバ装置3のサーバ記憶装置32に記憶されてもよい。この場合、端末装置2は、所定のタイミングで、サーバ記憶装置32に記憶されている最新のテーブルを受信して端末記憶装置22に記憶してもよい。
【0062】
(ユーザテーブルT1)
図4(a)は、コミュニケーションサービスに参加するユーザを管理するユーザテーブルT1のデータ構造の一例である。ユーザテーブルT1では、各ユーザについて、ユーザID、ユーザの名称、ユーザのキャラクタオブジェクト、ユーザの保有オブジェクト、及び使用オブジェクト等が、互いに関連付けて記憶されている。ユーザテーブルT1において、ユーザのユーザIDに関連付けて、ユーザの保有コイン(ユーザが保有している仮想的な貨幣価値の「コイン」の総量を示す情報)及び/又はユーザポイント等が記憶されてもよい。ユーザIDは、各ユーザを一意に識別するための識別データの一例である。名称は、各ユーザの名称を示すデータの一例である。
【0063】
例えば、キャラクタオブジェクトは、キャラクタオブジェクトのアニメーションを生成するためのモデルデータを識別するためのモデルIDである。モデルデータは、モデルIDに関連付けられて端末記憶装置22に記憶される。モデルデータは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータは、例えば、キャラクタオブジェクトの顔及び顔以外の部分の骨格を示すリグデータ(所謂「スケルトンデータ」)と、キャラクタオブジェクトの表面の形状や質感を示す表面データとを含む。モデルデータには、互いに異なる複数のモデルデータが含まれてもよい。複数のモデルデータのそれぞれは、互いに異なるリグデータを有してもよく、又は、同じリグデータを有してもよい。複数のモデルデータのそれぞれは、互いに異なる表面データを有してもよく、又は、同じ表面データを有してもよい。
【0064】
保有オブジェクトは、各ユーザが保有しているオブジェクトを示すオブジェクトIDである。保有オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けることが可能な装着オブジェクト、及び、ユーザ出力画像及び配信画像内においてユーザ及び配信ユーザのキャラクタオブジェクトの背面に配置される壁紙オブジェクト等である。装着オブジェクト及び壁紙オブジェクトの詳細は後述する。保有オブジェクトは、ユーザの操作によって、ユーザの端末装置2又はサーバ装置3によって実行された抽選ゲームによって選択されたオブジェクトである。また、保有オブジェクトは、情報システム1における購入機能において、ユーザが仮想的な貨幣価値の「コイン」を消費することで、ユーザが保有することになったオブジェクトでもよい。
【0065】
使用オブジェクトは、ユーザの端末装置2において表示中のユーザ出力画像において使用されているオブジェクトを示すオブジェクトIDである。例えば、コミュニケーションサービス中に、ユーザの変更指示が入力された場合、表示中のユーザ出力画像に含まれるユーザのキャラクタオブジェクトに、ユーザの保有オブジェクトとして保有している装着オブジェクトが装着される。この場合、ユーザのキャラクタオブジェクトに装着された装着オブジェクトのオブジェクトIDが、使用オブジェクトとしてユーザIDに関連付けてユーザテーブルT1に記憶される。また、例えば、コミュニケーションサービス中に、ユーザの変更指示が入力された場合、表示中のユーザ出力画像においてユーザのキャラクタオブジェクトの背面に、ユーザの保有オブジェクトとして保有している壁紙オブジェクトが配置される。この場合、ユーザ出力画像に配置された壁紙オブジェクトのオブジェクトIDが、使用オブジェクトとしてユーザIDに関連付けてユーザテーブルT1に記憶される。
【0066】
(オブジェクトテーブルT2)
図4(b)は、追加オブジェクトとして選択されるオブジェクトを管理するオブジェクトテーブルT2のデータ構造の一例である。追加オブジェクトは、例えば、ユーザが他ユーザに贈るギフトオブジェクトである。オブジェクトテーブルT2では、各追加オブジェクトについて、オブジェクトID、名称、画像情報、希少度及び配置箇所等が、互いに関連付けて記憶されている。
【0067】
オブジェクトIDは、各追加オブジェクトを一意に識別するための識別データの一例である。画像情報は、各追加オブジェクトに対応する一又は複数の静止画像である。画像情報は、各追加オブジェクトに対応する1種類以上の動画像でもよい。希少度は、各追加オブジェクトの希少度合いを示す情報である。配置箇所は、各追加オブジェクトの画像情報が表示される箇所を示す情報である。なお、キャラクタオブジェクトの表示位置及び表示範囲が定められている場合、当該キャラクタオブジェクトに対する相対的な位置を示す情報が配置箇所として記憶されてもよい。
【0068】
追加オブジェクトは、複数の種類(カテゴリ)に分類される。例えば、追加オブジェクトには、エフェクトギフトとして使用されるエフェクトオブジェクトと、通常ギフトとして使用される通常オブジェクトと、装着ギフトとして使用される装着オブジェクトと、メッセージギフトとして使用されるメッセージオブジェクトと、が含まれる。追加オブジェクトに、ユーザ出力画像及び配信画像内のキャラクタオブジェクトの背面に配置される壁紙オブジェクトが含まれてもよい。なお、追加オブジェクトの種類(カテゴリ)を示す情報が、追加オブジェクトのオブジェクトIDに関連付けてオブジェクトテーブルT2に記憶されてもよい。以下、追加オブジェクトの種類に応じて、画像情報及び配置箇所について説明する。
【0069】
エフェクトオブジェクトは、ユーザ出力画像及び/又は他ユーザ出力画像の全体の印象に影響を与えるオブジェクトである。また、エフェクトオブジェクトは、配信画像の全体の印象に影響を与えるオブジェクトである。エフェクトオブジェクトは、例えば、紙吹雪を模したオブジェクトである。エフェクトオブジェクトが紙吹雪を模したオブジェクトである場合、画像情報として、複数の紙を示す画像が記憶される。
【0070】
エフェクトオブジェクトの配置箇所として「空間」を示す情報が記憶される。例えば、紙吹雪を模したオブジェクトは、ユーザ出力画像及び/又は他ユーザ出力画像の全体に表示される。なお、エフェクトオブジェクトは、ユーザの指示に応じて、ユーザ出力画像及び他ユーザ出力画像を含む画面(後述するコミュニケーション画面)全体に表示されてもよい。また、エフェクトオブジェクトは、ユーザ出力画像及び他ユーザ出力画像のうち、ユーザによって選択された出力画像内にのみ表示されてもよい。また、エフェクトオブジェクトは、ユーザ出力画像及び/又は他ユーザ出力画像に含まれるキャラクタオブジェクトと重複するように表示されてもよい。エフェクトオブジェクトは、後述する装着オブジェクトと異なり、キャラクタの特定の部位に関連付けられずに表示される。このように、情報システム1の端末装置2は、ユーザの指示に応じてエフェクトオブジェクトを表示することで、当該エフェクトオブジェクトが表示される前に比べて、ユーザ出力画像及び/又は他ユーザ出力画像の全体の印象を変えることができる。なお、配信画像においても、上述のエフェクトオブジェクトは同様に表示される。
【0071】
通常オブジェクトは、例えば、ぬいぐるみ、花束、アクセサリ、又はギフトやプレゼントに適した物品を模したオブジェクトである。通常オブジェクトの配置箇所として「空間」を示す情報が記憶される。例えば、通常オブジェクトには、所定の移動ルートに関する情報が関連付けられており、ユーザ出力画像内、他ユーザ出力画像内、又は配信画像内を所定の移動ルートに沿って移動する通常オブジェクトが表示される。「通常オブジェクト」の配置箇所として記憶される「空間」を示す情報は、複数の種類に分類されてもよい。複数の種類の「空間」は、例えば、「中央の空間」(ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像中央の領域)、「左の空間」(ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像左側の領域)、及び「右の空間」(ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像右側の領域)である。また、複数の種類の「空間」は、「中央の空間」(ユーザ出力画像又は他ユーザ出力画像を上下に3分割した場合の画像中央の領域)、「上の空間」(ユーザ出力画像又は他ユーザ出力画像を上下に3分割した場合の画像上側の領域)、及び「下の空間」(ユーザ出力画像又は他ユーザ出力画像を上下に3分割した場合の画像下側の領域)でもよい。この場合、通常オブジェクトに関連付けられた移動ルートは、当該通常オブジェクトの配置箇所として関連付けられた種類の「空間」内に設定される。例えば、通常オブジェクトに、「右の空間」を示す情報が記憶された場合、当該通常オブジェクトに、ユーザ出力画像又は他ユーザ出力画像を左右に3分割した場合の画像右側の領域内を移動する移動ルートに関する情報が関連付けられる。また、通常オブジェクトは、ユーザ出力画像又は他ユーザ出力画像内の通常オブジェクトごとに設定された位置又は自動的にランダムに決定された位置から、所定の移動ルールに沿って移動する通常オブジェクトが表示されてもよい。所定の移動ルールは、例えば、通常オブジェクトが自由落下しているような移動となるように設定された移動ルールである。なお、通常オブジェクトは、キャラクタオブジェクトと重複するように表示されてもよい。この場合、通常オブジェクトは、後述する装着オブジェクトと異なり、キャラクタオブジェクトの特定の部位に関連付けられずに表示される。また、通常オブジェクトは、キャラクタオブジェクトに接したタイミングで跳ね返るような移動を行うように表示されてもよい。なお、配信画像においても、上述のエフェクトオブジェクトは同様に表示される。
【0072】
通常オブジェクトがキャラクタオブジェクトと重複して表示される場合、例えば、通常オブジェクトは、キャラクタオブジェクトの「『顔』を含む『頭部』以外の部分」と重複するように表示されてもよい。この場合、通常オブジェクトは、キャラクタオブジェクトの「頭部」とは重複しないように表示される。また、通常オブジェクトは、キャラクタオブジェクトの「『顔』を含む『上半身』以外の部分」と重複するように表示されてもよい。この場合、通常オブジェクトは、キャラクタオブジェクトの「上半身」とは重複しないように表示される。
【0073】
装着オブジェクトは、キャラクタオブジェクトの特定の部位(装着箇所)に関連付けてユーザ出力画像、他ユーザ出力画像又は配信画像に表示されるオブジェクトである。例えば、特定の部位は、キャラクタオブジェクトの頭部における、頭部の前方左側、前方右側、後方左側、後方右側、中央前側、中央後側、左目、右目、左耳、右耳、及び髪全体等である。また、特定の部位は、親指、薬指、手首、肘、肩、二の腕、手全体、腕全体等でもよい。
【0074】
キャラクタオブジェクトの特定の部位に関連付けられた装着オブジェクトは、キャラクタオブジェクトの特定の部位に接するようにユーザ出力画像、他ユーザ出力画像又は配信画像に表示される。また、キャラクタオブジェクトの特定の部位に関連付けられた装着オブジェクトは、キャラクタオブジェクトの特定の部位の一部又は全部を覆うようにユーザ出力画像、他ユーザ出力画像又は配信画像に表示されてもよい。特定の部位は、3次元座標空間における位置を示す3次元位置情報で特定されてもよく、また、3次元座標空間の位置情報に関連付けられてもよい。
【0075】
装着オブジェクトの画像情報は、例えば、キャラクタオブジェクトに装着されるアクセサリ(カチューシャ、ネックレス又はイヤリング等)、衣服(Tシャツ又はワンピース等)、コスチューム、及び、これら以外のキャラクタオブジェクトが装着可能なもの、を模した画像情報である。
【0076】
装着オブジェクトの配置箇所として、装着オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着部位を示す情報が記憶される。例えば、装着オブジェクトが「カチューシャ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「頭部」を示す情報が記憶される。また、装着オブジェクトが「Tシャツ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「胴部」を示す情報が記憶される。
【0077】
装着オブジェクトの配置箇所として、3次元座標空間における複数の装着部位を示す情報が記憶されてもよい。例えば、装着オブジェクトが「カチューシャ」である場合、装着オブジェクトの配置箇所として、キャラクタオブジェクトの「頭部後方左側」及び「頭部後方右側」の2つの部位を示す情報が記憶されてもよい。これにより、「カチューシャ」を模した装着オブジェクトは、キャラクタオブジェクトの「頭部後方左側」及び「頭部後方右側」の両方に装着されるように表示される。
【0078】
キャラクタオブジェクトに装着箇所が共通する複数種類の装着オブジェクトが装着される場合、当該複数種類の装着オブジェクトは時間を隔ててキャラクタオブジェクトに装着される。これにより、装着部位が共通する複数種類の装着オブジェクトは、キャラクタオブジェクトに同時に装着されない。例えば、「カチューシャ」を示す装着オブジェクト及び「帽子」を示す装着オブジェクトの装着箇所として、ともに「頭部」が記憶される場合、「カチューシャ」を示す装着オブジェクト及び「帽子」を示す装着オブジェクトは、同時にキャラクタオブジェクトの頭部に表示されない。
【0079】
オブジェクトテーブルT2において、追加オブジェクトの種類に応じた表示時間が、当該追加オブジェクトのオブジェクトIDに関連付けて記憶されてもよい。例えば、装着オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長い時間が記憶されてもよい。例えば、装着オブジェクトの表示時間として「60秒」が記憶された場合、エフェクトオブジェクトの表示時間として「5秒」が記憶され、通常オブジェクトの表示時間として「10秒」が記憶されてもよい。
【0080】
(グループテーブルT3)
図4(c)は、ユーザが属するグループ(フレンド関係のユーザのグループ、相互フォロワーである他ユーザとのグループ、ユーザ又は他ユーザによって任意に作成されたグループ等)を管理するグループテーブルT3のデータ構造の一例である。グループテーブルT3は、ユーザごとに個別に設けられ、
図4(c)に示されるグループテーブルT3は、当該グループテーブルT3を記憶する端末装置2を操作するユーザのグループテーブルT3である。
【0081】
グループテーブルT3では、各グループについて、グループのグループID、グループの名称、グループに所属する所属ユーザ等が、互いに関連付けて記憶されている。グループIDは、各グループを一意に識別するための識別データの一例である。名称は、各グループの名称を示すデータの一例である。所属ユーザは、グループに所属する各ユーザのユーザIDである。
【0082】
図3に戻り、生成部271、送信部272、受信部273、表示処理部274、音声出力部275の機能について説明する。
【0083】
(生成部271)
生成部271は、撮像装置25によって連続的に出力された撮像データを、撮像装置25から取得する。例えば、ユーザによって把持された端末装置2の撮像装置25は、表示装置23の表示画面を眺めるユーザの顔が撮影方向となるように、端末装置2に設けられる。撮像装置25は、撮影方向のユーザの顔を連続的に撮像し、ユーザの顔の撮像データを取得し、端末処理装置27の生成部271に出力する。撮像装置25は、ユーザの顔以外の部位、例えば、頭部、腕部、手部(指部を含む)、胸部、胴部、脚部、又はこれら以外の部位を撮像して撮像データを取得しても良い。また、撮像装置25は、人物の顔の奥行きを検出可能な3Dカメラであってもよい。
【0084】
生成部271は、連続的に取得した撮像データに基づいて、ユーザの顔の動きのデジタル表現であるフェイスモーションデータを、時間の経過に伴って随時生成する。フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、生成部271によって生成されたフェイスモーションデータは、ユーザの顔の動き(表情の変化)を時系列的にデジタル表現することができる。
【0085】
生成部271は、ユーザの各部位(頭部、腕部、手部(指部を含む)、胸部、胴部、脚部、又はこれら以外の部位)の位置及び向きのデジタル表現であるボディモーションデータを、フェイスモーションデータとともに、又は、フェイスモーションデータとは別に、生成してもよい。
【0086】
ボディモーションデータは、ユーザに装着された公知のモーションセンサからの検出情報に基づいて生成されてもよい。この場合、端末装置2の端末通信I/F21は、ユーザに装着されたモーションセンサからの検出情報を無線通信で取得するための所定の通信回路を有する。そして、生成部271は、端末通信I/F21によって取得された検出情報に基づいてボディモーションデータを生成する。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、生成部271によって生成されたボディモーションデータは、ユーザの体の動きを時系列的にデジタル表現することができる。
【0087】
ユーザに装着されたモーションセンサからの検出情報に基づくボディモーションデータの生成は、例えば、撮影スタジオで行われてもよい。この場合、撮影スタジオには、ベースステーションと、トラッキングセンサと、ディスプレイと、が備えられてもよい。ベースステーションは、例えば、多軸レーザーエミッターである。ユーザに装着されるモーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerでもよく、また、ベースステーションは、例えば、HTC CORPORATIONから提供されているベースステーションでもよい。
【0088】
また、撮影スタジオに隣接した別室に、サポーターコンピュータが設置されていてもよい。撮影スタジオのディスプレイは、サポーターコンピュータから受信した情報を表示するように構成されてもよい。サーバ装置3は、サポーターコンピュータが設置されている部屋と同じ部屋に設置されてもよい。サポーターコンピュータが設置されている部屋と撮影スタジオとはガラス窓によって隔てられていてもよい。この場合、サポーターコンピュータのオペレータは、ユーザを視認できる。サポーターコンピュータは、サポーターの操作に応じて、撮影スタジオに備えられた各種装置の設定を変更することができるように構成されてもよい。サポーターコンピュータは、例えば、ベースステーションによる走査インターバルの設定、トラッキングセンサの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。オペレータは、サポーターコンピュータにメッセージを入力し、当該入力されたメッセージが撮影スタジオのディスプレイに表示されてもよい。
【0089】
生成部271は、随時生成したフェイスモーションデータ及び/又はボディモーションデータを含むキャラクタ動画データを生成し、生成したキャラクタ動画データを、表示処理部274に出力する。以下、フェイスモーションデータ及びボディモーションデータを、モーションデータと総称する場合がある。また、生成部271は、生成したキャラクタ動画データと、端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成し、生成した出力情報を送信部272に出力する。なお、生成部271は、マイク26から出力されたユーザの音声データを取得した場合、生成したキャラクタ動画データと、取得した音声データと、端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成し、生成した出力情報を送信部272に出力する。
【0090】
(送信部272)
送信部272は、生成部271から出力された出力情報を、送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。送信先情報は、ユーザとのコミュニケーションサービスに参加中の一又は複数の他ユーザのユーザIDを含む。また、出力情報に含まれるユーザIDが送信先情報として用いられてもよい。例えば、サーバ装置3は、ユーザとのコミュニケーションサービスに参加中の一又は複数の他ユーザのユーザIDを記憶しており、出力情報を取得すると、出力情報に含まれるユーザIDのユーザとのコミュニケーションサービスに参加中の一又は複数の他ユーザのユーザIDを特定し、特定されたユーザIDによって示される他ユーザの端末装置2に、受信した出力情報を送信する。
【0091】
また、送信部272は、ユーザが入力装置24を操作することによって入力された各種の指示を示す情報を、端末記憶装置22に記憶されたユーザID及び送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。各種の指示を示す情報とともに、送信先情報が送信されなくてもよく、また、各種指示を示す情報とともに他の情報が送信されてもよい。ユーザによる各種の指示には、追加指示等が含まれる。例えば、追加指示は、配信画像に含ませる追加オブジェクトのオブジェクトIDとユーザのユーザIDとともに端末通信I/F21を介してサーバ装置3に送信される。
【0092】
また、送信部272は、ユーザによる配信の開始指示に応じて、ユーザによる配信イベントの開始を指示するための配信開始指示に関する情報を、端末記憶装置22に記憶されたユーザのユーザIDとともに端末通信I/F21を介してサーバ装置3に送信する。以下、配信の開始指示を行ったユーザを配信ユーザと称し、配信ユーザのユーザIDを、配信ユーザIDと称する場合がある。
【0093】
また、(配信ユーザの端末装置2の)送信部272は、生成部271から出力された配信ユーザの出力情報を、配信イベントにおける配信ユーザの配信画像を表示するための出力情報として、端末記憶装置22に記憶された配信ユーザのユーザID(配信ユーザID)とともに端末通信I/F21を介してサーバ装置3に送信する。
【0094】
また、(配信ユーザの端末装置2の)送信部272は、配信ユーザによる配信の終了指示に応じて、配信ユーザによる配信イベントの終了を指示するための配信終了指示に関する情報を、端末記憶装置22に記憶された配信ユーザのユーザID(配信ユーザID)とともに端末通信I/F21を介してサーバ装置3に送信する。
【0095】
また、送信部272は、ユーザによる配信画像の視聴開始指示に応じて、視聴開始指示に関する情報を、配信画像に関する情報と、端末記憶装置22に記憶されたユーザのユーザIDともに端末通信I/F21を介してサーバ装置3に送信する。配信画像に関する情報は、ユーザによって視聴開始が指示された配信画像を特定するための情報であり、たとえば、配信画像の識別情報(配信画像ID)又は配信画像を配信している配信ユーザのユーザID等である。以下、配信画像の視聴開始指示を行ったユーザを視聴ユーザと称し、視聴ユーザのユーザIDを、視聴ユーザIDと称する場合がある。
【0096】
(受信部273)
受信部273は、サーバ装置3から送信された、他ユーザの出力情報及び他ユーザの各種の指示を示す情報等を、端末通信I/F21を介して受信する。受信部273は、受信した情報を端末処理装置27に出力する。サーバ装置3から送信された他ユーザの出力情報は、他ユーザの端末装置2の生成部271によって生成され且つ他ユーザの端末装置2の送信部272によってサーバ装置3に送信されたものである。他ユーザの出力情報には、他ユーザのキャラクタ動画データと、他ユーザの音声データと、他ユーザのユーザID等が含まれる。他ユーザの出力情報に、他ユーザの音声データが含まれない場合があってもよく、他ユーザの出力情報に、他ユーザのキャラクタ動画データが含まれない場合があってもよい。
【0097】
また、受信部273は、サーバ装置3から送信された配信ユーザの出力情報を、端末通信I/F21を介して受信する。受信部273は、受信した配信ユーザの出力情報を端末処理装置27に出力する。
【0098】
(表示処理部274)
(ユーザの端末装置2の)表示処理部274は、生成部271によって生成されたユーザのモーションデータ(キャラクタ動画データ)に基づいて描画された画像をユーザ出力画像として表示装置23に表示する。また、(ユーザの端末装置2の)表示処理部274は、受信部273によって受信された他ユーザの出力情報に含まれるモーションデータ(キャラクタ動画データ)に基づいて描画された画像を他ユーザ出力画像として表示装置23に表示する。
【0099】
また、(ユーザの端末装置2の)表示処理部274は、受信部273によって受信された配信ユーザの出力情報に含まれるモーションデータ(キャラクタ動画データ)に基づいて描画された画像を配信ユーザの配信画像として表示装置23に表示する。(ユーザの端末装置2の)受信部273によって受信された配信ユーザの出力情報は、ユーザの端末装置2から送信された視聴開始指示に関する情報に応じてサーバ装置3から送信された配信中の配信ユーザの配信画像を表示するための出力情報である。また、(ユーザの端末装置2の)受信部273によって受信された配信ユーザの出力情報は、ユーザと同じコミュニケーションサービスに参加している他ユーザの端末装置2から送信された視聴開始指示に関する情報に応じてサーバ装置3から送信された配信中の配信ユーザの配信画像を表示するための出力情報である。
【0100】
以下、モーションデータに基づく画像の描画処理について説明する。ユーザ(端末装置2を操作するユーザ)のモーションデータに基づく画像の描画処理では、端末記憶装置22に記憶されたユーザIDが用いられ、受信部273によって受信された他ユーザ及び配信ユーザの出力情報に含まれるモーションデータに基づく画像の描画処理では、出力情報に含まれるユーザIDが用いられる。
【0101】
まず、表示処理部274は、ユーザIDに関連付けられたキャラクタオブジェクトのモデルIDと、使用オブジェクトのオブジェクトIDとをユーザテーブルT1から抽出する。次に、表示処理部274は、抽出したモデルIDに関連付けられたモデルデータと、抽出した使用オブジェクトのオブジェクトIDに関連付けられた画像情報及び配置箇所を端末記憶装置22から読み出す。次に、表示処理部274は、読み出したモデルデータと使用オブジェクトの画像情報及び配置箇所とモーションデータとに基づいて、使用オブジェクトが配置箇所に装着されたキャラクタオブジェクトのアニメーションを生成する。表示処理部274は、モーションデータにフェイスモーションデータが含まれる場合、キャラクタオブジェクトの表情がフェイスモーションデータに基づいて変化するように、キャラクタオブジェクトのアニメーションを生成する。これにより、表示処理部274は、読み出したモデルデータとフェイスモーションデータとに基づいて、ユーザの表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。表示処理部274は、モーションデータにフェイスモーションデータ及びボディモーションデータが含まれる場合、読み出したモデルデータとフェイスモーションデータ及びボディモーションデータとに基づいて、ユーザの表情及び体の動きに同期して動くキャラクタオブジェクトのアニメーションを生成する。
【0102】
次に、表示処理部274は、生成したキャラクタオブジェクトのアニメーション(動画像)と、端末記憶装置22に記憶された背景データを用いて生成した背景を示す背景画像と、を含む画像を描画する。なお、表示処理部274は、コミュニケーショングループに予め関連付けて端末記憶装置22に記憶された壁紙オブジェクトを背景画像として用いてもよい。この場合、コミュニケーショングループ内のユーザ全員の背景画像として、同一の壁紙オブジェクトが適用されてもよい。そして、表示処理部274は、描画された画像を示す描画データを出力し、モーションデータに基づく画像の描画処理を終了する。なお、端末記憶装置22に記憶されたユーザIDに関連付けられたキャラクタオブジェクトに基づいて描画された画像が、ユーザのユーザ出力画像である。また、受信された他ユーザの出力情報に含まれるユーザIDに関連付けられたキャラクタオブジェクトに基づいて描画された画像は、当該他ユーザの他ユーザ出力画像である。また、受信された配信ユーザの出力情報に含まれるユーザIDに関連付けられたキャラクタオブジェクトに基づいて描画された画像は、当該配信ユーザの配信画像である。
【0103】
また、表示処理部274は、ユーザからの配信画像に追加オブジェクトを表示させる追加指示に応じて、追加オブジェクトを含む配信画像を表示する。また表示処理部274は、他ユーザからの配信画像に追加オブジェクトの追加指示に応じて、追加オブジェクトを含む配信画像を表示する。
【0104】
表示処理部274は、ユーザ又は他ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDがいずれかのエフェクトオブジェクトのオブジェクトIDである場合、オブジェクトテーブルT2を参照して、追加指示に含まれるオブジェクトIDに関連付けられたエフェクトオブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出し、抽出した静止画像又は動画像を含む配信画像を生成する。例えば、紙吹雪や花火を示すエフェクトオブジェクトの追加指示がなされた場合、表示処理部274は、紙吹雪や花火を模したエフェクトオブジェクト(図示せず)の動画像を含む配信画像を生成する。
【0105】
表示処理部274は、ユーザ又は他ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDが通常オブジェクトのオブジェクトIDである場合、オブジェクトテーブルT2を参照して、通常オブジェクトのオブジェクトIDに関連付けられた、通常オブジェクトの静止画像又は動画像(画像情報)及び配置箇所を抽出する。次に、表示処理部274は、配置箇所によって示される位置に配置した通常オブジェクトの静止画像又は動画像を含む配信画像を生成する。
【0106】
表示処理部274は、配信画像の表示領域内を移動する通常オブジェクトの動画像を含む配信画像を生成してもよい。以下、例えば、表示処理部274は、通常オブジェクトは、配信画像の上から下に向かって落下する通常オブジェクトの動画像を含む配信画像を生成してもよい。この場合、通常オブジェクトは、落下開始から配信画像の下端まで落下する間、配信画像の表示領域内に表示され、配信画像の下端に落下した後に配信画像から消滅してもよい。なお、通常オブジェクトの移動ルートは、配信画像の、左から右の方向、右から左の方向、左上から左下の方向、またはこれら以外の方向のルートでもよく、また、直線軌道、円軌道、楕円軌道、螺旋軌道、またはこれら以外の軌道に沿ったルートでもよい。
【0107】
表示処理部274は、ユーザ又は他ユーザからの追加オブジェクトの追加指示に含まれるオブジェクトIDが装着オブジェクトのオブジェクトIDである場合、配信画像内に、装着指示に関する通知情報を表示する。表示処理部274は、配信ユーザからの装着指示に応じて、オブジェクトテーブルT2を参照して、追加指示に含まれるオブジェクトIDに関連付けられた装着オブジェクトの画像情報及び配置箇所を抽出する。次に、表示処理部274は、抽出した画像情報及び配置箇所に基づいて、装着オブジェクトを、配置箇所によって示される装着部位に装着したキャラクタオブジェクトを含む配信画像を生成する。
【0108】
(音声出力部275)
音声出力部275は、他ユーザの出力情報に他ユーザの音声データが含まれる場合、表示処理部274による他ユーザ出力画像の表示とともに、音声データに基づいて生成される他ユーザの音声をスピーカ(図示せず)から音声出力する。これにより、他ユーザ出力画像に含まれる他ユーザのキャラクタオブジェクトの唇の動作中に、他ユーザの音声が出力されるため、ユーザは、音声を発しているような他ユーザのキャラクタオブジェクトを含む他ユーザ出力画像を見ることができる。
【0109】
また、音声出力部275は、配信ユーザの出力情報に配信ユーザの音声データが含まれる場合、表示処理部274による配信画像の表示とともに、音声データに基づいて生成される配信ユーザの音声をスピーカ(図示せず)から音声出力する。これにより、配信画像に含まれる配信ユーザのキャラクタオブジェクトの唇の動作中に、配信ユーザの音声が出力されるため、ユーザは、音声を発しているような配信ユーザのキャラクタオブジェクトを含む配信画像を見ることができる。
【0110】
(サーバ装置3)
図5は、サーバ装置3の概略構成の一例を示す図である。複数のユーザのそれぞれの端末装置2にコミュニケーションサービスを提供するサーバ装置3は、一のユーザの端末装置2から送信された出力情報及び各種の指示を示す情報を、一のユーザとは異なる他ユーザの端末装置2に送信する。そのために、サーバ装置3は、サーバ通信I/F31と、サーバ記憶装置32と、サーバ処理装置33とを備える。例えば、一のユーザの端末装置2による情報の送信先の端末装置2は、受信した送信先情報に含まれるユーザIDによって示されるユーザの端末装置2である。
【0111】
サーバ通信I/F31は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置3は、サーバ通信I/F31を介して、他の装置に情報を送信し且つ他の装置から情報を受信することができる。
【0112】
サーバ記憶装置32は、例えば、ROM、RAM等の半導体メモリ装置である。サーバ記憶装置32は、例えば、磁気ディスク、光ディスク、又はデータを記憶可能な前記以外の各種記憶装置でもよい。サーバ記憶装置32は、サーバ処理装置33における処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム及びデータ等を記憶する。なお、サーバ記憶装置32は、データとして、配信中の配信ユーザの配信ユーザIDを記憶し、配信ユーザの配信ユーザIDに関連付けて、当該配信ユーザの配信画像を視聴中の視聴ユーザのユーザID(視聴ユーザID)を記憶する。なお、配信ユーザIDは、配信画像に関する情報の一種である。配信画像に関する情報は、配信画像の識別情報(配信画像ID)でもよい。例えば、配信画像IDと配信ユーザIDと視聴ユーザIDとが互いに関連付けて記憶されてもよい。また、サーバ記憶装置は、ユーザテーブルT1、オブジェクトテーブルT2、及びグループテーブルT3を記憶してもよい。
【0113】
サーバ処理装置33は、サーバ記憶装置32に記憶されているオペレーティングシステムプログラム、ドライバプログラム、及び制御プログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行するプロセッサである。サーバ処理装置33は、例えば、CPU、MPU、DSP、GPU等の電子回路、又は各種電子回路の組み合わせである。サーバ処理装置33は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。
図5においては、サーバ処理装置33が単一の構成要素として図示されているが、サーバ処理装置33は複数の物理的に別体のプロセッサの集合であってもよい。サーバ処理装置33は、制御プログラムに含まれる各種命令を実行することにより、サーバ受信部331、サーバ送信部332として機能する。
【0114】
(サーバ受信部331)
サーバ受信部331は、複数のユーザのうちのいずれかユーザの端末装置2から送信された出力情報及び各種の指示を示す情報等を、サーバ通信I/F31を介して受信する。なお、サーバ受信部331は、端末装置2から送信された出力情報及び各種の指示を示す情報とともに、送信先情報を受信してもよい。
【0115】
また、サーバ受信部331は、ユーザの端末装置2から送信された配信開始指示に関する情報とユーザIDとを、サーバ通信I/F31を介して受信する。サーバ受信部331は、受信したユーザIDを、配信中の配信ユーザを示す配信ユーザIDとして、サーバ記憶装置32に記憶する。以降、配信開始指示を送信した端末装置2のユーザを配信ユーザと称する。また、サーバ受信部331は、配信ユーザの端末装置2から送信された配信ユーザの出力情報を、配信ユーザIDとともにサーバ通信I/F31を介して受信する。なお、所定のタイミング(例えば、配信開始指示の受信の直後、配信開始指示から所定時間経過後。)において、サーバ受信部331は、配信ユーザIDに関連付けられたキャラクタオブジェクトのモデルIDと、使用オブジェクトのオブジェクトIDとをユーザテーブルT1から抽出する。次に、サーバ受信部331は、抽出したモデルIDに関連付けられたモデルデータと抽出した使用オブジェクトのオブジェクトIDに関連付けられた画像情報及び配置箇所とに基づいて、配信ユーザのキャラクタオブジェクトのサムネイル画像を生成する。サーバ受信部331は、生成したサムネイル画像を選択画像として配信画像に関する情報と関連付けてサーバ記憶装置32に記憶する。配信画像に関する情報は、ユーザによって視聴開始が指示された配信画像を特定するための情報であり、たとえば、配信画像の識別情報(配信画像ID)又は配信画像を配信している配信ユーザのユーザID等である。また、配信画像を視聴するための視聴ユーザのための所謂ルーム又はワールドが設定されている場合、配信画像に関する情報は、ルームを識別するためのルームID又はワールドIDでもよい。選択画像として記憶されるサムネイル画像は、事前に作成された配信ユーザのキャラクタオブジェクトを示す画像であればどのような画像でもよい。例えば、配信ユーザのキャラクタオブジェクトのプロフィール画像が、サムネイル画像として記憶されてもよい。
【0116】
また、サーバ受信部331は、配信ユーザの端末装置2から送信された配信終了指示に関する情報と配信ユーザIDとを、サーバ通信I/F31を介して受信する。サーバ受信部331は、サーバ記憶装置32に記憶された配信ユーザIDの中から、受信した配信ユーザIDと、当該配信ユーザIDに関連付けられた視聴ユーザIDとを削除する。
【0117】
また、サーバ受信部331は、ユーザの端末装置2から送信された視聴開始指示に関する情報と、配信画像に関する情報と、ユーザのユーザIDとを、サーバ通信I/F31を介して受信する。サーバ受信部331は、受信した配信画像に関する情報が配信中の配信画像に関する情報であるか否かを判定する。サーバ受信部331は、受信した配信画像に関する情報が配信中の配信画像に関する情報である場合、受信したユーザのユーザIDを、配信画像に関する情報に関連付けてサーバ記憶装置32に記憶する。これにより、受信したユーザのユーザIDは、配信画像に関する情報によって識別される配信画像の視聴ユーザの視聴ユーザIDとして記憶される。
【0118】
また、サーバ受信部331は、ユーザの端末装置2から視聴開始指示とともに送信先情報も受信した場合、受信した送信先情報に基づいて、ユーザと同じコミュニケーショングループに所属する他ユーザ(コミュニケーションサービスに参加してユーザとコミュニケーションを行っている他ユーザ)のユーザIDを、受信した配信画像に関する情報に関連付けてサーバ記憶装置32に記憶する。例えば、送信先情報に、ユーザと同じコミュニケーショングループに所属する他ユーザのユーザIDが含まれる場合、サーバ受信部331は、送信先情報から、他ユーザのユーザIDを抽出して、抽出したユーザIDを配信画像に関する情報に関連付けて記憶する。送信先情報に、ユーザが所属するコミュニケーショングループを識別するためのグループIDが含まれる場合、サーバ記憶装置32に記憶されたグループテーブルT3等を参照し、グループIDに関連付けられたユーザIDを抽出し、抽出したユーザIDを配信画像に関する情報に関連付けて記憶する。これにより、ユーザと同じコミュニケーショングループに所属する他ユーザのユーザIDは、配信画像に関する情報によって識別される配信画像の視聴ユーザの視聴ユーザIDとして記憶される。
【0119】
このように、コミュニケーションサービスに参加しているユーザによる視聴開始指示によって、ユーザの端末装置2及びユーザと同じコミュニケーショングループに所属する他ユーザの端末装置2に、配信ユーザの配信画像を表示するための出力情報が送信される。
【0120】
また、サーバ受信部331は、視聴ユーザの端末装置2から送信された視聴終了指示に関する情報と視聴ユーザIDとを受信すると、サーバ記憶装置32に記憶された、受信した視聴ユーザIDと同一の視聴ユーザIDを削除する。
【0121】
(サーバ送信部332)
サーバ送信部332は、サーバ受信部331によって受信された出力情報及び各種の指示を示す情報を、サーバ通信I/F31を介して、同時に受信した送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2に送信する。また、サーバ送信部332は、サーバ受信部331によって受信された各種の指示を示す情報を、サーバ通信I/F31を介して、情報を送信したユーザによって指定された、1人又は複数の他ユーザの端末装置2に送信してもよい。
【0122】
また、サーバ送信部332は、サーバ受信部331によって受信された配信ユーザの出力情報を、サーバ記憶装置32に記憶された、当該配信ユーザの配信ユーザIDに関連付けられた視聴ユーザIDによって示される視聴ユーザの端末装置2にサーバ通信I/F31を介して送信する。また、サーバ送信部332は、サーバ受信部331によって受信された視聴ユーザの各種の指示を示す情報等を、当該視聴ユーザのユーザIDに関連付けられた配信ユーザIDによって示される配信ユーザの端末装置2、及び、当該配信ユーザIDに関連付けられた他の視聴ユーザのユーザIDによって示される視聴ユーザの端末装置2に、サーバ通信I/F31を介して送信する。
【0123】
(各種画面の例)
以下、
図6~
図15を参照し、ユーザの端末装置2の表示装置23に表示される各種画面の例について説明する。
図6~
図15において、同一の符号が付されている複数の構成要素は、互いに等価な機能を有する構成要素である。
【0124】
図6(a)は、ユーザの端末装置2の表示装置23に表示されるグループ作成画面600の一例を示す図である。グループ作成画面600には、他ユーザ表示領域601、選択オブジェクト602と、作成ボタン603と、が含まれる。例えば、グループ作成画面600は、端末記憶装置22に記憶された制御プログラムの実行に応じて表示されたホーム画面(図示せず)のグループ作成オブジェクト等がユーザの入力装置24の操作によって選択された場合に表示される。
【0125】
他ユーザ表示領域601には、ユーザと所定の関係を有する他ユーザのそれぞれを示す他ユーザ情報が表示される。
図6(a)に示される例では、ユーザの端末装置2の表示処理部274は、他ユーザのキャラクタオブジェクトのサムネイル画像及び他ユーザの名称を他ユーザ情報として表示する。
【0126】
選択オブジェクト602は、各他ユーザ情報によって示される各他ユーザを選択するための操作オブジェクトである。
図6(a)に示される例では、ユーザの端末装置2の表示処理部274は、各他ユーザ情報に対応するチェックボックスオブジェクトを選択オブジェクト602として表示する。例えば、ユーザの入力装置24の操作によって選択オブジェクト602が選択されると、選択オブジェクト602が「チェック」マークを含む表示となる。この場合、「チェック」マークを含む表示となっている選択オブジェクト602に対応する他ユーザ情報の他ユーザが選択された状態となる。また、「チェック」マークを含む表示となっている選択オブジェクト602がユーザの入力装置24の操作によって選択されると、選択オブジェクト602が「チェック」マークを含まない表示となる。
この場合、「チェック」マークを含まない表示となっている選択オブジェクト602に対応する他ユーザ情報の他ユーザが選択されていない状態となる。選択オブジェクト602のそれぞれには、対応する他ユーザ情報に係る他ユーザのユーザIDが関連付けられている。
【0127】
作成ボタン603は、ユーザが新たにコミュニケーショングループを作成するためのボタンオブジェクト等である。ユーザによる入力装置24の操作によって作成ボタン603が選択されると、端末装置2を操作するユーザと選択オブジェクト602において選択された状態の他ユーザとを所属ユーザとする新たなグループが作成される。例えば、ユーザの端末装置2の表示処理部274は、端末記憶装置22に記憶されたユーザのユーザIDと、選択オブジェクト602において選択された状態の他ユーザに係る選択オブジェクト602に関連付けられた他ユーザのユーザIDと、を特定する。そして、表示処理部274は、新たに作成したグループIDに、特定されたユーザのユーザID及び他ユーザのユーザIDを所属ユーザとして関連付けてグループテーブルT3に記憶する。この際、表示処理部274は、新たに作成したグループIDに対して、自動的に作成したグループの名称を対応付けてもよく、又は、ユーザによって入力されたグループの名称を対応付けてもよい。
【0128】
作成ボタン603の選択に応じて新たなグループが作成されると、表示処理部274は、新たなグループの所属ユーザによる情報交換画面700を表示する。
図7(a)は、ユーザの端末装置2の表示装置23に表示される情報交換画面700の一例を示す図である。情報交換画面700には、新たなグループの所属ユーザのそれぞれが入力したテキスト又は画像等の情報を表示する表示領域701と、表示領域701に表示された情報を入力した所属ユーザを示す情報(キャラクタオブジェクトのサムネイル画像等)702と、ユーザが新たな表示領域701に表示させるテキスト又は画像を入力するための入力オブジェクト703と、コミュニケーションサービスを開始するための開始オブジェクト704が含まれる。
【0129】
ユーザの端末装置2の送信部272は、情報交換画面700が表示されると、情報交換画面の表示指示を、新たなグループに関する情報及び送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。新たなグループに関する情報は、新たなグループのグループID、名称、及び所属ユーザのそれぞれのユーザIDである。送信先情報には、新たなグループの所属ユーザのうち端末装置2を操作するユーザを除く他ユーザのそれぞれのユーザIDが含まれる。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、情報交換画面の表示指示、新たなグループに関する情報及び送信先情報を受信する。なお、サーバ受信部331は、受信した送信先情報をサーバ記憶装置32に記憶してもよい。サーバ装置3のサーバ送信部332は、情報交換画面の表示指示及び新たなグループに関する情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。他ユーザの端末装置2は、サーバ装置3経由でユーザの端末装置2から送信された情報交換画面の表示指示を受信すると、新たなグループの所属ユーザによる情報の交換が可能な情報交換画面700を表示することができる。
【0130】
図7(a)に説明を戻す。例えば、いずれかの所属ユーザの操作によって入力オブジェクト703に新たな情報が入力されると、情報を入力したユーザの端末装置2によって表示される情報交換画面700に新たな情報を表示する表示領域701が追加される。また、情報を入力したユーザの端末装置2の送信部272は、情報を入力したユーザ以外の所属ユーザの端末装置2に、サーバ装置3経由で、入力された新たな情報を送信する。これにより、情報を入力したユーザ以外の所属ユーザである他ユーザの端末装置2に表示される情報交換画面700においても、新たな情報を表示する表示領域701が追加される。
【0131】
開始オブジェクト704は、新たなグループの所属ユーザのそれぞれが参加可能なコミュニケーションサービスを開始するためのボタンオブジェクト等である。ユーザによる入力装置24の操作によって開始オブジェクト704が選択されると、情報交換画面700による情報交換が可能なグループをコミュニケーショングループとするコミュニケーションサービスの開始処理が実行される。以下、ユーザによる開始オブジェクト704の選択に応じた開始処理の一例について説明する。
【0132】
まず、ユーザの端末装置2の表示処理部274は、コミュニケーショングループに所属する各ユーザの端末装置2によって表示可能なコミュニケーション画面810(
図8(b))を表示する。また、表示処理部274は、コミュニケーショングループのグループIDを、コミュニケーションサービスを開始したグループのグループIDとして端末記憶装置22に記憶する。さらに、表示処理部274は、ユーザのユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。なお、コミュニケーショングループに所属する他ユーザの全てが未だコミュニケーションサービスに参加していない場合、コミュニケーション画面810においてユーザのユーザ出力情報のみが表示される。
【0133】
次に、ユーザの端末装置2の送信部272は、コミュニケーションサービスの開始指示を、端末記憶装置22に記憶されたユーザのユーザID、コミュニケーショングループに関する情報及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。コミュニケーショングループに関する情報は、コミュニケーショングループのグループID、名称、及び所属ユーザのそれぞれのユーザIDである。送信先情報には、コミュニケーショングループの所属ユーザのうち端末装置2を操作するユーザを除く他ユーザのそれぞれのユーザIDが含まれる。なお、サーバ記憶装置32に送信先情報が記憶されている場合、送信先情報が送信されなくてもよい。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、開始指示、ユーザID、コミュニケーショングループに関する情報及び/又は送信先情報を受信する。サーバ装置3のサーバ送信部332は、開始指示、ユーザID及びコミュニケーショングループに関する情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。
【0134】
他ユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された開始指示、ユーザID及びコミュニケーショングループに関する情報を受信する。受信部237は、コミュニケーショングループに関する情報のうちのグループIDを、コミュニケーションサービスを開始したグループのグループIDとして端末記憶装置22に記憶する。さらに、表示処理部274は、送信されたユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。他ユーザの端末装置2の表示処理部274は、受信したコミュニケーショングループに関する情報に基づき、通知画面(図示せず)を表示する。表示処理部274は、ユーザによる通知画面内の所定のオブジェクトの選択に応じて、コミュニケーションサービスに参加するためのグループ選択画面710(
図7(b))を表示装置23に表示する。以上により、開始処理が終了する。なお、他ユーザの端末装置2の表示処理部274は、通知画面に後述する参加ボタン805を含めてもよい。これにより、グループ選択画面710を表示することなく、他のユーザは、即座にコミュニケーションサービスに参加することが可能となる。
【0135】
開始処理は、ユーザによる入力装置24の操作によってグループ作成画面600の作成ボタン603が選択された場合に実行されてもよい。すなわち、ユーザによる作成ボタン603の選択に応じて、グループ作成画面600において作成された新たなグループをコミュニケーショングループとするコミュニケーションサービスの開始処理が実行されてもよい。この場合、情報交換画面700は表示されない。
【0136】
また、開始処理は、グループ作成画面600において作成された新たなグループをコミュニケーショングループとするコミュニケーションサービスの開始処理に限らない。例えば、既に作成されたグループをコミュニケーショングループとするコミュニケーションサービスの開始処理が実行されてもよい。例えば、
図6(b)は、いずれかのユーザによって作成されたコミュニケーショングループを選択するためのグループ選択画面610の一例を示す図である。例えば、グループ選択画面610は、端末記憶装置22に記憶された制御プログラムの実行に応じて表示されたホーム画面(図示せず)のグループ選択オブジェクト等がユーザの入力装置24の操作によって選択された場合に表示される。
【0137】
ユーザの端末装置2に表示されたグループ選択画面610には、複数のコミュニケーショングループのいずれかを選択するためのグループ表示領域611が含まれる。グループ表示領域611には、既に作成済み且つユーザが所属するコミュニケーショングループのそれぞれを示すグループ情報が表示される。
図6(b)に示される例では、ユーザの端末装置2の表示処理部274は、コミュニケーショングループの所属ユーザのそれぞれのサムネイル画像及びグループの名称をグループ情報として表示する。
図6(b)に示される例では、所属ユーザのうち他ユーザのそれぞれのサムネイル画像が表示されるが、所属ユーザ全員のそれぞれのサムネイル画像が表示されてもよい。なお、コミュニケーショングループに、ユーザ以外に1人の他ユーザしか含まれていない場合、
図8(b)に示されるように、グループの名称ではなく、当該1人の他ユーザの名称が表示されてもよい。
【0138】
ユーザによる入力装置24の操作によってグループ表示領域611に含まれる一のグループ情報が選択されると、選択されたグループ情報に対応するコミュニケーショングループの所属ユーザによる情報交換画面700が表示される。情報交換画面700には、コミュニケーショングループの所属ユーザのそれぞれが入力したテキスト又は画像等の情報が含まれる。この場合においても、コミュニケーショングループの所属ユーザのうちの他ユーザの端末装置2には、サーバ装置3経由で、情報交換画面の表示指示、コミュニケーショングループに関する情報が送信され、他ユーザの端末装置2においても情報交換画面700が表示される。
【0139】
そして、情報交換画面700において、ユーザによって開始オブジェクト704が選択された場合、情報交換画面700において情報交換を行うコミュニケーショングループによるコミュニケーションサービスの開始処理が実行される。開始処理が実行されると、ユーザの端末装置2の表示処理部274は、コミュニケーショングループに所属する各ユーザの端末装置2によって表示可能なコミュニケーション画面810(
図8(b))を表示する。また、他ユーザの端末装置2の表示処理部274は、通知画面(図示せず)を表示し、通知画面に対する他のユーザの操作に応じて、コミュニケーションサービスに参加するためのグループ選択画面710(
図7(b))を表示装置23に表示する。なお、この場合においても、他ユーザの端末装置2の表示処理部274は、通知画面に後述する参加ボタン805を含めてもよい。
【0140】
なお、この場合においても、開始処理は、ユーザによる入力装置24の操作によってグループ選択画面610において一のグループ情報が選択された場合に実行されてもよい。すなわち、ユーザによる一のグループ情報の選択に応じて、選択されたグループ情報に対応するコミュニケーショングループによるコミュニケーションサービスの開始処理が実行されてもよい。この場合、情報交換画面700は表示されない。
【0141】
次に、既に開始されたコミュニケーションサービスに参加していないユーザの参加方法について説明する。
図7(b)は、ユーザの端末装置2の表示装置23に表示されるグループ選択画面710の一例を示す図である。例えば、グループ選択画面710は、表示された通知画面内の所定のオブジェクトの選択に応じて表示される。また、グループ選択画面710は、端末記憶装置22に記憶された制御プログラムの実行に応じて表示されたホーム画面のグループ選択オブジェクト等がユーザの入力装置24の操作によって選択された場合に表示されてもよい。
【0142】
グループ選択画面710のグループ表示領域711において、コミュニケーションサービスを開始しているコミュニケーショングループを示すグループ情報が、他のグループ情報と判別可能に表示される。
図7(b)に示される例では、最も上に表示されているグループ情報が、コミュニケーションサービスを開始しているコミュニケーショングループを示すものである。例えば、コミュニケーショングループの所属ユーザのそれぞれのサムネイル画像に重畳して又は近傍に、コミュニケーションサービスに参加している所属ユーザの数を示す情報が表示される。また、コミュニケーショングループの名称の近傍に、コミュニケーションサービスを示すマーク画像712が表示される。
【0143】
ユーザによる入力装置24の操作によってグループ表示領域711に含まれるグループ情報のうち、コミュニケーションサービスを開始しているコミュニケーショングループを示すグループ情報が選択されると、選択されたグループ情報に対応するコミュニケーショングループの所属ユーザによる情報交換画面800が表示される。
【0144】
図8(a)は、ユーザの端末装置2の表示装置23に表示される情報交換画面800の一例を示す図である。情報交換画面800には、コミュニケーションサービスを開始しているコミュニケーショングループの所属ユーザのそれぞれが入力したテキスト又は画像等の情報を表示する表示領域801a~801bと、表示領域801a~801bのそれぞれに表示された情報を入力した所属ユーザを示す情報(キャラクタオブジェクトのサムネイル画像等)802a~802bと、ユーザが新たな表示領域801に表示させるテキスト又は画像を入力するための入力オブジェクト803と、既に開始されているコミュニケーションサービスを示すサービス表示領域804と、既に開始されているコミュニケーションサービスに参加するための参加ボタン805が含まれる。
【0145】
図8(a)に示されるサービス表示領域804には、コミュニケーションサービスに参加している3人のユーザのキャラクタオブジェクトのサムネイル画像が表示される。
図8(a)に示される表示領域801bには、コミュニケーションサービスを開始したことを示す情報が表示される。参加ボタン805がユーザによって選択されることによって参加処理が実行される。以下、参加処理の一例について説明する。
【0146】
ユーザによる入力装置24の操作によって参加ボタン805が選択されると、まず、ユーザの端末装置2の表示処理部274は、端末記憶装置22に記憶されたユーザのユーザIDを、サービス表示領域804に関するコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。次に、表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810(
図8(b))を表示する。
【0147】
次に、ユーザの端末装置2の送信部272は、コミュニケーションサービスの参加指示を、端末記憶装置22に記憶されたユーザのユーザID、コミュニケーショングループに関する情報及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。コミュニケーショングループに関する情報は、コミュニケーショングループのグループID、名称、及び所属ユーザのそれぞれのユーザIDである。送信先情報には、コミュニケーショングループの所属ユーザのうち端末装置2を操作するユーザを除く他ユーザのそれぞれのユーザIDが含まれる。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、参加指示、ユーザID、コミュニケーショングループに関する情報及び/又は送信先情報を受信する。サーバ装置3のサーバ送信部332は、参加指示、ユーザID及びコミュニケーショングループに関する情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。
【0148】
他ユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された参加指示、ユーザID及びコミュニケーショングループに関する情報を受信する。受信部237は、受信したユーザIDを、コミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。当該端末装置においてコミュニケーション画面810が表示されている場合、他ユーザの端末装置2の表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810を表示する。以上により、参加処理が終了する。
【0149】
選択処理は、ユーザによる入力装置24の操作によってグループ選択画面710においてグループ情報が選択された場合に実行されてもよい。すなわち、ユーザによるグループ情報の選択に応じて、グループ情報に対応するコミュニケーショングループが参加可能なコミュニケーションサービスへの参加処理が実行されてもよい。この場合、情報交換画面800は表示されない。
【0150】
コミュニケーションサービスの開始又は参加の実施形態は、上述した例に限らない。例えば、ユーザによる開始オブジェクト704の選択に応じた開始処理とは異なる他の開始処理が実行されてもよい。他の開始処理は、ホーム画面等の所定の画面において、コミュニケーションサービスの開始を指定するための所定の表示オブジェクトがユーザによって選択された場合に実行される。なお、所定の表示オブジェクトは、ユーザのキャラクタオブジェクトのサムネイル画像等が選択された場合に表示されてもよく、また、所定の画面のメニュー項目に含まれていてもよい。他の開始処理は、所定の開始条件が満たされた場合に自動的に実行されてもよい。例えば、所定の開始条件は、現在時刻が予め定められた時刻となったこと、前回のコミュニケーションサービスの終了から所定の時間が経過したこと、ユーザの相互フォロワー数が所定数を超えたこと等である。以下、他の開始処理の一例について説明する。
【0151】
まず、ユーザの端末装置2の送信部272は、コミュニケーションサービスの開始指示を、端末記憶装置22に記憶されたユーザのユーザID、及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。また、送信部272は、ユーザのユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。送信先情報には、ユーザと所定の関係を有する一又は複数の他ユーザのそれぞれのユーザIDが含まれる。例えば、送信先情報には、ユーザの相互フォロワーである一又は複数の他のユーザのユーザIDが含まれてもよい。また、送信先情報には、ユーザの相互フォロワーである一又は複数の他のユーザのユーザIDに替えて又は加えて、ユーザの相互フォロワーである所定ユーザと相互フォローの関係にある他ユーザのユーザIDが含まれてもよい。
【0152】
サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、開始指示、ユーザID及び/又は送信先情報を受信する。サーバ装置3のサーバ送信部332は、開始指示、ユーザID及び送信先情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。他ユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された開始指示、ユーザID及び送信先情報を受信する。受信部237は、送信されたユーザIDをコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。他ユーザの端末装置2の表示処理部274は、受信したユーザIDに基づいて通知画面(図示せず)を表示装置23に表示する。通知画面には、受信したユーザIDによって示されるユーザからコミュニケーションサービスの参加を促す情報と参加ボタン等が含まれる。
【0153】
他ユーザによる入力装置24の操作によって通知画面内の参加ボタンが選択されると、他ユーザの端末装置2の表示処理部274は、端末記憶装置22に記憶された他ユーザのユーザIDを、サービス表示領域804に関するコミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。次に、表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810(
図8(b))を表示する。
【0154】
次に、他ユーザの端末装置2の送信部272は、コミュニケーションサービスの参加指示を、端末記憶装置22に記憶された他ユーザのユーザID及び/又は送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する。送信先情報は、先に受信部237により受信された送信先情報に含まれるユーザIDから、送信先情報を送信する端末装置2の他ユーザのユーザIDを送信先情報から削除し、同時に受信部237により受信されたユーザIDを加えたものである。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、参加指示、ユーザID、及び/又は送信先情報を受信する。サーバ装置3のサーバ送信部332は、参加指示、ユーザID、及び送信先情報を、送信先情報に含まれるユーザIDによって示される他ユーザの端末装置2にサーバ通信I/F31を介して送信する。
【0155】
参加指示の送信先のユーザの端末装置2の受信部237は、サーバ装置3から、ユーザの端末装置2から送信された参加指示、ユーザID、及び送信先情報を受信する。受信部237は、受信したユーザIDを、コミュニケーションサービスに参加中のユーザのユーザIDとして端末記憶装置22に記憶する。当該端末装置2においてコミュニケーション画面810が表示されている場合、端末装置2の表示処理部274は、コミュニケーションサービスに参加中の全てのユーザのユーザ出力画像を含むコミュニケーション画面810を表示する。以上により、一連の参加処理が終了する。
【0156】
なお、ユーザと所定の関係を有する他ユーザとのコミュニケーションサービスの開始又は参加の実施形態は、上述した例に限らない。例えば、ユーザによってコミュニケーションサービスの開始を指定するための所定の表示オブジェクトがユーザによって選択された場合、一又は複数のユーザの相互フォロワーである他ユーザを示す情報を含む選択画面が表示されてもよい。この場合、ユーザによっていずれかの他ユーザを示す情報が選択されると、選択された他ユーザとのコミュニケーションを開始する開始指示に基づく他の開始処理が実行されてもよい。さらにこの場合、選択された他ユーザとの情報交換画面が表示され、当該情報交換画面内の開始ボタンが選択されることにより、他ユーザとのコミュニケーションを開始する開始指示に基づく他の開始処理が実行されてもよい。
【0157】
従来の情報システムでは、ユーザの相互フォロワー等のユーザと所定の関係を有する他ユーザとのコミュニケーションの開始及び/又は参加指示を、ユーザが簡易なインターフェースを用いて行うことができなかった。本実施形態において開示される情報システム1では、上述の他の開始処理が実行されることにより、コミュニケーションの開始及び/又は参加指示に係るユーザインタフェースを向上させ、サーバ装置3及び端末装置2間の通信負荷を低減させることが可能となる。
【0158】
図8(b)は、端末装置2の表示装置23に表示されるコミュニケーション画面810の一例を示す図である。コミュニケーション画面810は、端末装置2を操作するユーザを所属ユーザとして含むコミュニケーショングループのコミュニケーション画面である。以下、端末装置2を操作するユーザをユーザAと称し、コミュニケーション画面810に対応するコミュニケーションサービスに参加中の、ユーザA以外のユーザを、ユーザB1、ユーザB2、ユーザB3、・・・と称する。なお、ユーザB1、ユーザB2、ユーザB3、・・・を、ユーザBと総称する場合がある。
【0159】
コミュニケーション画面810には、ユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812aが少なくとも含まれる。
図8(b)に示される例では、ユーザA以外で、コミュニケーションサービスに参加中のユーザが3人(ユーザB1、ユーザB2、ユーザB3)いる。すなわち、ユーザB1、ユーザB2、及びユーザB3のそれぞれのキャラクタオブジェクト811b1、811b2、811b3を含むユーザ出力画像812b1、812b2、812b3がコミュニケーション画面810に含まれる。以下、キャラクタオブジェクト811b1、811b2,811b3を、キャラクタオブジェクト811bと総称し、ユーザ出力画像812b1、812b2、812b3を、ユーザ出力画像812bと総称する場合がある。なお、ユーザBは、ユーザAにとって他ユーザであり、ユーザAの端末装置2に表示されるユーザBのユーザ出力画像812bは、他ユーザ出力画像である。
【0160】
ユーザA以外で、コミュニケーションサービスに参加中のユーザがいない場合、コミュニケーション画面810にユーザ出力画像812aのみが含まれ、ユーザBがコミュニケーションサービスに参加するたびに、当該ユーザBのユーザ出力画像812bが新たにコミュニケーション画面810に含まれる。コミュニケーションサービスに参加可能なユーザ数に上限はなく、例えば、ユーザA以外に9人のユーザBがコミュニケーションサービスに参加している場合、ユーザAのユーザ出力画像812aとともに、9人のユーザBのそれぞれのユーザ出力画像812b1、812b2,812b3、・・・812b9がコミュニケーション画面810に含まれる。
【0161】
キャラクタオブジェクト811aは、生成部271によって生成されたユーザAのモーションデータと、ユーザテーブルT1のユーザAのユーザIDに関連付けられたキャラクタオブジェクト及び使用オブジェクトとに基づいて、表示処理部274によって生成されたユーザAのキャラクタオブジェクトのアニメーション(動画像)である。なお、生成部271によって生成されたユーザAのモーションデータは、ユーザBの端末装置2に送信される出力情報に含まれるモーションデータと同一である。ユーザAの出力情報には、ユーザAのモーションデータとともにユーザAの音声データが含まれる。生成部271によって生成されたユーザAのモーションデータにユーザAのフェイスモーションデータが含まれる場合、ユーザAの表情の動きに同期して表情が変化するキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。例えば、ユーザAが音声を発しているときには、唇が動作しているキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。また、生成部271によって生成されたユーザAのモーションデータにユーザAのボディモーションデータが含まれる場合、ユーザAの体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。
【0162】
なお、ユーザAの端末装置2の送信部272は、ユーザAの出力情報を、送信先情報(コミュニケーショングループに含まれる各ユーザB(ユーザB1~ユーザB3)のユーザID)とともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、ユーザAの端末装置2から送信されたユーザAの出力情報を受信する。次に、サーバ装置3のサーバ送信部332は、受信したユーザB(ユーザB1~ユーザB3)のユーザIDを参照し、サーバ通信I/F31を介して、ユーザAの出力情報をユーザB(ユーザB1~ユーザB3)の端末装置2に送信する。そして、ユーザBの端末装置2の受信部273によって、端末通信I/F21を介して出力情報が受信されると、ユーザBの端末装置2の表示処理部274は、出力情報に含まれるユーザIDによって示されるユーザAのモーションデータに基づくキャラクタオブジェクト811aを含むユーザ出力画像812aを表示する。
【0163】
キャラクタオブジェクト811bは、受信部273によって受信されたユーザBの出力情報に含まれるモーションデータと、ユーザテーブルT1のユーザBのユーザIDに関連付けられたキャラクタオブジェクトとに基づいて、表示処理部274によって生成されたユーザBのキャラクタオブジェクトのアニメーション(動画像)である。受信部273によって受信されたユーザBのモーションデータにユーザBのフェイスモーションデータが含まれる場合、ユーザBの表情の動きに同期して表情が変化するキャラクタオブジェクト811bを含むユーザ出力画像812bが表示される。例えば、ユーザBが音声を発した場合では、唇が動作しているキャラクタオブジェクト811bを含むユーザ出力画像812bが表示される。また、生成部271によって生成されたユーザBのモーションデータにユーザBのボディモーションデータが含まれる場合、ユーザBの体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811bを含むユーザ出力画像812bが表示される。受信部273によって受信されたユーザBの出力情報にユーザBの音声データが含まれる場合、表示処理部274によってユーザ出力画像812bが表示されるとともに、音声出力部275によって音声データに基づいて生成されるユーザBの音声が音声出力される。
【0164】
このように、ユーザ出力画像812a及びユーザ出力画像812bを含むコミュニケーション画面810が表示されることによって、ユーザAは、音声を発しているようなユーザBのキャラクタオブジェクト811bを見ながらユーザBの音声を聞くことができる。また、ユーザAのキャラクタオブジェクト及び音声データは、ユーザBの端末装置2によって出力される。これにより、コミュニケーションサービスに参加しているユーザAとユーザBは、キャラクタオブジェクトを介してコミュニケーションすることが可能となる。
【0165】
コミュニケーション画面810には視聴開始ボタン813が含まれる。
図8(b)に示される例では、視聴開始ボタン813は、ユーザ出力画像812aの表示領域内に配置されるが、ユーザ出力画像812aの表示領域外に表示されてもよい。また、視聴開始ボタン813は、所定の表示条件が満たされた場合に、所定時間だけ表示されるように表示処理部274によって表示制御されてもよい。
【0166】
視聴開始ボタン813は、現在配信中の配信画像のうち、ユーザAの端末装置2及びユーザB(ユーザB1~ユーザB3)の端末装置2に表示させる配信画像を選択するための選択画面900の表示を指示するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって視聴開始ボタン813が選択されると、選択画面900が表示される。コミュニケーション画面810は、ユーザAとコミュニケーションを行っているユーザB1~B3のそれぞれの端末装置2においても表示される。このため、視聴開始ボタン813は、ユーザAの端末装置2だけでなく、ユーザB1~B3のそれぞれの端末装置2においても表示される。
【0167】
図9(a)は、端末装置2の表示装置23に表示される選択画面900の一例を示す図である。選択画面900は、コミュニケーション画面810(
図8(b))に含まれる視聴開始ボタン813がユーザAによる入力装置24の操作によって選択された場合に表示される。なお、ユーザAによる入力装置24の操作によって図示しない配信一覧ボタンが選択された場合、選択画面900が表示されずに、後述する選択画面1000が表示されてもよい。
【0168】
選択画面900には、現在配信中の配信画像に関する選択画像901、902、903、及び904が表示される。選択画像901、902、903、及び904のそれぞれには、対応する配信画像に含まれるキャラクタオブジェクトのサムネイル画像が表示される。選択画面900に表示される選択画像の数は、4つに限らない。端末装置2の表示処理部274は、現在配信中の配信画像に関する選択画像を選択画面900内に含めることができない場合、配信画像に対応する選択画像をスクロール可能に表示してもよい。この場合、ユーザAによるスワイプ操作(例えば、指が画面に接しながら当該指が画面下から上に移動する操作)に応じて、選択画面900に現在表示されていない選択画像が、選択画面900内にスクロール表示される。
【0169】
さらに、選択画面900には、キャラクタオブジェクト811a、811b1、811b2及び811b3をそれぞれ含むユーザ出力画像812a、812b1、812b2及び812b3が含まれる。選択画面900に含まれるユーザ出力画像812a、812b1、812b2及び812b3は、コミュニケーション画面810に含まれるユーザ出力画像812a、812b1、812b2及び812b3の表示を変更したものである。表示の変更は、例えば、表示態様の変更、表示内容の変更、及び表示方法の変更の少なくとも一つを含む。
【0170】
表示態様の変更は、例えば、ユーザ出力画像812a、812b1、812b2及び812b3の表示サイズを変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の表示位置を変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の輝度、明度及び彩度の少なくとも一つを変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の透過度を変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の表示枠の形状を変更すること(例えば、矩形形状から丸型形状への変更)、ユーザ出力画像812a、812b1、812b2及び812b3の表示枠の有無を設定すること、ユーザ出力画像812a、812b1、812b2及び812b3を点滅表示すること、並びに、ユーザ出力画像812a、812b1、812b2及び812b3を自動的に移動させる表示をすること等のうちの少なくとも一つである。例えば、
図9(a)に示される選択画面900に含まれるユーザ出力画像812a、812b1、812b2及び812b3は、コミュニケーション画面810に含まれるユーザ出力画像812a、812b1、812b2及び812b3を、縮小し且つ表示位置の変更を行ったものである。
【0171】
表示内容の変更は、例えば、(ユーザ出力画像812a、812b1、812b2及び812b3内に含まれる)キャラクタオブジェクト811a、811b1、811b2及び811b3を静止画像に変更すること、キャラクタオブジェクト811a、811b1、811b2及び811b3をデフォルメ化した画像に変更すること、並びに、キャラクタオブジェクト811a、811b1、811b2及び811b3を、対応するユーザ名称に変更すること等の少なくとも一つである。なお、静止画像は、各ユーザのプロフィール画像、又はアイコン画像等でもよい。ユーザ出力画像812a、812b1、812b2及び812b3内の画像が静止画像及びユーザ名称であっても、所定時間間隔ごとに受信されるユーザB1~B3の各出力情報に基づいて、ユーザB1~B3の音声データが出力されてもよい。これにより、モーションデータを用いないことで端末装置2の処理負荷を低減させつつ、ユーザA及びユーザB1~B3との間で音声によるコミュニケーションを継続することが可能となる。
【0172】
表示方法の変更は、例えば、所定の表示条件が満たされた場合に、ユーザ出力画像812a、812b1、812b2及び812b3を表示することである。また、表示方法の変更は、例えば、所定の表示条件が満たされた場合に、ユーザ出力画像812a、812b1、812b2及び812b3の表示を終了することである。例えば、表示方法の変更は、ユーザの音声データが出力されている間だけ、出力中の音声データに対応するユーザ出力画像812を表示すること、端末装置2のユーザによる所定の操作(例えば、スワイプ操作、フック操作等)が検出されてから所定の時間(例えば10秒)だけ、ユーザ出力画像812a、812b1、812b2及び812b3を表示すること、又は、端末装置2のユーザによる操作が検出されてから所定の時間(例えば10秒)の経過後にユーザ出力画像812a、812b1、812b2及び812b3を表示すること(この場合、端末装置2のユーザによる何らかの操作が検出されるとユーザ出力画像812a、812b1、812b2及び812b3の表示が終了する)等である。例えば、表示方法の変更は、端末装置2を操作するユーザA以外のユーザB1~B3のユーザ出力画像812b1、812b2及び812b3の表示を終了することでもよい。
【0173】
図9(a)に示される選択画面900では、ユーザAの顔の表情や体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811aを含むユーザ出力画像812aが表示される。また、ユーザB1~B3の顔の表情や体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811b1~811b3を含むユーザ出力画像812b1~812b3が表示される。また、ユーザAは、選択画面900において、音声を発しているようなユーザB1~B3のキャラクタオブジェクト811b1~811b3を見ながらユーザB1~B3の音声を聞くことができる。
【0174】
以下、選択画面900の表示処理の一例について説明する。コミュニケーション画面810(
図8(b))に含まれる視聴開始ボタン813がユーザAによる入力装置24の操作によって選択された場合、入力装置24は、確認指示を端末処理装置27に入力する。ユーザAの端末装置2の送信部272は、入力装置24から入力された確認指示を示す情報を、端末記憶装置22に記憶されたユーザAのユーザIDとともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、確認指示を示す情報とユーザAのユーザIDとを受信する。
【0175】
次に、サーバ装置3のサーバ送信部332は、サーバ記憶装置32に記憶されている全ての又は一部の配信画像に関する情報を抽出し、抽出した配信画像に関する情報に関連付けられた選択画像を抽出する。サーバ送信部332は、抽出した配信画像に関する情報及び選択画像を、サーバ通信I/F31を介して、ユーザAの端末装置2に送信する。次に、ユーザAの端末装置2の受信部273は、端末通信I/F21を介して、一又は複数の配信画像に関する情報及び選択画像を受信する。そして、ユーザAの端末装置2の表示処理部274は、受信した選択画像を含む選択画面900を表示装置23に表示出力する。なお、選択画面900に含まれる選択画像には、対応する配信画像に関する情報が関連付けられる。以上により、選択画面900の表示処理が終了する。
【0176】
ユーザAによる入力装置24の操作によって複数の選択画像901、902、903、及び904のいずれかが選択されると、入力装置24は、視聴開始指示を端末処理装置27に入力する。入力装置24は、視聴開始指示とともに、選択された選択画像に関連付けられた配信画像に関する情報を端末処理装置27に入力する。そして、ユーザAの端末装置2の表示処理部274は、入力装置24によって入力された配信画像に関する情報に関連付けられた選択画像に基づいて、確認画面910を選択画面900上に重畳して表示する。
【0177】
図9(b)は、端末装置2の表示装置23に表示される確認画面910の一例を示す図である。確認画面910には、選択画面900においてユーザAによって選択された選択画像と、確認ボタン911と、キャンセルボタン912とが含まれる。確認ボタン911は、視聴開始指示の送信の実行を指示するためのボタンオブジェクト等のオブジェクト画像である。キャンセルボタン912は、確認画面910の表示を終了するためのボタンオブジェクト等のオブジェクト画像である。
【0178】
ユーザAによる入力装置24の操作によって確認ボタン911が選択されると、ユーザAの端末装置2の送信部272は、選択画面900の操作に応じて既に入力された、視聴開始指示を示す情報及び配信画像に関する情報と、端末記憶装置22に記憶されたユーザAのユーザIDと送信先情報とを、端末通信I/F21を介してサーバ装置3に送信する。
【0179】
次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、視聴開始指示を示す情報と配信画像に関する情報とユーザAのユーザIDと送信先情報とを受信する。次に、サーバ受信部331は、受信した配信画像に関する情報が配信中の配信画像に関する情報であるか否かを判定する。
【0180】
受信した配信画像に関する情報が配信中の配信画像に関する情報である場合、サーバ受信部331は、受信したユーザAのユーザIDを、受信した配信画像に関する情報に関連付けてサーバ記憶装置32に記憶する。同様に、サーバ送信部332は、受信した送信先情報に基づいて、ユーザB1~B3のユーザIDを、受信した配信画像に関する情報に関連付けてサーバ記憶装置32に記憶する。例えば、送信先情報に、ユーザB1~B3のそれぞれのユーザIDが含まれる場合、サーバ受信部331は、送信先情報から、ユーザB1~B3のそれぞれのユーザIDを抽出して、抽出したユーザIDを配信画像に関する情報に関連付けて記憶する。送信先情報に、ユーザAが所属するコミュニケーショングループを識別するためのグループIDが含まれる場合、サーバ記憶装置32に記憶されたグループテーブルT3等を参照し、グループIDに関連付けられたユーザB1~B3のユーザIDを抽出し、抽出したユーザB1~B3のユーザIDを配信画像に関する情報に関連付けて記憶する。これにより、コミュニケーションサービスに参加しているユーザA及びユーザB1~B3は、ユーザAによって選択された配信ユーザの配信画像の視聴ユーザとして登録される。以降において、コミュニケーションサービスに参加しているユーザA、ユーザB1、ユーザB2及びユーザB3は、ユーザAによって選択された配信ユーザの配信画像を視聴することができる。
【0181】
サーバ装置3のサーバ受信部331は、新たに視聴ユーザとして登録されたユーザA及びユーザB1~B3の名称又はユーザA及びユーザB1~B3が所属するコミュニケーショングループの名称を、配信ユーザの端末装置2に送信する。配信ユーザの端末装置2は、受信した各ユーザの名称又はコミュニケーショングループの名称を表示し、視聴ユーザが新たに登録された旨を示す情報を表示してもよい。なお、端末記憶装置11に各種テーブルT1~T3が記憶されている場合では、サーバ受信部331は、新たに視聴ユーザとして登録されたユーザA及びユーザB1~B3のそれぞれのユーザIDを送信してもよい。この場合、配信ユーザの端末装置2は、配信ユーザの端末装置2に記憶されたユーザテーブルT1又はグループテーブルT3を参照して、受信した各ユーザIDに対応する各ユーザの名称又はコミュニケーショングループの名称を抽出して表示する。
【0182】
図10(a)は、端末装置2の表示装置23に表示される選択画面1000の他の一例を示す図である。選択画面1000は、選択画面900と異なり、キャラクタオブジェクト811a、811b1、811b2及び811b3をそれぞれ含むユーザ出力画像812a、812b1、812b2及び812b3が含まれない。選択画面1000には、選択画像1001、1002、1003、1004、1005、及び1006が含まれる。選択画像1001、1002、1003、1004、1005、及び1006のそれぞれは、選択画像901、902、903、及び904と同様に、視聴する配信画像を選択するための画像である。なお、
図10(a)に示される選択画面1000がユーザAの端末装置2の表示装置23に表示されている場合、所定時間間隔ごとに受信されるユーザB1~B3の各出力情報に基づいて、ユーザB1~B3の音声データが出力されてもよい。これにより、
図10(a)に示される選択画面1000が表示されている場合においても、
図9(a)に示される選択画面900が表示されている場合と同様にユーザA及びユーザB1~B3との間で音声によるコミュニケーションを継続することが可能となる。また、選択画面900及び1000の両者のそれぞれに、切替オブジェクト(図示せず)が含まれてもよい。例えば、ユーザAによる入力装置24の操作に応じて選択画面900内の切替オブジェクトが選択されると、ユーザAの端末装置2の表示処理部274は、選択画面900の表示を終了し、選択画面1000を表示する。また、ユーザAによる入力装置24の操作に応じて選択画面1000内の切替オブジェクトが選択されると、ユーザAの端末装置2の表示処理部274は、選択画面1000の表示を終了し、選択画面900を表示する。このように、選択画面900及び1000が表示された端末装置2のユーザの好みに合わせて、ユーザは選択画面900及び1000を切替えることができる。
【0183】
図10(b)は、端末装置2の表示装置23に表示される配信画面1010の一例を示す図である。配信画面1010には、キャラクタオブジェクト1011を含む配信画像1012と、評価ボタン1013と、追加ボタン1014と、コメントボタン1015と、応答情報表示領域1016と、視聴終了ボタン1017が含まれる。また、配信画面1010には、キャラクタオブジェクト811a、811b1、811b2及び811b3をそれぞれ含むユーザ出力画像812a、812b1、812b2及び812b3が含まれる。
【0184】
キャラクタオブジェクト1011は、受信部273によって受信された配信ユーザの出力情報に含まれるモーションデータと、ユーザテーブルT1の配信ユーザのユーザIDに関連付けられたキャラクタオブジェクトとに基づいて、表示処理部274によって生成された配信ユーザのキャラクタオブジェクトのアニメーション(動画像)である。以降、キャラクタオブジェクト1011を含む配信画像1012の表示処理の一例について説明する。
【0185】
ユーザAによる視聴開始指示に応じて、サーバ装置3は、ユーザAのユーザID及びユーザB1~B3のユーザIDを、選択画面900又は選択画面1000においてユーザAによって選択された選択画像に関連付けられた配信ユーザIDと関連付けて記憶している。サーバ装置3のサーバ送信部332は、ユーザAのユーザID及びユーザB1~B3のユーザIDに関連付けられた配信ユーザIDの配信ユーザの出力情報を、ユーザA及びユーザB1~B3のそれぞれの端末装置2にサーバ通信I/F31を介して送信する。ユーザA及びユーザB1~B3のそれぞれの端末装置2の受信部273は、送信された配信ユーザの出力情報を、端末通信I/F21を介してサーバ装置3から受信する。
【0186】
受信部273によって受信された出力情報に含まれる配信ユーザのモーションデータに配信ユーザのフェイスモーションデータが含まれる場合、配信ユーザの表情の動きに同期して表情が変化するキャラクタオブジェクト1011を含む配信画像1012が表示される。例えば、配信ユーザが音声を発した場合では、唇が動作しているキャラクタオブジェクト1011を含む配信画像1012が表示される。また、受信部273によって受信された配信ユーザのモーションデータに配信ユーザのボディモーションデータが含まれる場合、配信ユーザの体の動きに同期して、対応する部位が動作するキャラクタオブジェクト1011を含む配信画像1012が表示される。受信部273によって受信された配信ユーザの出力情報に配信ユーザの音声データが含まれる場合、表示処理部274によって配信画像1012が表示されるとともに、音声出力部275によって音声データに基づいて生成される配信ユーザの音声が音声出力される。これにより、ユーザAは、音声を発しているような動きをしている配信ユーザのキャラクタオブジェクト1011を見ながら配信ユーザの音声を聞くことができる。以上により、配信画像1012の表示処理は終了する。配信画像1012の表示処理は、配信ユーザの出力情報を所定の時間間隔ごと(例えば2秒ごと)に受信するたびに実行される。
【0187】
評価ボタン1013は、配信画像1012に含まれるキャラクタオブジェクト1011に関する評価データ又はキャラクタオブジェクト1011の配信ユーザに関する評価データの送信を指示するためのオブジェクト画像である。ユーザAによる入力装置24の操作に応じて評価ボタン811が選択されると、端末装置2の送信部272は、「配信画像1012に含まれるキャラクタオブジェクト1011に対する肯定的な評価」がなされたことを示す評価データ又は「配信画像1012に含まれるキャラクタオブジェクト1011の配信ユーザに対する肯定的な評価」がなされたことを示す評価情報を作成する。評価情報は応答情報の一種である。評価情報(応答情報)の表示及び送信処理の詳細は後述する。
【0188】
なお、評価ボタン1013は、「配信画像1012に含まれるキャラクタオブジェクト1011に対する否定的な評価」がなされたことを示す評価データ又は「配信画像1012に含まれるキャラクタオブジェクト1011の配信ユーザに対する否定的な評価」がなされたことを示す評価情報を作成してもよい。また、配信画面1010に、複数種類の評価ボタン1013(例えば、肯定的な評価情報を作成するための評価ボタン及び否定的な評価情報を作成するための評価ボタンの2種類の評価ボタン)が含まれてもよい。
【0189】
追加ボタン1014は、配信画面1010に含ませる追加オブジェクトを選択するための選択画面1100の表示を指示するためのオブジェクト画像である。ユーザAによる入力装置24の操作に応じて追加ボタン1014が選択されると、選択画面1100が表示される。選択画面1100の詳細は後述する。
【0190】
コメントボタン1015は、配信画面1010に表示させるコメント(文字列)を入力するためのコメント入力ウィンドウ(図示しない)の表示を指示するためのオブジェクト画像である。ユーザAによる入力装置24の操作に応じてコメントボタン1015が選択されると、コメント入力ウィンドウが配信画面1010上に重畳表示される。コメント入力ウィンドウは、コメントボタン1015を選択したユーザの端末装置2の表示装置23のみに表示され、コメント入力ウィンドウ及びコメント入力ウィンドウに入力中の文字列は、他の端末装置2の表示装置23に表示されない。例えば、ユーザAによる入力装置24の操作に応じて、表示処理部274は、コメント入力ウィンドウに入力されたコメント(文字列)を示すコメント情報を作成する。コメント情報は応答情報の一種である。コメント情報(応答情報)の表示及び送信処理の詳細は後述する。
【0191】
応答情報表示領域1016は、ユーザAによる操作に応じて作成された応答情報(コメントデータ、評価データ、及び/又は(後述する)追加オブジェクトに関する情報)、及び、配信画面1010を表示している各端末装置2(同一の配信ユーザの配信画像1012を視聴している各ユーザの端末装置2)から送信された応答情報が含まれる。
【0192】
図10(b)に示される応答情報表示領域1016の例では、「ユーザR」という名前の視聴ユーザの端末装置2から「かっこいい」というコメント(文字列)を示すコメント情報が送信されたことが示されている。また、「ユーザF」という名前の視聴ユーザの端末装置2から評価情報が送信されたことが示されている。さらに、この端末装置2を操作するユーザAの端末装置2によって作成された評価情報が送信されたことが示されている。
【0193】
配信画面1010を表示している各端末装置2の表示処理部274は、応答情報が作成されるたびに、作成された応答情報をユーザの名称を時系列に並べて応答情報表示領域1016に表示する。また、配信画面1010を表示している各端末装置2の送信部272は、応答情報が作成されるたびに、作成された応答情報と、各端末装置2の端末記憶装置22に記憶されたユーザIDとともに、応答情報の送信要求を、端末通信I/F21を介してサーバ装置3に送信する。サーバ装置3のサーバ受信部331は、配信画面1010を表示している各端末装置2から送信された応答情報の表示要求を、応答情報とユーザIDとともに受信する。サーバ装置3のサーバ送信部332は、受信したユーザIDが視聴ユーザIDである場合、受信したユーザIDに関連付けて記憶された配信ユーザIDを、サーバ記憶装置32から抽出する。サーバ送信部332は、抽出した配信ユーザIDに関連付けられた視聴ユーザIDのうち、受信したユーザID以外の視聴ユーザIDを抽出する。そして、サーバ送信部332は、抽出した配信ユーザIDによって示される配信ユーザの端末装置2及び抽出した視聴ユーザIDによって示される視聴ユーザの端末装置2に、受信した応答情報及びユーザIDを送信する。配信画面1010を表示している各端末装置2の受信部273は、サーバ装置3から送信された応答情報及びユーザIDを端末通信I/F21を介して受信する。配信画面1010を表示している各端末装置2の表示処理部274は、受信された応答情報及び受信されたユーザIDに関連付けられた名称(ユーザテーブルT1)に基づいて、応答情報とユーザの名称を時系列に並べて応答情報表示領域1016内に含めた配信画面1010を表示する。
【0194】
応答情報表示領域1016に表示可能な応答情報の数に上限数が設定されてもよい。
図10(b)に示される応答情報表示領域1016の例では、表示可能な応答情報の上限数は「3」である。各端末装置2に表示される応答情報の数が、設定された上限数を超える場合、各端末装置2の表示処理部274は、新たに受信した3つの応答情報を順に応答情報表示領域1016に含めた配信画面1010を表示する。
【0195】
なお、応答情報表示領域1016内の応答情報がスクロール可能に表示されてもよい。この場合、この場合、ユーザによるスワイプ操作(例えば、指が画面に接しながら当該指が画面下から上に移動する操作)に応じて、応答情報表示領域1016に現在含まれていない応答情報が、応答情報表示領域1016内にスクロール表示される。
【0196】
視聴終了ボタン1017は、配信画面1010の表示を終了して、配信画像1012の視聴を終了するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって視聴終了ボタン1017が選択されると、表示処理部274は、配信画面1010の表示を終了し、コミュニケーション画面810(
図8(b))を再表示する。そして、端末装置2の送信部272は、視聴終了指示に関する情報を、端末記憶装置22に記憶されたユーザIDと送信先情報ともに、端末通信I/F21を介してサーバ装置3に送信する。サーバ装置3のサーバ受信部331は、ユーザの端末装置2から送信された視聴終了指示に関する情報とユーザIDを受信すると、視聴ユーザIDとしてサーバ記憶装置32に記憶されている、受信したユーザIDを削除する。これにより、視聴終了ボタン1017を選択したユーザの配信画像の視聴が終了する。また、サーバ送信部332は、送信先情報に含まれるユーザIDによって示されるユーザB1~B3の端末装置2に、視聴終了指示に関する情報を送信してもよい。この場合、ユーザB1~B3の端末装置2においても、視聴終了指示が受信されると、配信画面1010の表示を終了し、コミュニケーション画面810(
図8(b))を再表示する。
【0197】
配信画面1010には、キャラクタオブジェクト811a、811b1、811b2及び811b3をそれぞれ含むユーザ出力画像812a、812b1、812b2及び812b3が含まれる。配信画面1010に含まれるユーザ出力画像812a、812b1、812b2及び812b3は、コミュニケーション画面810に含まれるユーザ出力画像812a、812b1、812b2及び812b3の表示を変更したものである。表示の変更は、例えば、表示態様の変更、表示内容の変更、及び表示方法の変更の少なくとも一つを含む。
【0198】
表示態様の変更は、例えば、ユーザ出力画像812a、812b1、812b2及び812b3の表示サイズを変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の表示位置を変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の輝度、明度及び彩度の少なくとも一つを変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の透過度を変更すること、ユーザ出力画像812a、812b1、812b2及び812b3の表示枠の形状を変更すること(例えば、矩形形状から丸型形状への変更)、ユーザ出力画像812a、812b1、812b2及び812b3の表示枠の有無を設定すること、ユーザ出力画像812a、812b1、812b2及び812b3を点滅表示すること、並びに、ユーザ出力画像812a、812b1、812b2及び812b3を自動的に移動させる表示をすること等のうちの少なくとも一つである。例えば、
図10(b)に示される配信画面1010に含まれるユーザ出力画像812a、812b1、812b2及び812b3は、コミュニケーション画面810に含まれるユーザ出力画像812a、812b1、812b2及び812b3を、を縮小し且つ表示位置の変更を行ったものである。
【0199】
表示内容の変更は、例えば、(ユーザ出力画像812a、812b1、812b2及び812b3内に含まれる)キャラクタオブジェクト811a、811b1、811b2及び811b3を静止画像に変更すること、キャラクタオブジェクト811a、811b1、811b2及び811b3をデフォルメ化した画像に変更すること、並びに、キャラクタオブジェクト811a、811b1、811b2及び811b3を、対応するユーザ名称に変更すること等の少なくとも一つである。なお、静止画像は、各ユーザのプロフィール画像、又はアイコン画像等でもよい。ユーザ出力画像812a、812b1、812b2及び812b3内の画像が静止画像及びユーザ名称であっても、所定時間間隔ごとに受信されるユーザB1~B3の各出力情報に基づいて、ユーザB1~B3の音声データが出力されてもよい。これにより、モーションデータを用いないことで端末装置2の処理負荷を低減させつつ、ユーザA及びユーザB1~B3との間で音声によるコミュニケーションを継続することが可能となる。
【0200】
表示方法の変更は、例えば、所定の表示条件が満たされた場合に、ユーザ出力画像812a、812b1、812b2及び812b3を表示することである。また、表示方法の変更は、例えば、所定の表示条件が満たされた場合に、ユーザ出力画像812a、812b1、812b2及び812b3の表示を終了することである。例えば、表示方法の変更は、ユーザの音声データが出力されている間だけ、出力中の音声データに対応するユーザ出力画像812を表示すること、端末装置2のユーザによる所定の操作(例えば、スワイプ操作、フック操作等)が検出されてから所定の時間(例えば10秒)だけ、ユーザ出力画像812a、812b1、812b2及び812b3を表示すること、又は、端末装置2のユーザによる操作が検出されてから所定の時間(例えば10秒)の経過後にユーザ出力画像812a、812b1、812b2及び812b3を表示すること(この場合、端末装置2のユーザによる何らかの操作が検出されるとユーザ出力画像812a、812b1、812b2及び812b3の表示が終了する)等である。また、表示方法の変更は、配信画面1010のうちの一部分を表示することでもよい。例えば、表示方法の変更は、端末装置2を操作するユーザA以外のユーザB1~B3のユーザ出力画像812b1、812b2及び812b3の表示を終了することでもよい。また、例えば、表示方法の変更は、配信画像1012の表示サイズを縮小することでもよく、この場合、ユーザ出力画像812a、812b1、812b2及び812b3が配信画像1012に重畳しないような表示方法となってもよい。また、表示方法の変更は、配信画像1012を表示せずに、ユーザ出力画像812a、812b1、812b2及び812b3を表示することである。また、表示方法の変更は、配信画像1012並びにユーザ出力画像812a、812b1、812b2及び812b3を表示せずに、追加ボタン1014、コメントボタン1015及び応答情報表示領域1016を表示することである。
【0201】
なお、上述した各種の表示態様の内の少なくとも2種類の表示態様は、図示しない切替オブジェクト等のユーザAによる操作に応じて切り替わるように制御されてもよい。この場合、ユーザAによる切替指示に応じ、切替指示に関する情報が、サーバ装置3を経由してユーザB1~B3のそれぞれの端末装置2に送信されてもよい。切替指示に関する情報を受信したユーザB1~B3のそれぞれの端末装置2において、切替指示に関する情報が参照され、ユーザAの端末装置2における表示態様と同じ表示態様でユーザ出力画像812a、812b1、812b2及び812b3が表示される。なお、この切替の操作は、ユーザA(視聴開始指示を行ったユーザ)による操作に限らず、ユーザB1~B3のいずれかのユーザによる操作によっても、ユーザ出力画像812a、812b1、812b2及び812b3の表示態様が切り替わってもよい。切替指示に関する情報がユーザB1~B3のそれぞれの端末装置2に送信されない場合、ユーザ個々が端末装置2ごとに任意でユーザ出力画像812a、812b1、812b2及び812b3の表示態様の切替を行うことができる。また、上述したキャラクタオブジェクト811a、811b1、811b2及び811b3をそれぞれ含むユーザ出力画像812a、812b1、812b2及び812b3の表示態様は、配信画面1010に限らず、他の画面におけるユーザ出力画像812a、812b1、812b2及び812b3にも適用されてもよい。また、配信画面1010の表示前の任意のタイミングで、ユーザが上述した各種の表示態様の内の少なくとも一の表示態様を選択する画面が表示されてもよい。ユーザによって少なくとも一の表示態様が選択された場合、配信画面1010は、ユーザによって選択された表示態様に従って表示される。
【0202】
図10(b)に示される配信画面1010においても、ユーザAの顔の表情や体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811aを含むユーザ出力画像812aが表示され、ユーザB(ユーザB1~B3)の顔の表情や体の動きに同期して、対応する部位が動作するキャラクタオブジェクト811b(811b1~811b3)を含むユーザ出力画像812b(812b1~812b3)が表示される。また、配信画面1010の表示中においても、ユーザB(ユーザB1~B3)の音声データが出力される。これにより、ユーザAは、配信画面1010において、音声を発しているようなユーザB(ユーザB1~B3)のキャラクタオブジェクト811b(811b1~811b3)を見ながらユーザB(ユーザB1~B3)の音声を聞くことができる。これにより、ユーザAは、配信ユーザの音声及びユーザB(ユーザB1~B3)の音声を聞くことが可能となる。なお、ユーザA及びユーザB(ユーザB1~B3)の出力情報は、コミュニケーショングループ内における交換に限られるため、他の視聴ユーザ及び配信ユーザの端末装置2には送信されない。なお、配信画面1010において、ユーザ出力画像812a、812b1、812b2及び812b3が含まれなくてもよい。この場合においても、ユーザB(ユーザB1~B3)の音声データが出力されてもよい。
【0203】
なお、ユーザ出力画像812a、812b1、812b2及び812b3に替えて、配信画面1010にキャラクタオブジェクト811a及びキャラクタオブジェクト811b(811b1~811b3)を含む一つの出力画像が含まれてもよい。また、配信画面1010には、図示しない切替ボタンが含まれてもよい。例えば、ユーザAによる入力装置24の操作に応じて切替オブジェクトが選択されると、入力装置24は、切替指示を、端末処理装置27に入力する。表示処理部274は、配信画面1010の表示を終了し、コミュニケーション画面810(
図8(b))を再表示する。そして、端末装置2の送信部272は、切替指示に関する情報を、端末記憶装置22に記憶されたユーザIDと送信先情報とともに、端末通信I/F21を介してサーバ装置3に送信する。サーバ装置3のサーバ受信部331は、ユーザの端末装置2から送信された切替指示に関する情報とユーザIDと送信先情報を受信すると、サーバ送信部332は、送信先情報に含まれるユーザIDによって示されるユーザB1~B3の端末装置2に、切替指示に関する情報を送信する。これにより、ユーザB1~B3の端末装置2においても、切替指示が受信されると、配信画面1010の表示を終了し、コミュニケーション画面810(
図8(b))を再表示する。切替指示に応じて再表示されたコミュニケーション画面810にも、切替ボタンが含まれてもよい。例えば、ユーザAによる入力装置24の操作に応じて切替オブジェクトが選択されると、入力装置24は、切替指示を、端末処理装置27に入力する。表示処理部274は、コミュニケーション画面810の表示を終了し、配信画面1010を再表示する。そして、端末装置2の送信部272は、切替指示に関する情報を、端末記憶装置22に記憶されたユーザIDと送信先情報とともに、端末通信I/F21を介してサーバ装置3に送信する。
【0204】
サーバ装置3のサーバ受信部331は、ユーザの端末装置2から送信された切替指示に関する情報とユーザIDと送信先情報を受信すると、サーバ送信部332は、送信先情報に含まれるユーザIDによって示されるユーザB1~B3の端末装置2に、切替指示に関する情報を送信する。これにより、ユーザB1~B3の端末装置2においても、切替指示が受信されると、コミュニケーション画面810の表示を終了し、配信画面1010を再表示する。なお、切替指示は、ユーザA(視聴開始指示を行ったユーザ)による切替指示に限らず、ユーザB1~B3のいずれかのユーザによる切替指示によっても、上述の切替指示に対応する処理が実行されてもよい。また、切替指示に係る情報は、サーバ装置3を介して他のユーザの端末装置2に送信されなくてもよい。これにより、ユーザ個々が端末装置2ごとに任意で配信画面1010及びコミュニケーション画面810の切替を行うことが可能となる。また、切替指示に応じたコミュニケーション画面810の再表示中は、所定時間間隔ごとに受信される配信ユーザの出力情報に基づいて、配信ユーザの音声データが出力されてもよい。このように、端末装置2において、配信画面1010及びコミュニケーション画面810の切替機能が実現されることにより、コミュニケーション画面を表示しながら配信画像を視聴するときにも、画面の表示態様の切り替えを可能にすることにより、端末装置2のディスプレイが複数の画面を表示できるような大きなディスプレイでなくても、そのときの配信内容やビデオチャットの状況に応じて最適な表示態様を実現することができる。
【0205】
図11(a)は、表示装置23に表示される選択画面1100の一例を示す図である。
図11(a)に示されるように、選択画面1100は、配信画面1010に重畳するように表示される。選択画面1100は、配信画面1010の表示を終了させた後に表示されてもよい。
【0206】
図11(a)に示される例では、6種類の追加候補オブジェクトを示す画像が選択画面1100の表示領域内に含まれる。追加候補オブジェクトを示す名称が追加候補オブジェクトを示す画像の近傍に配置されてもよい。選択画面1100の表示領域内に含まれる追加候補オブジェクトの数は、6つに限らない。端末装置2の表示処理部274は、複数の追加候補オブジェクトを示す画像の一部を選択画面1100の表示領域内に含めることができない場合、追加候補オブジェクトを示す画像をスクロール可能に表示してもよい。この場合、ユーザAによるスワイプ操作(例えば、指が画面に接しながら当該指が画面右から左に移動する操作)に応じて、選択画面1100の表示領域内に現在含まれていない追加候補オブジェクトを示す画像がスクロールされて、選択画面1100の表示領域内に表示される。
【0207】
追加候補オブジェクトのそれぞれは追加オブジェクトを示す。追加候補オブジェクトを示す画像は、例えば、追加オブジェクトの一種であるギフトオブジェクトを示すアイコン画像、サムネイル画像等である。なお、選択画面1100において、各追加候補オブジェクトの画像が、追加オブジェクトの種類(無料ギフト、有料ギフト、アクセサリ、応援グッズ、アピール、バラエティ、グループの所属ユーザの協力が必要な協力ギフト等)ごとに分類されて表示されてもよい。なお、有料ギフトに属する追加オブジェクトとは、ユーザが仮想的な貨幣価値の「コイン」を消費することにより購入可能な追加オブジェクトである。無料ギフトに属する追加オブジェクトとは、貨幣価値を消費することなく、代わりに配信を視聴することなどで取得できるポイントを消費すること等で入手可能な追加オブジェクトである。なお、追加オブジェクトは、ユーザAが、端末装置2において実行される所定のミッションをプレイして、当該所定のミッションをクリアすることで保有するオブジェクトでもよい。
【0208】
ユーザAによる入力装置24の操作に応じて追加候補オブジェクトが選択されると、入力装置24は、追加指示を、選択された追加候補オブジェクトに対応するオブジェクトIDとともに端末処理装置27に入力する。以下、追加指示に応じた追加処理の一例について説明する。
【0209】
まず、表示処理部274は、入力された追加指示及びオブジェクトIDを取得すると、オブジェクトテーブルT2を参照して、取得したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出する。次に、表示処理部274は、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、抽出した静止画像又は動画像を含めた新たな配信画像1012を生成する。また、表示処理部274は、オブジェクトテーブルT2を参照して、取得したオブジェクトIDに関連付けられた名称を用いて追加オブジェクト情報を作成する。追加オブジェクト情報は、応答情報の一種であり、例えば、ユーザAが追加オブジェクトを配信ユーザに贈った旨を示す情報である。
【0210】
次に、送信部272は、入力された追加指示及びオブジェクトIDを取得すると、追加指示を示す情報を、取得したオブジェクトIDと端末記憶装置22に記憶されたユーザAのユーザIDとともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、追加指示を示す情報とオブジェクトIDとユーザAのユーザIDを受信する。次に、サーバ装置3のサーバ送信部332は、受信したユーザIDが視聴ユーザIDである場合、受信したユーザIDに関連付けて記憶された配信ユーザIDを、サーバ記憶装置32から抽出する。サーバ送信部332は、抽出した配信ユーザIDに関連付けられた視聴ユーザIDのうち、受信したユーザID以外の視聴ユーザIDを抽出する。そして、サーバ送信部332は、抽出した視聴ユーザIDによって示されるユーザの端末装置2に、受信した追加指示を示す情報とオブジェクトIDとユーザAのユーザIDを、サーバ通信I/F31を介して送信する。また、サーバ送信部332は、抽出した配信ユーザIDによって示される配信ユーザの端末装置2に、受信した追加指示を示す情報とオブジェクトIDとユーザAのユーザIDを、サーバ通信I/F31を介して送信する。
【0211】
そして、視聴ユーザ(ユーザAを除く)及び配信ユーザの端末装置2の受信部273は、端末通信I/F21を介して、追加指示を示す情報とユーザAのユーザIDとオブジェクトIDとを受信する。次に、端末装置2の表示処理部274は、オブジェクトテーブルT2を参照して、受信したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出する。次に、表示処理部274は、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、抽出した静止画像又は動画像を含めた新たな配信画像1012を生成する。以上により、追加処理は終了する。
【0212】
図11(b)は、端末装置2の表示装置23に表示される配信画面1110の他の一例を示す図である。配信画面1110には、配信画面1010と同様に、キャラクタオブジェクト1011を含む配信画像1012と、評価ボタン1013と、追加ボタン1014と、コメントボタン1015と、応答情報表示領域1016と、視聴終了ボタン1017が含まれる。また、配信画面1110には、配信画面1010と同様に、キャラクタオブジェクト811a、811b1、811b2及び811b3をそれぞれ含むユーザ出力画像812a、812b1、812b2及び812b3が含まれる。
【0213】
配信画面1110には、配信画面1010と異なり、追加オブジェクト1111及び追加オブジェクト1112が含まれる。追加オブジェクト1111及び追加オブジェクト1112は、ともに追加オブジェクトを示す静止画像又は動画像である。追加オブジェクト1112には、追加オブジェクト1112を示す静止画像又は動画像とともに、当該追加オブジェクト1112の追加指示をしたユーザに関する各種情報が含まれる。以下、追加オブジェクト1112の追加指示をしたユーザがユーザAである場合を例に、追加オブジェクト1112の表示処理の一例について説明する。
【0214】
ユーザAによる入力装置24の操作に応じて(追加オブジェクト1112に対応する)追加候補オブジェクトが選択されると、入力装置24は、追加指示を、選択された追加候補オブジェクトに対応するオブジェクトIDとともに端末処理装置27に入力する。表示処理部274は、入力された追加指示及びオブジェクトIDを取得すると、オブジェクトテーブルT2を参照して、取得したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出し、さらに、グループテーブルT3を参照して、端末記憶装置22に記憶されたユーザAのユーザIDに関連付けられたグループの名称を抽出する。そして、表示処理部274は、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、抽出した静止画像又は動画像とグループの名称により構成された追加オブジェクト1112を含めた新たな配信画像1012を生成する。
【0215】
ユーザAの端末装置2の送信部272は、追加オブジェクト1112に係る追加指示を示す情報と取得したオブジェクトIDと端末記憶装置22に記憶されたユーザAのユーザIDとを、サーバ装置3経由で、視聴ユーザ(ユーザAを除く)及び配信ユーザの端末装置2に送信する。追加オブジェクト1112に係る追加指示を示す情報とユーザAのユーザIDとオブジェクトIDとが、視聴ユーザ(ユーザAを除く)及び配信ユーザの端末装置2の受信部273によって受信されると、視聴ユーザ(ユーザAを除く)及び配信ユーザの端末装置2の表示処理部274は、オブジェクトテーブルT2を参照して、受信したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出し、さらに、グループテーブルT3を参照して、受信したユーザIDに関連付けられたコミュニケーショングループの名称を抽出する。そして、当該端末装置2の表示処理部274は、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、抽出した静止画像又は動画像とコミュニケーショングループの名称により構成された追加オブジェクト1112を含めた新たな配信画像1012を生成する。追加オブジェクト1112は、例えば、所定の追加オブジェクトの近傍に位置する、又は、所定の追加オブジェクトの重畳する、名称が表示された他のオブジェクト(看板等を示すオブジェクト)である。以上により、追加オブジェクト1112の表示処理は終了する。なお、追加オブジェクト1112を示す静止画像又は動画像とともに表示される、追加オブジェクト1112の追加指示をしたユーザに関する各種情報は、追加指示をしたユーザが所属するコミュニケーショングループの名称に限らない。追加指示をしたユーザに関する各種情報は、追加指示をしたユーザが所属するコミュニケーショングループに所属する全てのユーザの名称でもよい。また、追加オブジェクト1112は、追加指示をしたユーザが所属するコミュニケーショングループに所属する全てのユーザのそれぞれのキャラクタオブジェクトの集合でもよい。この場合、各キャラクタオブジェクトは、予め定められた動作(手を振る、拍手をする、踊る等)を自動的に行うように表示処理部274によって制御されてもよい。
【0216】
配信画面に追加される追加オブジェクトは、所定の変化条件が満たされると、配信画面の表示中に、形状、サイズ、配置、色、輝度、及び/又はデザインが変化してもよい。なお、所定の変化条件は、追加オブジェクトの表示要求に関する条件であってもよい。例えば、所定の変化条件は、同じコミュニケーショングループに所属するユーザ(例えば、ユーザA、ユーザB1、ユーザB2及びユーザB3)のいずれかによる追加指示のタイミングに係る条件が満たされたこと、及び/又は、同じコミュニケーショングループに所属するユーザが互いに異なる複数の特定の種類の追加オブジェクトの追加指示をしたことである。この場合、他のコミュニケーショングループに所属するユーザ(例えば、ユーザA、ユーザB1、ユーザB2及びユーザB3以外のユーザ)が、所定期間内において、互いに異なる特定の種類の追加オブジェクトの追加指示をしたとしても所定の変化条件は満たされない。なお、所定の変化条件は、同じ配信画面を視聴している全ユーザのうちのいずれかによる追加指示のタイミングに係る条件が満たされたこと、及び/又は、互いに異なる複数の特定の種類の追加オブジェクトの追加指示をしたことでもよい。追加指示のタイミングに係る条件が満たされることとは、複数のユーザによる追加指示のタイミングの差分時間が所定期間内であること等である。ユーザによる追加指示に応じて、サーバ装置3によって当該ユーザに所定のポイントが付与される。所定の変化条件が満たされた場合、所定の変化条件を満たす追加指示を行ったユーザに、所定のポイントよりも多いポイントが付与されてもよい。所定の変化条件は、所定の関係を有する複数のユーザのいずれかによる追加指示のタイミングに係る条件が満たされたこと、及び/又は、所定の関係を有する複数のユーザが互いに異なる複数の特定の種類の追加オブジェクトの追加指示をしたことでもよい。この場合、所定の関係を有さないユーザによる追加指示のタイミングに係る条件が満たされたとしても、所定の変化条件は満たされない。複数のユーザにおける所定の関係とは、例えば、複数のユーザのうちの一のユーザが複数のユーザのうちの他のユーザの相互フォロワーであることである。なお、一のユーザが他のユーザをフォローし且つ他のユーザも一のユーザをフォローしている(一のユーザと他のユーザが相互フォローしている)場合、一のユーザと他のユーザは相互フォロワーとなる。また、複数のユーザにおける所定の関係とは、複数のユーザのうちの一のユーザが、複数のユーザのうちの他のユーザと相互フォローしている所定ユーザと相互フォローの関係にあることでもよい。また、複数のユーザにおける所定の関係とは、フレンド関係にあることでもよく、または、複数のユーザのうちの一のユーザの端末装置に、複数のユーザのうちの他のユーザの特定情報(電話番号、メールアドレス、所定のID(identification)等)が記憶されていることでもよい。また、複数のユーザにおける所定の関係とは、複数のユーザが同一のコミュニケーションサービスに参加して互いにコミュニケーションを実施した回数が、所定回数以上である関係でもよく、また、複数のユーザにおける所定の関係とは、複数のユーザのそれぞれが同一の及び異なるコミュニケーションサービスに参加した回数が、ともに所定回数以上である関係でもよい。
【0217】
例えば、みかんを示す追加オブジェクト1201の追加指示と、モチを示す追加オブジェクト1202の追加指示と、台座を示す追加オブジェクト1203の追加指示とが、所定期間内(例えば10秒間)において、同じコミュニケーショングループに所属するユーザによって行われた場合、鏡餅を示す追加オブジェクト1211を含む配信画面が表示されてもよい。例えば、ユーザAによって追加オブジェクト1201の追加指示が行われてから、10秒以内に、ユーザB1によって追加オブジェクト1202の追加指示と追加オブジェクト1203の追加指示とが行われると、所定の変化条件が満たされる。また、ユーザB2によって追加オブジェクト1202の追加指示が行われてから、10秒以内に、ユーザB2によって追加オブジェクト1201の追加指示と追加オブジェクト1203の追加指示とが行われると、所定の変化条件が満たされる。また、ユーザB3によって追加オブジェクト1203の追加指示が行われてから、10秒以内に、ユーザB1によって追加オブジェクト1202の追加指示が行われ、且つ、ユーザAによって追加オブジェクト1201の追加指示が行われると、所定の変化条件が満たされる。また、ユーザAによって追加オブジェクト1201の追加指示が行われてから、10秒以内に、ユーザAによって追加オブジェクト1202の追加指示と追加オブジェクト1203の追加指示とが行われると、所定の変化条件が満たされる。なお、所定の変化条件が満たされたか否かの判定処理は、各ユーザの端末装置2によって送信された各追加指示を受信したサーバ装置3のサーバ送信部332によって実行される。
【0218】
鏡餅を示す追加オブジェクト1211を含む配信画面の表示処理には、配信画面内において、追加オブジェクト1201、1202及び1203の表示の表示期間が経過して追加オブジェクト1201、1202及び1203の表示が終了した後に、鏡餅を示す追加オブジェクト1211が配信画面に表示される処理が含まれてもよい。または、鏡餅を示す追加オブジェクト1211を含む配信画面の表示処理には、追加オブジェクト1201、1202及び1203の全てに関する追加指示があった時に(又は、全ての追加指示から所定時間経過後に)、追加オブジェクト1201、1202及び1203の表示を終了させて、鏡餅を示す追加オブジェクト1211が配信画面に表示される処理が含まれてもよい。または、鏡餅を示す追加オブジェクト1211を含む配信画面の表示処理には、追加オブジェクト1201、1202及び1203の表示中の任意のタイミングで、追加オブジェクト1201、1202及び1203の表示を終了させて、鏡餅を示す追加オブジェクト1211が配信画面に表示される処理が含まれてもよい。
【0219】
なお、互いに異なる複数の特定の種類の追加オブジェクトは、例えば、それぞれ同じ属性の追加オブジェクトでもよい。また、互いに異なる複数の特定の種類の追加オブジェクトは、それぞれ同じ種類の追加オブジェクトでもよい。また、互いに異なる複数の特定の種類の追加オブジェクトは、それぞれ同じ識別情報に関連付けられた追加オブジェクトでもよい。また、互いに異なる複数の特定の種類の追加オブジェクトは、予めテーブル等において互いに関連付けて記憶された複数の追加オブジェクトでもよい。なお、追加オブジェクトの表示要求に関する条件は、同じコミュニケーショングループに所属するユーザが互いに異なる複数の特定の種類の追加オブジェクトの追加指示をしたという所定の変化条件を含む。このように、同じ属性の複数の追加オブジェクト同士、同じ種類の複数の追加オブジェクト同士、又は、同じIDが関連付けられた複数の追加オブジェクト同士が、予めテーブル等において互いに関連付けられている場合、追加オブジェクトの表示要求に関する条件は、上述のように表示要求された追加オブジェクトが所定の変化条件を満たすことを含む。そして、追加オブジェクトの表示要求に関する条件は、所定の変化条件に係る上述の例に限られず、その他の条件を広く含むものでもよい。
【0220】
なお、みかんを示す追加オブジェクト1201の追加指示と、モチを示す追加オブジェクト1202の追加指示と、台座を示す追加オブジェクト1203の追加指示とにより、追加オブジェクト1201、1202及び1203が鏡餅を示す追加オブジェクト1211に変化するのではなく、所定の変化条件が満たされた場合に、追加オブジェクト1201、1202及び1203が所定の相対位置に配置されるように表示制御されることで、追加オブジェクト1201、1202及び1203が一体として鏡餅を示すように構成されてもよい。所定の相対位置に配置される表示制御とは、例えば、追加オブジェクト1201を基準として、追加オブジェクト1201よりも第1距離だけ下方に追加オブジェクト1202を自動的に配置し、追加オブジェクト1201よりも第2距離(第1距離よりも長い)だけ下方に追加オブジェクト1203を自動的に配置して、追加オブジェクト1201、1202及び1203を表示することである。
【0221】
図12(a)は、端末装置2の表示装置23に表示される配信画面1200の一例を示す図であり、
図12(b)は、端末装置2の表示装置23に表示される配信画面1210の他の一例を示す図である。
【0222】
配信画面1200には、配信画面1010と同様に、キャラクタオブジェクト1011を含む配信画像1012と、評価ボタン1013と、追加ボタン1014と、コメントボタン1015と、応答情報表示領域1016と、視聴終了ボタン1017が含まれる。また、配信画面1200には、配信画面1010と同様に、キャラクタオブジェクト811a、811b1、811b2及び811b3をそれぞれ含むユーザ出力画像812a、812b1、812b2及び812b3が含まれる。
【0223】
配信画面1200には、配信画面1010と異なり、追加オブジェクト1201、追加オブジェクト1202及び追加オブジェクト1203が含まれる。追加オブジェクト1201~1203は、それぞれ追加オブジェクトを示す静止画像又は動画像である。追加オブジェクト1201~1203は、互いに異なる特定の種類の追加オブジェクトであり、予め定められた特定の組合せの追加オブジェクトである。なお、変化条件を満たす追加オブジェクトの組合せは、2つの追加オブジェクトでもよく、4つ以上の追加オブジェクトでもよい。また、変化条件を満たす追加オブジェクトの組合せは、少なくとも一部が同じ特定の種類の追加オブジェクトでもよい。例えば、種類Gの追加オブジェクト、種類Gの追加オブジェクト、種類Hの追加オブジェクト、及び種類Kの追加オブジェクトの組合せの場合、変化条件が満たされてもよい。
【0224】
サーバ装置3のサーバ送信部332は、追加オブジェクト1201、追加オブジェクト1202及び追加オブジェクト1203について、所定の変化条件が満たされたと判定すると、追加オブジェクト1211の表示指示を、追加オブジェクト1211のオブジェクトIDとともに視聴ユーザ(ユーザA、ユーザB1、ユーザB2及びユーザB3を含む)及び配信ユーザの端末装置2に送信する。なお、追加オブジェクト1201のオブジェクトID、追加オブジェクト1202のオブジェクトID及び追加オブジェクト1203のオブジェクトIDの組合せは、追加オブジェクト1211のオブジェクトIDと関連付けて記憶されている。そして、視聴ユーザ及び配信ユーザの端末装置2の表示処理部274は、受信部273によって追加オブジェクト1211の表示指示が受信されると、同時に受信したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出する。次に、当該端末装置2の表示処理部274は、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、抽出した静止画像又は動画像である追加オブジェクト1211を含めた新たな配信画像1012を生成する。これにより、複数種類の追加オブジェクトの追加指示に応じた追加オブジェクトの表示要求に関する条件が満たされると、追加指示に応じた追加オブジェクトとは異なる追加オブジェクトが表示される。なお、追加指示に応じた追加オブジェクトとは異なる追加オブジェクトの画像には、追加指示に応じた追加オブジェクトの少なくとも一部の画像が用いられてもよい。
【0225】
所定の変化条件が満たされたか否かの判定処理は、配信ユーザの端末装置2によって実行されてもよい。配信ユーザの端末装置2は、サーバ装置3を介して、視聴ユーザの端末装置2から、追加オブジェクト1201の追加指示、追加オブジェクト1202の追加指示及び追加オブジェクト1203の追加指示を受信すると、表示処理部274は、所定の変化条件が満たされたか否かを判定する。配信ユーザの端末装置2は、所定の条件が満たされたと判定すると、追加オブジェクト1201のオブジェクトID、追加オブジェクト1202のオブジェクトID及び追加オブジェクト1203のオブジェクトIDの組合せに関連付けて端末記憶装置22に記憶された追加オブジェクト1211のオブジェクトIDを抽出し、追加オブジェクト1211の表示処理を実行する。そして、配信ユーザの端末装置2の送信部272は、追加オブジェクト1211の表示指示を、追加オブジェクト1211のオブジェクトIDとともに、サーバ装置3を介して視聴ユーザの端末装置2に送信する。そして、視聴ユーザの端末装置2の表示処理部274は、受信部273によって追加オブジェクト1211の表示指示が受信されると、同時に受信したオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を端末記憶装置22から抽出する。次に、表示処理部274は、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、抽出した静止画像又は動画像である追加オブジェクト1211を含めた新たな配信画像1012を生成し、新たな配信画像1012を含む配信画面1210を表示する。
【0226】
なお、配信画面1200では、所定の変化条件が満たされたか否かの判定の前に、追加オブジェクト1201の追加指示に応じた追加オブジェクト1201の表示、追加オブジェクト1202の追加指示に応じた追加オブジェクト1202の表示、及び追加オブジェクト1203の追加指示に応じた追加オブジェクト1203の表示が行われている。所定の変化条件が満たされるか否かの判定前までは、追加オブジェクト1201、追加オブジェクト1202及び追加オブジェクト1203の表示が行われずに、所定の変化条件が満たされたと判定されなかった場合に、追加オブジェクト1201、追加オブジェクト1202及び追加オブジェクト1203の表示が行われてもよい。この場合、所定の変化条件が満たされたと判定されると、追加オブジェクト1201、追加オブジェクト1202及び追加オブジェクト1203の表示が行われずに、追加オブジェクト1211の表示が行われる。
【0227】
また、所定の変化条件は、同じコミュニケーショングループに所属するユーザ(例えば、ユーザA、ユーザB1、ユーザB2及びユーザB3)のいずれかによって所定期間内(例えば10秒間)に入力された数値が所定値を超えたことでもよい。なお、所定の変化条件は、同じ配信画面を視聴している全ユーザのうちのいずれかのユーザによって所定期間内に入力された数値が所定値を超えたことでもよい。
【0228】
例えば、同じコミュニケーショングループに所属する各ユーザによって、自身の保有コイン(ユーザが保有している仮想的な貨幣価値の「コイン」)の中から所定期間内に入力されたコインの数の合計が所定数を超えた場合に、特定の追加オブジェクトを含む配信画面が表示されてもよい。同じコミュニケーショングループに所属する各ユーザによって所定期間内に入力されたコインの数の合計が所定数を超えていない場合、サイズが小さくなるように特定の追加オブジェクトのサイズを変化させ、変化後の特定の追加オブジェクトを含む配信画面が表示されてもよい。また、同じコミュニケーショングループに所属する各ユーザによって所定期間内に入力されたコインの数の合計が所定数を超えていない場合、特定の追加オブジェクトを含まない配信画面が表示されてもよい。
【0229】
ユーザAによる入力装置24の操作に応じて追加候補オブジェクトが選択されると、入力装置24は、追加指示を、選択された追加候補オブジェクトに対応するオブジェクトIDとともに端末処理装置27に入力する。入力されたオブジェクトIDが特定の追加オブジェクトのオブジェクトIDである場合、表示処理部274は、入力画面1300を表示装置23に表示する。次に、送信部272は、入力画面の表示指示を、端末記憶装置22に記憶されたユーザAのユーザID及び/又は送信先情報ともに、端末通信I/F21を介してサーバ装置3に送信する。サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、入力画面の表示指示及びユーザAのユーザIDを受信する。送信先情報が入力画面の表示指示とともに送信されている場合、サーバ受信部331は、送信先情報を受信する。サーバ装置3のサーバ送信部332は、入力画面の表示指示及びユーザAのユーザIDを、送信先情報に含まれるユーザIDによって示されるユーザB(ユーザB1~ユーザB3)の端末装置2にサーバ通信I/F31を介して送信する。
【0230】
ユーザB(ユーザB1~ユーザB3)の端末装置2の受信部237は、サーバ装置3から、ユーザAの入力画面の表示指示及びユーザAのユーザIDを受信する。表示処理部274は、受信したユーザAのユーザIDに関連付けられた名称をユーザテーブルT1から抽出し、抽出された名称に基づいて入力画面1310を表示装置23に表示する。なお、表示指示の受信に応じて自動的に入力画面1310が表示されなくてもよい。この場合、配信画面内において、「協力してギフト送ろう」という呼びかけが他ユーザからあったことを示すアイコン又はバッジ等が表示され、当該アイコン又はバッジ等がユーザによってタップされると、入力画面1310が表示されてもよい。
【0231】
図13(a)は、ユーザAの端末装置2の表示装置23に表示される入力画面1300の一例を示す図である。入力画面1300は、配信画面1010上に重畳して表示される。入力画面1300には、コインの入力をユーザAに促す情報、ユーザAによって入力されたコインの数を示す情報、同じコミュニケーショングループに所属する各ユーザによって入力されたコインの数の合計を示す情報が含まれる。また、入力画面1300には、コインの数を入力するための数値入力オブジェクト1301が含まれる。
【0232】
数値入力オブジェクト1301は、コインの数を入力するためのボタンオブジェクト等のオブジェクト画像である。
図13(a)に示される例では、入力画面1300に、3種類のボタンオブジェクトが含まれるが、2種類以下のボタンオブジェクトが含まれてもよく、また、4種類以上のボタンオブジェクトが含まれてもよい。例えば、ユーザAによって「1コイン」と表示された数値入力オブジェクト1301が1回選択されると、コインの入力数として「1」が入力される。また、ユーザAによって「1コイン」と表示された数値入力オブジェクト1301が5回選択されると、コインの入力数として「1」が5回入力され、ユーザAによるコインの入力数は「5」となる。また、ユーザAによって「10コイン」と表示された数値入力オブジェクト1301が2回選択されると、コインの入力数として「10」が2回入力され、ユーザAによるコインの入力数は「20」となる。また、ユーザAによって「100コイン」と表示された数値入力オブジェクト1301が3回選択されると、コインの入力数として「100」が3回入力され、ユーザAによるコインの入力数は「300」となる。
図13(a)に示される例では、ユーザAによるコインの入力数は「220」であり、同じコミュニケーショングループに所属する各ユーザによって入力されたコインの数の合計は、「730」である。なお、誰がコインを入力したかを認識できる情報が入力画面1300に表示されてもよい。誰がコインを入力したかを認識できる情報として、例えば、コインを入力したユーザの名前が表示される。誰がコインを入力したかを認識できる情報として、コインを入力したユーザの名前に替えて、又は、コインを入力したユーザの名前とともに、ユーザを示すアイコン画像が表示されてもよい。さらに、各ユーザによって入力されたコインの数が表示されてもよい。
【0233】
図13(b)は、ユーザB1の端末装置2の表示装置23に表示される入力画面1310の一例を示す図である。入力画面1310は、配信画面1010上に重畳して表示される。入力画面1310には、コインの入力をユーザB1に促す情報、ユーザB1によって入力されたコインの数を示す情報、同じコミュニケーショングループに所属する各ユーザによって入力されたコインの数の合計を示す情報が含まれる。また、入力画面1310には、コインの数を入力するための数値入力オブジェクト1311が含まれる。
【0234】
数値入力オブジェクト1302は、コインの数を入力するためのボタンオブジェクト等のオブジェクト画像である。
図13(a)に示される数値入力オブジェクト1301と同じ機能を有する。
図13(b)に示される例では、ユーザB1によるコインの入力数は「130」であり、同じコミュニケーショングループに所属する各ユーザによって入力されたコインの数の合計は、「730」である。ユーザB1による入力装置24の操作に応じて、数値入力オブジェクト1302が選択されるたびに、入力装置24は、ユーザB1のコインの入力数を送信するための数値送信指示とユーザB1によるコインの入力数を端末処理装置27に入力する。ユーザB1の端末装置2の送信部272は、入力装置24から入力された数値送信指示を示す情報を、コインの入力数と端末記憶装置22に記憶されたユーザB1のユーザIDとともに、端末通信I/F21を介してサーバ装置3に送信する。次に、サーバ装置3のサーバ受信部331は、サーバ通信I/F31を介して、数値送信指示を示す情報とコインの入力数とユーザB1のユーザIDとを受信する。
【0235】
次に、サーバ装置3のサーバ送信部332は、受信した数値送信指示を示す情報とコインの入力数とユーザB1のユーザIDを、サーバ通信I/F31を介して、ユーザA(入力画面の表示指示を行ったユーザ)の端末装置2に送信する。次に、ユーザAの端末装置2の受信部273は、端末通信I/F21を介して、数値送信指示を示す情報とコインの入力数とユーザB1のユーザIDを受信する。そして、ユーザAの端末装置2の表示処理部274は、同じコミュニケーショングループに所属する各ユーザによって入力された現在のコインの数の合計に、受信した入力数を加算することで、コインの数の合計を更新する。そして、ユーザAの端末装置2の表示処理部274は、更新されたコインの数の合計を含む入力画面1300を表示するとともに、送信部272は、更新されたコインの数の合計を示す情報を、サーバ装置3を介して、ユーザB(ユーザB1~ユーザB3)の端末装置2に送信する。これにより、ユーザB(ユーザB1~ユーザB3)の端末装置2に表示された入力画面1300においてもコインの数の合計を更新することが可能となる。なお、コインの数の合計の更新処理は、サーバ装置3によって実行されてもよい。この場合、更新結果(更新されたコインの数の合計を示す情報)が、数値送信指示を示す情報とコインの入力数とユーザB1のユーザIDとともに、ユーザA及びユーザB(ユーザB1~ユーザB3)の端末装置2に送信される。
【0236】
ユーザA(入力画面の表示指示を行ったユーザ)の端末装置2の表示処理部274は、入力画面1300が表示されてから所定期間E1(例えば10秒間)において、更新されたコインの数の合計が所定数F1(例えば「1000」)を超えた場合、特定の追加オブジェクト1400を含む配信画面1010を表示する。また、この場合、当該端末装置2の送信部272は、特定の追加オブジェクト1400を示すオブジェクトIDを、サーバ装置3を介して、配信画像1012の視聴ユーザ(ユーザB(ユーザB1~ユーザB3)を含む)の端末装置2に送信する。これにより、配信画像1012の視聴ユーザの端末装置2に表示された入力画面1300においても特定の追加オブジェクト1400を含む配信画面1010の表示が可能となる。
図14(a)は、ユーザAの端末装置2の表示装置23に表示される特定の追加オブジェクト1400を含む配信画面1010の一例を示す図である。
図14(a)に示される例では、特定の追加オブジェクト1400は、追加指示をしたユーザに関する各種情報とともに表示される追加オブジェクトである。なお、表示処理部274は、更新されたコインの数の合計が所定数F1を超えてから所定期間E2(例えば5秒間)において、更新されたコインの数の合計が所定数F2(例えば「1500」)を超えた場合、サイズを変更した(例えば、大きくする)特定の追加オブジェクト1400を含む配信画面1010を表示してもよい。
【0237】
また、所定の変化条件は、同じコミュニケーショングループに所属するユーザ(例えば、ユーザA、ユーザB1、ユーザB2及びユーザB3)のいずれかによって所定期間内(例えば10秒間)に入力された特定の追加オブジェクトの選択回数の合計に対応する数値が所定値を超えたことでもよい。なお、所定の変化条件は、同じ配信画面を視聴している全ユーザのうちのいずれかユーザによって所定期間内に入力された特定の追加オブジェクトの選択回数が所定回数を超えたことでもよい。なお、選択回数に対応する数値が増加するたびに、追加オブジェクトの形状、サイズ、配置、色、輝度、及び/又はデザインが変化し続けてもよい。例えば、選択回数に対応する数値の増加に伴い追加オブジェクトのサイズが徐々に大きくなるように制御されてもよい。また、選択回数に対応する数値の増加に伴い追加オブジェクトのデザインが徐々に変化(例えば、色彩、輝度が順次変化、又は、動物の成長に伴う外観の変化)してもよい。または、選択回数に対応する数値の増加に伴い追加オブジェクトに他のオブジェクトが付加されていく(外観の豪華さが変化する等)ものでもよい。または、選択回数に対応する数値の増加に伴い追加オブジェクトともに表示された数字が増加又は減少していくものでもよい。また、所定の変化条件は、同じコミュニケーショングループに所属するユーザ(例えば、ユーザA、ユーザB1、ユーザB2及びユーザB3)のうち、所定期間内(例えば10秒間)に特定の追加オブジェクトを入力したユーザの人数が所定数を超えたことでもよい。なお、所定の変化条件は、同じ配信画面を視聴している全ユーザのうち、所定期間内(例えば10秒間)に特定の追加オブジェクトを入力したユーザの人数が所定数を超えたことでもよい。なお、特定の追加オブジェクトを入力したユーザの人数が増加するたびに、追加オブジェクトの形状、サイズ、配置、色、輝度、及び/又はデザインが変化し続けてもよい。例えば、特定の追加オブジェクトを入力したユーザの人数の増加に伴い追加オブジェクトのサイズが徐々に大きくなるように制御されてもよい。また、特定の追加オブジェクトを入力したユーザの人数の増加に伴い追加オブジェクトのデザインが徐々に変化(例えば、色彩、輝度が順次変化、又は、動物の成長に伴う外観の変化)してもよい。または、特定の追加オブジェクトを入力したユーザの人数の増加に伴い追加オブジェクトに他のオブジェクトが付加されていく(外観の豪華さが変化する等)ものでもよい。または、特定の追加オブジェクトを入力したユーザの人数の増加に伴い追加オブジェクトともに表示された数字が増加又は減少していくものでもよい。
【0238】
なお、同じコミュニケーショングループに所属するユーザ(例えば、ユーザA、ユーザB1、ユーザB2及びユーザB3)のいずれかによって所定期間内(例えば10秒間)に入力された特定の追加オブジェクトの選択回数の合計に対応する数値が所定値を超えたという追加条件が満たされた場合、選択画面1100に、当該条件に対応する新たな追加オブジェクトに対応する追加候補オブジェクトを示す画像が追加されてもよい。また、同じコミュニケーショングループに所属するユーザ(例えば、ユーザA、ユーザB1、ユーザB2及びユーザB3)のうち、所定期間内(例えば10秒間)に特定の追加オブジェクトを入力したユーザの人数が所定数を超えたという追加条件が満たされた場合、選択画面1100に、当該条件に対応する新たな追加オブジェクトに対応する追加候補オブジェクトを示す画像が追加されてもよい。このように、情報システム1は、上述の追加条件が満たされなければ、配信ユーザの配信画面に追加されない追加オブジェクトを用意することができ、これにより、コミュニケーションサービスに参加しているユーザに対する、配信イベントへ関与する意欲を向上させることができる。
【0239】
ユーザAによる入力装置24の操作に応じて追加候補オブジェクト(選択画面1100内)が選択されると、ユーザA、視聴ユーザ(ユーザAを除く)及び配信ユーザの各端末装置2並びにサーバ装置3において、追加指示に応じた追加処理が実行される。同様に、ユーザB(ユーザB1~B3)のそれぞれによる入力装置24の操作に応じて追加候補オブジェクトが選択されると、ユーザBのそれぞれの端末装置2、視聴ユーザ(ユーザBを除く)及び配信ユーザの各端末装置並びにサーバ装置3において、追加指示に応じた追加処理が実行される。
【0240】
ここで、コミュニケーショングループに所属するユーザ(例えば、ユーザA及びユーザB1~B3)による入力装置24の操作に応じて選択された追加候補オブジェクトに対応するオブジェクトIDが特定の追加オブジェクトのオブジェクトIDである場合、各ユーザの端末装置2の表示処理部274は、端末記憶装置22に記憶された集計パラメータ値を変更させる。例えば、集計パラメータ値の変更は、ユーザによって選択された追加候補オブジェクトに対応するオブジェクトIDが特定の追加オブジェクトのオブジェクトIDであると判定されるたびに「1」増加する処理である。
【0241】
例えば、ユーザAによる入力装置24の操作に応じて追加候補オブジェクトが選択された場合、選択された追加候補オブジェクトに対応するオブジェクトIDが特定の追加オブジェクトのオブジェクトIDであれば、追加指示に応じた追加処理の前に、ユーザAの端末装置2の表示処理部274は、端末記憶装置22に記憶された集計パラメータ値を変更させる。ユーザAによる追加指示に応じた追加処理において、ユーザBの端末装置2の受信部273は、端末通信I/F21を介して、追加指示を示す情報とユーザAのユーザIDとオブジェクトIDとを受信する。ここで、端末装置2の表示処理部274は、受信されたオブジェクトIDが特定の追加オブジェクトのオブジェクトIDであるので、端末記憶装置22に記憶された集計パラメータ値を変更させる。
【0242】
コミュニケーショングループに所属する各ユーザの端末装置2の表示処理部274は、集計パラメータ値が所定値を超えた場合又は集計パラメータ値が所定値を下回った場合、以降において、特定の追加オブジェクトの表示処理において、変更処理を実行する。例えば、ユーザAによる入力装置24の操作に応じて選択された追加候補オブジェクトに対応するオブジェクトIDが特定の追加オブジェクトのオブジェクトIDである場合、表示処理部274は、オブジェクトテーブルT2を参照して、当該オブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を抽出する。次に、表示処理部274は、抽出した静止画像又は動画像を変更し、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、変更された静止画像又は動画像(変更後の特定の追加オブジェクトの画像)を含めた新たな配信画像1012を生成する。また、ユーザAによる追加指示に応じた追加処理において、視聴ユーザ(ユーザAを除く)及び配信ユーザの各端末装置2の受信部273は、端末通信I/F21を介して、追加指示を示す情報とユーザAのユーザIDとオブジェクトIDとを受信する。次に、受信されたオブジェクトIDは特定の追加オブジェクトのオブジェクトIDである場合、ユーザBの端末装置2の表示処理部274は、オブジェクトテーブルT2を参照して、受信されたオブジェクトIDに関連付けられた追加オブジェクトの静止画像又は動画像(画像情報)を抽出する。次に、表示処理部274は、抽出した静止画像又は動画像を変更し、配信ユーザのキャラクタオブジェクト1011を含む配信画像1012に、変更された静止画像又は動画像(変更後の特定の追加オブジェクトの画像)を含めた新たな配信画像1012を生成する。
【0243】
図14(b)は、端末装置2の表示装置23に表示される変更後の特定の追加オブジェクト1414を含む配信画面1410の他の一例を示す図である。配信画面1410に含まれる追加オブジェクト1411~1413は、変更前の特定の追加オブジェクトであり、変更後の特定の追加オブジェクト1414は、変更前の特定の追加オブジェクト1411~1413よりもサイズが大きい。このように、コミュニケーショングループに所属するユーザによる入力装置24の追加指示の操作に応じて選択された特定の追加オブジェクトの選択回数に関する所定の変化条件が満たされた後、追加指示の操作に応じて特定の追加オブジェクトが選択されると、当該特定の追加オブジェクトは変更されて表示される。なお、以上で例示した、所定の変化条件のうち、少なくとも一つが満たされれば、配信画面に追加される追加オブジェクトは、配信画面において表示中に、形状、サイズ、配置、色、輝度、及び/又はデザインが変化する。
【0244】
(情報システム1の動作シーケンス)
図15は、情報システム1の動作シーケンスの一例を示す図である。この動作シーケンスは、予め端末記憶装置22及びサーバ記憶装置32に記憶されている制御プログラムに基づいて、主に端末処理装置27及びサーバ処理装置33により、端末装置2及びサーバ装置3の各要素と協働して実行される。以下、ユーザAは端末装置2aを操作し、ユーザBは端末装置2bを操作し、配信ユーザCは端末装置2cを操作するものとして説明する。
【0245】
まず、端末装置2aの送信部272は、撮像装置25によって連続的に出力された撮像データに基づいて生成部271によって生成されたユーザAのモーションデータを含むキャラクタ動画データと、マイク26から出力されたユーザAの音声データと、ユーザAのユーザIDとを含む出力情報を、送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する(ステップS101)。なお、送信部272の送信処理において送信先情報が含まれなくてもよい。ステップS101の処理は、配信イベントが終了するまで所定時間間隔ごと(例えば、2秒間隔ごと)に連続して実行されるため、ステップS101~S110に係る処理は、断続的に実行される。
【0246】
次に、サーバ装置3のサーバ送信部332は、端末装置2aから受信した出力情報を、送信先情報を参照し、サーバ通信I/F31を介して、端末装置2bに送信する(ステップS102)。
【0247】
また、端末装置2bの送信部272は、ユーザBのキャラクタ動画データとユーザBの音声データとユーザBのユーザIDとを含む出力情報を、送信先情報とともに端末通信I/F21を介してサーバ装置3に送信する(ステップS103)。次に、サーバ装置3のサーバ送信部332は、端末装置2bから受信した出力情報を、送信先情報を参照し、サーバ通信I/F31を介して、端末装置2aに送信する(ステップS104)。
【0248】
端末装置2aの表示処理部274は、ユーザA及びユーザBのそれぞれの出力情報に基づいてユーザAのキャラクタオブジェクトを含むユーザ出力画像、及びユーザBのキャラクタオブジェクトを含むユーザ出力画像を含むコミュニケーション画面を、端末装置2aの表示装置23に表示出力し、ユーザBの音声を出力する(ステップS105)。
【0249】
ステップS105と同様に、端末装置2bの表示処理部274は、ユーザA及びユーザBのそれぞれの出力情報に基づいてユーザAのキャラクタオブジェクトを含むユーザ出力画像、及びユーザBのキャラクタオブジェクトを含むユーザ出力画像を含むコミュニケーション画面を、端末装置2bの表示装置23に表示出力し、ユーザAの音声を出力する(ステップS106)。
【0250】
端末装置2cの送信部272は、配信ユーザCのキャラクタ動画データと配信ユーザCの音声データを含む出力情報を、視聴ユーザの端末装置2に配信するために、端末通信I/F21を介してサーバ装置3に送信している(ステップS107)。
【0251】
端末装置2aの送信部272は、ユーザAによる入力装置24の操作に応じて入力された、視聴開始指示を示す情報を、配信ユーザCのユーザIDと、ユーザAのユーザIDと、送信先情報(ユーザBのユーザID)とともに端末通信I/F21を介してサーバ装置3に送信する(ステップS108)。次に、サーバ装置3のサーバ送信部332は、受信されたユーザAのユーザIDと送信先情報(ユーザBのユーザID)を参照し、配信ユーザCの端末装置2cから受信(ステップS109)した出力情報を、サーバ通信I/F31を介して、端末装置2aに送信する(ステップS110)とともに、端末装置2bに送信する(ステップS111)。
【0252】
端末装置2aの表示処理部274は、配信ユーザCの出力情報に基づいて配信ユーザCのキャラクタオブジェクトを含む配信画像を含む配信画面を、端末装置2aの表示装置23に表示出力し、配信ユーザCの音声を出力する(ステップS112)。
【0253】
端末装置2bの表示処理部274は、配信ユーザCの出力情報に基づいて配信ユーザCのキャラクタオブジェクトを含む配信画像を含む配信画面を、端末装置2bの表示装置23に表示出力し、配信ユーザCの音声を出力する(ステップS113)。
【0254】
以上、詳述したとおり、本実施形態の情報システム1では、コミュニケーションサービスに参加中のユーザAによる指示又はユーザBによる指示に応じて、ユーザAの端末装置2は、配信ユーザの端末装置2から送信された出力情報をサーバ装置3経由で受信する。これにより、ユーザAの端末装置2は、配信ユーザの配信画像を視聴することができる。このように、本実施形態の情報システム1によって、コミュニケーションサービス中に、端末装置2からの出力がユーザA又は少なくとも1人のユーザBによって変更されるようにすることで、コミュニケーションに対するユーザの継続使用の意欲を向上させることが可能となる。また、コミュニケーションサービスに参加中の一のユーザの視聴開始指示により、当該コミュニケーションサービスに参加している複数のユーザ(一のユーザ及び他のユーザ)が、同時に同一の配信画像を視聴することができ、配信画像の視聴の活発化が可能となる。また、ユーザ1人では配信ユーザのキャラクタオブジェクトに贈ることができないギフト等の追加オブジェクトを、ユーザは他ユーザと一緒に贈ることができ、コミュニケーションサービスに参加中のユーザ間の一体感を醸成することができ、すなわちコミュニケーションサービス中の配信画像の視聴に対する意欲を向上させることが可能となる。さらに、ユーザは、コミュニケーションサービスを継続したまま、配信画像等のコンテンツの共同視聴をシームレスに開始できるため、ユーザ間で同一コンテンツを見ながらアバタを介したコミュニケーションを継続することが可能となる。
【0255】
(変形例1)
なお、本発明は、本実施形態に限定されるものではない。例えば、情報システム1は、他ユーザとのコミュニケーション中のユーザに対して配信イベントの開始を可能とする機能を有してもよい。例えば、
図8(b)に示されるコミュニケーション画面810において、視聴開始ボタン813とともに、配信開始ボタンが含まれてもよい。配信開始ボタンは、ユーザによる配信画像の配信の開始を指示するための配信開始指示を入力するためのボタンオブジェクト等のオブジェクト画像である。
【0256】
例えば、ユーザAによる入力装置24の操作によって配信開始ボタンが選択された場合、入力装置24は、配信開始指示を端末処理装置27に入力する。ユーザA(配信開始指示を入力したユーザ)の端末装置2の送信部272は、ユーザAによる配信開始指示に応じて、ユーザによる配信イベントの開始を指示するための配信開始指示に関する情報を、端末記憶装置22に記憶されたユーザAのユーザIDとともに端末通信I/F21を介してサーバ装置3に送信する。
【0257】
次に、サーバ装置3のサーバ受信部331は、ユーザの端末装置2から送信された配信開始指示に関する情報とユーザIDとを、サーバ通信I/F31を介して受信する。サーバ受信部331は、受信したユーザIDを、配信中の配信ユーザを示す配信ユーザIDとして、サーバ記憶装置32に記憶する。これにより、ユーザAは配信ユーザとしてサーバ装置3に登録される。以降において、サーバ受信部331は、ユーザAの端末装置2からユーザAのユーザIDとともに送信されたユーザAの出力情報を、配信ユーザの出力情報としてサーバ通信I/F31を介して受信する。
【0258】
なお、所定のタイミング(例えば、配信開始指示の受信の直後、配信開始指示から所定時間経過後。)において、サーバ受信部331は、配信ユーザであるユーザAのユーザIDに関連付けられたキャラクタオブジェクトのモデルIDと、使用オブジェクトのオブジェクトIDとをユーザテーブルT1から抽出する。次に、サーバ受信部331は、抽出したモデルIDに関連付けられたモデルデータと抽出した使用オブジェクトのオブジェクトIDに関連付けられた画像情報及び配置箇所とに基づいて、ユーザAのユーザのキャラクタオブジェクトのサムネイル画像を生成する。サーバ受信部331は、生成したサムネイル画像を、配信ユーザであるユーザAの選択画像としてユーザA(配信ユーザ)のユーザIDと関連付けてサーバ記憶装置32に記憶する。選択画像として記憶されるサムネイル画像は、事前に作成された配信ユーザのキャラクタオブジェクトを示す画像であればどのような画像でもよい。例えば、配信ユーザのキャラクタオブジェクトのプロフィール画像が、サムネイル画像として記憶されてもよい。
【0259】
ユーザAの端末装置2の表示処理部274は、自身の配信画像を含む配信画面を表示する。すなわち、ユーザAの端末装置2の表示処理部274は、生成部271によって生成されたユーザAのモーションデータ(キャラクタ動画データ)に基づいて描画された画像を配信画像として表示装置23に表示する。なお、配信ユーザであるユーザAの端末装置2に表示される配信画面には、配信画面1010と異なり、評価ボタン1013、追加ボタン1014及びコメントボタン1015は含まれない。また、ユーザAの端末装置2に表示される配信画面において、ユーザ出力画像812a、812b1、812b2及び812b3は、ユーザB1~B3のいずれかによって視聴開始指示がなされた場合に表示される。
【0260】
また、配信ユーザであるユーザAの端末装置2に表示される配信画面には、配信画面1010の視聴終了ボタン1017と同様に、配信終了ボタンが表示される。配信終了ボタンは、配信画面の表示を終了して、配信画像の配信を終了するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって配信終了ボタンが選択されると、表示処理部274は、配信画面の表示を終了し、コミュニケーション画面810(
図8(b))を再表示する。次に、端末装置2の送信部272は、配信終了指示に関する情報を、端末記憶装置22に記憶されたユーザIDとともに、端末通信I/F21を介してサーバ装置3に送信する。
【0261】
サーバ装置3のサーバ受信部331は、ユーザAの端末装置2から送信された配信終了指示に関する情報とユーザAのユーザID(配信ユーザID)とを、サーバ通信I/F31を介して受信する。そして、サーバ受信部331は、サーバ記憶装置32に記憶された配信ユーザIDの中から、受信したユーザAのユーザIDと、ユーザAのユーザIDに関連付けられた視聴ユーザIDとを削除する。これにより、配信終了ボタンを選択したユーザAの配信画像の配信が終了する。
【0262】
このように、情報システム1によって、コミュニケーションサービス中に、簡易なインターフェースによって、ユーザの端末装置からの出力がユーザ又は他ユーザによって変更されるようにすることで、コミュニケーションに対するユーザの継続使用の意欲を向上させることが可能となる。
【0263】
また、従来の情報システムでは、ユーザが他ユーザとのコミュニケーションを行っている途中で、他のサービスを開始させるためには、ユーザはコミュニケーションサービスを中断又は終了する必要があった。その後、ユーザ及び他ユーザは、他のサービスの開始の指示をサーバ装置等に行うことで、他のサービスの提供を受けることができた。このように、従来の情報システムでは、ユーザ及び他ユーザがサービスの提供を受けている途中で他のサービスの提供を受けるためには、サービスの中断又は終了、及び、他サービスの開始に関する複数の通信が発生することになり、端末装置の処理負荷及び/又は端末装置とサーバ装置と間の通信の負荷が増大するという問題が生じることがあった。これに対し、情報システム1では、コミュニケーションサービスを受けているユーザは、配信開始ボタンを選択するだけの簡易な操作によって、自身のキャラクタオブジェクトの配信画像の配信を開始することができる。また、情報システム1において、配信画像の配信中のユーザは、配信終了指示を行うだけで、配信を終了するとともにコミュニケーションサービスに容易に戻ることができる。このように、従来の情報システムよりも少ない通信を発生させるだけで、ユーザ及び他ユーザは各種のサービスの提供を受けることができ、端末装置の処理負荷及び/又は端末装置とサーバ装置と間の通信負荷を低減させることが可能となる。
【0264】
(変形例2)
また、情報システム1は、ユーザとのコミュニケーション中の他ユーザが配信イベントを開始した場合、その配信イベントの視聴を可能とする機能を有してもよい。
図16(a)は、ユーザAの端末装置2の表示装置23に表示されるコミュニケーション画面1600の他の一例を示す図である。
【0265】
コミュニケーション画面1600には、コミュニケーション画面810と同様に、ユーザAのユーザ出力画像812a、ユーザB1のユーザ出力画像812b1、ユーザB2のユーザ出力画像812b2、及びユーザB3のユーザ出力画像812b3、視聴開始ボタン813が含まれる。コミュニケーション画面1600には、コミュニケーション画面810と異なり、配信イベントを開始しているユーザを示す配信中マーク1601が表示される。
【0266】
図16(a)に示される例では、ユーザB3のユーザ出力画像812b3の表示領域内に配信中マーク1601が含まれているため、ユーザB3が配信イベントを開始していることが視認できる。なお、ユーザB3のユーザ出力画像812b3は、ユーザB3が配信イベントで配信している配信画像と同一であるが、ユーザB3のユーザ出力画像812b3の表示領域内に、ユーザ出力画像812b3に代えてユーザB3のキャラクタオブジェクトのサムネイル画像が表示されてもよい。また、ユーザB3のユーザ出力画像812b3の表示領域内に、ユーザ出力画像812b3に代えて、配信中であることを示す文字情報等が表示されてもよい。また、コミュニケーション画面1600が表示されている時に、ユーザB3の音声データが出力されなくてもよい。
図16(a)に示されるコミュニケーション画面1600において、ユーザAによる入力装置24の操作によって視聴開始ボタン813が選択されると、選択画面1610が表示される。
【0267】
図16(b)は、ユーザAの端末装置2の表示装置23に表示される選択画面1610の一例を示す図である。選択画面1610は、コミュニケーション画面1600上に、現在配信中の配信画像に関する選択画像1611、1612、1613、及び1614が表示される。選択画像1611、1612、1613、及び1614のそれぞれは、選択画面900に含まれる選択画像901、902、903、及び904と同様に、視聴する配信画像を選択するための画像である。
【0268】
選択画像1611は、ユーザAとコミュニケーションを行っていたユーザB3の配信画像を選択するための選択画像である。ユーザAによる入力装置24の操作によって選択画像1611が選択されると、入力装置24は、ユーザB3の配信画像の視聴開始指示を端末処理装置27に入力する。以降は、選択画面900及び確認画面910と同様の視聴開始の各種処理が実行され、配信画面1700が表示される。
【0269】
図17(a)は、ユーザAの端末装置2の表示装置23に表示される配信画面1700の一例を示す図である。配信画面1700には、配信画面1010に含まれるキャラクタオブジェクトが異なる以外は同様の各種オブジェクトが表示される。なお、配信画面1700において、ユーザB3のキャラクタオブジェクト1701が含まれるため、ユーザB3のユーザ出力画像812b3が含まれなくてもよい。
【0270】
ユーザAによる入力装置24の操作によって視聴終了ボタン1017が選択されると、表示処理部274は、配信画面1700の表示を終了し、コミュニケーション画面1600(
図16(a))を再表示する。
【0271】
(変形例3)
また、情報システム1は、他ユーザとのコミュニケーション中のユーザに対して、コミュニケーション中の全員又は一部のユーザによる配信イベントの開始を可能とする機能を有してもよい。
図17(b)は、ユーザAの端末装置2の表示装置23に表示されるコミュニケーション画面1710の他の一例を示す図である。
【0272】
コミュニケーション画面1710には、コミュニケーション画面810と同様に、ユーザAのキャラクタオブジェクト811aを含むユーザ出力画像812a、ユーザB1のキャラクタオブジェクト811b1を含むユーザ出力画像812b1、ユーザB2のキャラクタオブジェクト811b2を含むユーザ出力画像812b2、ユーザB3のキャラクタオブジェクト811b3を含むユーザ出力画像812b3、及び視聴開始ボタン813が含まれる。コミュニケーション画面1710には、コミュニケーション画面810と異なり、更に配信開始ボタン1711が含まれる。
【0273】
配信開始ボタン1711は、ユーザA及びユーザAとコミュニケーションを行っている全てのユーザ(ユーザB1~B3)のそれぞれのキャラクタオブジェクトを含む配信画像の配信の開始を指示するためのボタンオブジェクト等のオブジェクト画像である。
【0274】
例えば、ユーザAによる入力装置24の操作によって配信開始ボタン1711が選択された場合、入力装置24は、配信開始指示を端末処理装置27に入力する。ユーザA(配信開始指示を入力したユーザ)の端末装置2の送信部272は、ユーザAによる配信開始指示に応じて、ユーザによる配信イベントの開始を指示するための配信開始指示に関する情報を、端末記憶装置22に記憶されたユーザAのユーザIDと、ユーザB1~B3のそれぞれのユーザIDとともに端末通信I/F21を介してサーバ装置3に送信する。
【0275】
次に、サーバ装置3のサーバ受信部331は、ユーザの端末装置2から送信された配信開始指示に関する情報とユーザAのユーザID及びユーザB1~B3のそれぞれのユーザIDとを、サーバ通信I/F31を介して受信する。サーバ受信部331は、受信した4人のユーザのユーザIDを、配信中の配信ユーザを示す配信ユーザIDとして、サーバ記憶装置32に記憶する。これにより、ユーザA及びユーザB1~B3は共通の配信画像の配信ユーザとしてサーバ装置3に登録される。以降において、サーバ受信部331は、ユーザAの端末装置2からユーザAのユーザIDとともに送信されたユーザA及びユーザB1~B3の出力情報を、配信ユーザの出力情報としてサーバ通信I/F31を介して受信する。
【0276】
なお、所定のタイミング(例えば、配信開始指示の受信の直後、配信開始指示から所定時間経過後。)において、サーバ受信部331は、配信ユーザであるユーザA及びユーザB1~B3のそれぞれのユーザIDに関連付けられた各キャラクタオブジェクトのモデルIDと、使用オブジェクトのオブジェクトIDとをユーザテーブルT1から抽出する。次に、サーバ受信部331は、抽出した各モデルIDに関連付けられた各モデルデータと抽出した使用オブジェクトのオブジェクトIDに関連付けられた画像情報及び配置箇所とに基づいて、ユーザA及びユーザB1~B3のそれぞれのキャラクタオブジェクトのサムネイル画像を生成する。サーバ受信部331は、生成したサムネイル画像を、配信ユーザのうちの一人であるユーザAの選択画像としてユーザA(配信ユーザ)のユーザIDと関連付けてサーバ記憶装置32に記憶する。選択画像として記憶されるサムネイル画像は、事前に作成された配信ユーザのキャラクタオブジェクトを示す画像であればどのような画像でもよい。例えば、配信ユーザのキャラクタオブジェクトのプロフィール画像が、サムネイル画像として記憶されてもよい。
【0277】
サーバ装置3のサーバ送信部332は、ユーザA及びユーザB1~B3のそれぞれの出力画像を、視聴ユーザの端末装置2に送信する。視聴ユーザの端末装置2の表示処理部274は、4人のユーザに共通の配信画像を含む配信画面を表示する。すなわち、視聴ユーザの端末装置2の表示処理部274は、受信したユーザA及びユーザB1~B3のそれぞれのモーションデータ(キャラクタ動画データ)に基づいて描画された画像を配信画像として表示装置23に表示する。
【0278】
図18(a)は、視聴ユーザの端末装置2の表示装置23に表示される配信画面1800の一例を示す図である。配信画面1800には、配信画面1010と同様に、評価ボタン1013、追加ボタン1014及びコメントボタン1015が含まれる。また、配信画面1800には、配信画面1010とは異なり、ユーザA及びユーザB1~B3のそれぞれのキャラクタオブジェクト811a、811b1、811b2、811b3を含む配信画像1801が表示される。
【0279】
ユーザA及びユーザB1~B3のそれぞれの端末装置2の表示処理部274は、4人のユーザに共通の配信画像1801を含む配信画面を表示する。なお、配信ユーザであるユーザA及びユーザB1~B3のそれぞれの端末装置2に表示される配信画面には、配信画面1800と異なり、評価ボタン1013、追加ボタン1014及びコメントボタン1015は含まれない。
【0280】
また、配信ユーザであるユーザAの端末装置2に表示される配信画面には、配信画面1010の視聴終了ボタン1017と同様に、配信終了ボタンが表示される。配信終了ボタンは、配信画面の表示を終了して、配信画像の配信を終了するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって配信終了ボタンが選択されると、表示処理部274は、終了確認画面1810を表示する。
【0281】
図18(b)は、配信ユーザの端末装置2の表示装置23に表示される終了確認画面1810の一例を示す図である。終了確認画面1810は、配信画面1800上に重畳して表示される。終了確認画面1810には、コミュニケーションサービスへの移行を行うか否かを選択するための選択肢オブジェクト1811と、配信終了ボタン1812と、配信継続ボタン1813とが含まれる。
【0282】
選択肢オブジェクト1811に対するユーザAによる選択に応じて、選択肢オブジェクト1811の選択状態を示す表示と、選択肢オブジェクト1811の非選択状態を示す表示とが切り替わる。非選択状態の選択肢オブジェクト1811をユーザAが選択すると、当該選択肢オブジェクト1811は選択状態に替わり、選択状態の選択肢オブジェクト1811をユーザAが選択すると、当該選択肢オブジェクト1811は非選択状態に替わる。
【0283】
配信終了ボタン1812は、配信画面1800の表示を終了して、配信画像1801の配信を終了するためのボタンオブジェクト等のオブジェクト画像である。ユーザAによる入力装置24の操作によって配信終了ボタンが選択されると、表示処理部274は、配信画面1800の表示を終了する。表示処理部274は、選択肢オブジェクト1811が選択状態である場合、コミュニケーション画面1710(
図17(b))を再表示する。他の配信ユーザであるユーザB1~B3のそれぞれの端末装置2において、コミュニケーション画面1710の再表示前に、コミュニケーションサービスへの参加の可否に関する画面が表示されてもよい。この場合、コミュニケーションサービスへの参加を拒否した端末装置2では、コミュニケーション画面1710は再表示されない。なお、ユーザAによる入力装置24の操作によって配信終了ボタンが選択された時に選択肢オブジェクト1811が非選択状態である場合、コミュニケーション画面1710(
図17(b))を再表示せずに、配信画面1800の表示を終了する。次に、端末装置2の送信部272は、配信終了指示に関する情報を、端末記憶装置22に記憶されたユーザIDとともに、端末通信I/F21を介してサーバ装置3に送信する。なお、選択肢オブジェクト1811に対するユーザAによる選択に関する情報が、他の配信ユーザであるユーザB1~B3のそれぞれの端末装置2に、サーバ装置3経由で送信されると、ユーザB1~B3のそれぞれの端末装置2において、コミュニケーションサービスへの移行を行うか否かのメッセージが表示されてもよい。そして、コミュニケーションサービスへの移行を行う旨の指示を入力した端末装置2において、コミュニケーション画面1710が再表示される。
【0284】
サーバ装置3のサーバ受信部331は、ユーザAの端末装置2から送信された配信終了指示に関する情報とユーザA及びユーザB1~B3のユーザID(配信ユーザID)とを、サーバ通信I/F31を介して受信する。そして、サーバ受信部331は、サーバ記憶装置32に記憶された配信ユーザIDの中から、受信したユーザA及びユーザB1~B3のユーザIDと、ユーザA及びユーザB1~B3のユーザIDに関連付けられた視聴ユーザIDとを削除する。これにより、配信終了ボタンを選択したユーザAの配信画像の配信が終了する。
【0285】
ユーザAによる入力装置24の操作によって配信終了ボタンが選択されると、表示処理部274は、終了確認画面1810の表示を終了し、配信画面1800の表示が終了する。
【0286】
このように、情報システム1によって、コミュニケーションサービス中に、簡易なインターフェースによって、ユーザの端末装置からの出力がユーザ又は他ユーザによって変更されるようにすることで、コミュニケーションに対するユーザの継続使用の意欲を向上させることが可能となる。なお、コミュニケーションサービスに参加していない複数のユーザのいずれかの端末装置2への操作に応じて、当該複数のユーザが配信ユーザとなり、当該複数のユーザに共通の配信画像(複数のユーザのそれぞれのキャラクタオブジェクトを含む配信画像)を含む配信画面が表示できるように構成されてもよい。この場合、複数のユーザに共通の配信画像を含む配信画面内に、コミュニケーションサービスの開始を指示するボタンが表示され、複数のユーザのいずれかによって当該ボタンが操作されると、当該複数のユーザが所属するコミュニケーショングループが構成されて、当該コミュニケーショングループに係るコミュニケーションサービスが開始されてもよい。
【0287】
(変形例4)
同じ配信ユーザによる配信画像を、複数のコミュニケーショングループのそれぞれに所属するユーザが視聴する場合、当該配信画像の配信の終了時に、コミュニケーショングループごとのランキングが表示されてもよい。例えば、コミュニケーショングループに属するユーザによって追加オブジェクトの追加指示がサーバ装置3に送信されるたびに、サーバ装置3において、追加指示を行ったユーザが所属するコミュニケーショングループに対応するグループポイントを増加させる。サーバ装置3は、配信画像の配信の終了時に、当該配信画像を視聴していたコミュニケーショングループごとのグループポイントに応じたランキング情報を作成し、視聴ユーザの端末装置2にランキング情報を送信する。これにより、視聴ユーザは、自身が視聴していた配信画像について、コミュニケーショングループのランキングを見ることができる。また、サーバ装置3は、端末装置2からの表示要求に応じて、ランキング情報を端末装置2に送信してもよい。なお、特定の配信ユーザの配信画像の配信中の特定期間内において発生した、コミュニケーショングループのグループポイントの合計が所定値以上である場合、当該コミュニケーショングループに所属する各ユーザに、特定の配信ユーザに関するアイテムが付与されてもよい。
【0288】
(変形例5)
コミュニケーションサービスに参加していない視聴ユーザと、同じ配信ユーザによる配信画像を視聴していた他の視聴ユーザとのコミュニケーショングループが、配信画像の配信終了後に作成できる機能が、情報システム1により提供されてもよい。例えば、サーバ装置3のサーバ送信部332は、配信が終了した配信画像の視聴ユーザの端末装置2に、グループ作成を行うか否かを問い合わせる画面の表示データを送信する。サーバ装置3のサーバ受信部331は、端末装置2からグループ作成を行う指示を受信すると、サーバ送信部332は、当該端末装置2にグループ作成画面600(
図6(a))を表示するための表示データを送信する。表示データを受信した端末装置2の表示処理部274は、グループ作成画面600を表示する。グループ作成画面600内の他ユーザ表示領域601には、端末装置2のユーザを除く視聴ユーザを示す他ユーザ情報が表示される。このように、視聴ユーザを示す他ユーザ情報が表示されるグループ作成画面600がサーバ装置3から提供されることにより、端末装置2のユーザはグループ作成画面600に対する操作により、コミュニケーショングループを作成し、コミュニケーションサービスを開始することが可能となる。なお、視聴ユーザを示す他ユーザ情報が表示されるグループ作成画面600の提供は、配信画像の配信中に実行されてもよい。
【0289】
(変形例6)
また、特定の配信ユーザによる配信画像の配信が開始された場合に、
図8(b)に示されるコミュニケーション画面810において、通知オブジェクトが表示されてもよい。通知オブジェクトは、ポップアップされるオブジェクト、又は、視聴開始ボタン813に重畳される所謂「バッヂ」等である。特定の配信ユーザは、コミュニケーション画面810においてコミュニケーションを行っているユーザが所属するグループ(グループテーブルT3に示されるグループ)に所属するユーザであって、コミュニケーション画面810においてコミュニケーションを行っていないユーザである。ユーザによる通知オブジェクトの選択に応じ、選択画面900又は1000が表示される。なお、選択画面900又は1000には、特定の配信ユーザの選択画像が含まれる。これにより、ユーザは、特定の配信ユーザの配信画像を視聴することが可能となる。または、ユーザによる通知オブジェクトの選択に応じ、特定の配信ユーザの配信画像1012に係る配信画面1010が表示されてもよい。また、特定の配信ユーザの端末装置2において、配信画像の配信前、又は、配信開始時に、特定の配信ユーザによってコミュニケーショングループが選択された場合、当該配信画像の配信が開始されると、選択されたコミュニケーショングループに係るコミュニケーション画面810に、上述の通知オブジェクトが自動的に表示されてもよい。端末装置2において上述の視聴開始方法が実現されることにより、ユーザは視聴したい配信を効率的に選択することができ、すなわち、ユーザの操作数を減らすことができ、且つ、ユーザビリティを向上させることが可能となる。これにより、端末装置2における処理負荷を低減させることが可能となる。
【0290】
(変形例7)
キャラクタオブジェクトが、3次元のアニメーションを生成するための3次元モデルデータに基づいて生成される場合、各ユーザのユーザ出力画像は、ユーザごとに定められた仮想空間内に配置された立体オブジェクト(3次元オブジェクト)であるキャラクタオブジェクトを、当該仮想空間内の所定の視点から見た画像であってもよい。例えば、表示処理部274は、所定の視点の視線方向に2次元スクリーンを配置し、仮想空間内に配置された各種の立体オブジェクトの3次元座標を当該2次元スクリーンに投影し、各種のオブジェクトが投影された2次元スクリーン面の画像をユーザ出力画像として表示する。なお、所定の視点の視線方向は、キャラクタオブジェクトに向く方向であり、2次元スクリーンは、所定の視点の移動及び視線方向の回転に応じて移動及び回転するものである。
【0291】
また、表示処理部274は、コミュニケーション画面に対する所定の操作に応じて、所定の視点の移動及び/又は所定の視点の視線方向の回転を制御してもよい。また、表示処理部274は、コミュニケーション画面中に、所定の視点を自動的に移動させるための自動移動ボタンを、コミュニケーション画面に含めてもよい。この場合、例えば、ユーザAによる入力装置24の操作によって自動移動ボタンが選択されると、表示処理部274は、予め定められた移動ルールに応じて所定の視点を自動的に移動させてもよい。
【0292】
(変形例8)
キャラクタオブジェクトが、3次元のアニメーションを生成するための3次元モデルデータに基づいて生成される場合、各ユーザのユーザ出力画像は、各ユーザに共通の仮想空間内に配置された立体オブジェクト(3次元オブジェクト)であるキャラクタオブジェクトの所定位置(例えば、キャラクタオブジェクトの目の位置)に配置されたユーザ視点から仮想空間内を見た画像である。なお、ユーザ視点は、ユーザによる操作に応じて及び/又は自動で、キャラクタオブジェクトの所定位置から移動して、キャラクタオブジェクトの後方、上方、又は前方等に位置してもよい。
【0293】
各ユーザに共通の仮想空間におけるコミュニケーションサービスの利用方法の一例について説明する。例えば、
図18に示すように、表示処理部274は、仮想空間内において、ユーザAのキャラクタオブジェクトCのユーザ視点からの視野範囲内に、仮想のタブレットPC等の装置オブジェクトSを登場させる。この装置オブジェクトSの表示装置部分に、
図6~15及び17において説明した各種画面が表示される。この場合、装置オブジェクトSの表示装置部分に表示されるユーザAのユーザ出力画像は、装置オブジェクトSの所定位置に設けられた仮想カメラから仮想空間内を見た2次元画像である。ユーザAの音声データは、端末装置2のマイク26によって取得された音声データである。
【0294】
端末装置2の送信部272は、ユーザAのユーザ出力画像と、ユーザAの音声データと、ユーザAのユーザIDとを、サーバ装置3を経由して全てのユーザBの端末装置2に送信する。なお、送信部272は、ユーザAのユーザ出力画像に替えて、仮想空間内における仮想カメラの位置及び視線方向、仮想空間内におけるユーザAのキャラクタオブジェクトの位置及びボディの向き、並びに、ユーザAのモーションデータを送信してもよい。また、ユーザAの端末装置2は、各ユーザBの端末装置2から、サーバ装置3を介して、各ユーザBのユーザ出力画像と、各ユーザBの音声データと、各ユーザBのユーザIDとを受信する。そして、ユーザAの端末装置2の表示処理部274は、各ユーザBのユーザ出力画像を装置オブジェクトSの表示装置部分に表示し、各ユーザBの音声データを端末装置2から音声出力する。これにより、仮想の装置オブジェクトSを用いたコミュニケーションサービスを実現することが可能となる。
【0295】
(変形例9)
端末装置2の端末処理装置27により実現される機能の少なくとも一部は、端末装置2の端末処理装置27以外のプロセッサにより実現されてもよい。端末処理装置27により実現される機能の少なくとも一部は、例えば、サーバ装置3のサーバ処理装置33により実現されてもよい。具体的には、生成部271と表示処理部274の機能の一部は、サーバ装置3において実行されてもよい。例えば、端末装置2は、連続的に取得した撮像データと音声データを、端末装置2を操作するユーザのユーザIDとともにサーバ装置3に送信する。そして、サーバ装置3は、生成部271及び表示処理部274の機能を用いて、キャラクタ動画データを生成し、全てのユーザのユーザ出力画像を含むコミュニケーション画面を表示装置23に表示するための表示情報を生成する。そして、サーバ装置3は、表示情報を、音声情報(音声データ)とともに全てのユーザの各端末装置2に送信する。各端末装置2は、サーバ装置3から受信した各情報を出力する(所謂「サーバレンダリング」)。
【0296】
(変形例10)
端末装置2は、端末装置2に記憶された制御プログラムに含まれる各種命令を実行することにより、コミュニケーション画面等を表示する機能を有するが、端末装置2は、コミュニケーションサービスを実現するために、ウェブアプリケーションに組み込まれたブラウザ機能を呼び出し、このブラウザ機能を用いて、サーバ装置からウェブページ(HTML(Hyper Text Markup Language)等のマークアップ言語によって記述されたドキュメント)を受信し、このウェブページに組み込まれた制御プログラムを実行してもよい(所謂「ブラウザレンダリング」)。例えば、マークアップ言語として、HTML 5が用いられることにより、端末装置2は、新規な情報処理を容易に実行することができる。端末装置においてコミュニケーションサービスを実現させるためにこのようなウェブアプリケーションを採用することにより、プログラムの製作者は、サーバ装置により送信されるウェブページに新しいプログラムを組み込むだけで新しい情報処理をクライアントサイド(端末装置側)に提供することができ、新しいプログラムの製作工数を大幅に抑えることが可能となる。また、クライアントサイドでは、新しい制御プログラムをダウンロードせずにウェブページを受信するだけで、新しいサービスの提供を受けることができ、制御プログラムのダウンロードに比べ、通信ネットワークの負荷、通信コスト及び/又は通信時間の低減が可能となり且つユーザのインターフェースの簡素化を実現することが可能となる。
【0297】
(変形例11)
ユーザAの端末装置2の生成部271は、撮像データを用いずにフェイスモーションデータを含む出力情報を生成してもよい。例えば、端末装置2の端末記憶装置22には、音声データに対応するフェイスモーションデータを記憶しており、生成部271は、取得したユーザAの音声データに対応するフェイスモーションデータを端末記憶装置22から抽出して、抽出したフェイスモーションデータと、音声データ及びユーザAのユーザIDとを含む出力情報を生成してもよい。また、ユーザAの端末装置2の生成部271は、フェイスモーションデータを含めずに、マイク26から出力されたユーザAの音声データと端末記憶装置22に記憶されたユーザIDとを含む出力情報を生成してもよい。この場合、ユーザBの端末装置2の表示処理部274は、サーバ装置3経由で受信したユーザAの出力情報に含まれるユーザAの音声データに対応するフェイスモーションデータを抽出して、ユーザAのキャラクタオブジェクトのアニメーションを生成してもよい。なお、ユーザの音声データに対応するフェイスモーションデータの生成処理は、公知のリップシンクアルゴリズムを用いた処理であってもよい。
【0298】
このように、HMDを表示装置23として用いるユーザAの端末装置2において、ユーザAの撮像データを取得することなしに、キャラクタオブジェクトを介したコミュニケーションをユーザBと行うことが可能となる。
【符号の説明】
【0299】
1 情報システム
2(2a、2b1、2b2) 端末装置
21 端末通信I/F
22 端末記憶装置
23 表示装置
24 入力装置
25 撮像装置
26 マイク
27 端末処理装置
271 生成部
272 送信部
273 受信部
274 表示処理部
275 音声出力部
3 サーバ装置
31 サーバ通信I/F
32 サーバ記憶装置
33 サーバ処理装置
331 サーバ受信部
332 サーバ送信部
4 基地局
5 移動体通信網
6 ゲートウェイ
7 インターネット