知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-09
(45)【発行日】2023-08-18
(54)【発明の名称】コンピュータプログラム、サーバ装置、端末装置、及び方法
(51)【国際特許分類】
G06T 13/40 20110101AFI20230810BHJP
A63F 13/211 20140101ALI20230810BHJP
A63F 13/212 20140101ALI20230810BHJP
A63F 13/213 20140101ALI20230810BHJP
A63F 13/215 20140101ALI20230810BHJP
A63F 13/428 20140101ALI20230810BHJP
A63F 13/65 20140101ALI20230810BHJP
G06F 3/01 20060101ALI20230810BHJP
G06F 3/04815 20220101ALI20230810BHJP
G06F 3/04842 20220101ALI20230810BHJP
【ＦＩ】
G06T13/40
A63F13/211
A63F13/212
A63F13/213
A63F13/215
A63F13/428
A63F13/65
G06F3/01 510
G06F3/01 570
G06F3/04815
G06F3/04842
【請求項の数】
27
(21)【出願番号】P 2020078079
(22)【出願日】2020-04-27
(65)【公開番号】P2021174283
(43)【公開日】2021-11-01
【審査請求日】2021-12-14
(73)【特許権者】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】100146318
【弁理士】
【氏名又は名称】岩瀬 吉和
(74)【代理人】
【識別番号】230126125
【弁護士】
【氏名又は名称】後藤 未来
(74)【代理人】
【識別番号】100143823
【弁理士】
【氏名又は名称】市川 英彦
(74)【代理人】
【識別番号】100160255
【弁理士】
【氏名又は名称】市川 祐輔
(74)【代理人】
【識別番号】100202267
【弁理士】
【氏名又は名称】森山 正浩
(74)【代理人】
【識別番号】100182132
【弁理士】
【氏名又は名称】河野 隆
(72)【発明者】
【氏名】渡邊 匡志
【審査官】粕谷 満成
(56)【参考文献】
【文献】特開２０２０－０１７２４４（ＪＰ，Ａ）
【文献】中国特許出願公開第１０８９８６１９２（ＣＮ，Ａ）
【文献】韓国公開特許第１０－２００４－００１４１２３（ＫＲ，Ａ）
【文献】特開２０２１－０６４２５３（ＪＰ，Ａ）
【文献】徳岡 正肇，［CEDEC 2019］「ギフトが当たると勝手に動くVTuberアバター」セッションレポート。2人のVTuberが握手し・肩をつかみ・抱き寄せる。物理エンジンを利用した演技サポートシステムを体験，4gamer，2019年09月04日，第１頁－第１０頁，<URL:https://www.4gamer.net/games/999/G999905/20190904033/>，[検索日：2022年12月28日]
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １３／４０
Ａ６３Ｆ １３／２１１
Ａ６３Ｆ １３／２１２
Ａ６３Ｆ １３／２１３
Ａ６３Ｆ １３／２１５
Ａ６３Ｆ １３／４２８
Ａ６３Ｆ １３／６５
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８１５
Ｇ０６Ｆ ３／０４８４２
(57)【特許請求の範囲】
【請求項1】
コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、
仮想空間内において、配信者が演じるアバターの所定の動作に係る情報を取得し、
前記取得した情報が所定の条件を充足するか否かを判定し、
前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
前記所定の表情又はポーズが適用された、前記アバターを表示し、
前記アバターの所定の動作は、
前記アバターの視線方向に所定の対象が入る動作、
匂い又は臭いに対する所定のジェスチャー、又は、
音を聞く又は聴くことについての所定のジェスチャー、
の少なくとも一つを含む、
ように前記一又は複数のプロセッサを機能させるコンピュータプログラム。
【請求項2】
前記所定の対象が他のアバター又はキャラクタである場合、前記アバターの所定の動作は、前記アバターの視線と前記所定の対象に係る視線とが合うことを含む、
請求項１に記載のコンピュータプログラム。
【請求項3】
前記所定の動作が、前記所定の対象を見る動作を含む場合、前記所定の条件は、前記所定の対象が前記アバターの視線方向となるように前記アバターの視線を移動させること、又は、前記アバターの視線上において前記所定の対象が存在すること、を含む、
請求項１に記載のコンピュータプログラム。
【請求項4】
前記所定の動作が、所定の対象に接触する動作を含み、前記所定の条件は、前記アバターに係る位置と、前記所定の対象に係る位置と、の距離が所定の距離内であること、を含む、
請求項１に記載のコンピュータプログラム。
【請求項5】
前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダーの位置、のいずれかである、請求項４に記載のコンピュータプログラム。
【請求項6】
前記所定の条件は、前記アバターの前記所定のジェスチャーの検知を用いる、請求項１に記載のコンピュータプログラム。
【請求項7】
所定の時間内において、第１の所定の条件が充足し、かつ、第２の所定の条件が充足した場合、前記第１の所定の条件又は前記第２の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用する、請求項１乃至６のいずれか１項に記載のコンピュータプログラム。
【請求項8】
前記所定の表情又はポーズとするための情報は、前記配信者が利用する端末から前記アバターを操作する情報を取得せずに、生成される、請求項１乃至７のいずれか１項に記載のコンピュータプログラム。
【請求項9】
前記プロセッサの演算結果を記憶するメモリが利用される、請求項１乃至８のいずれか一項に記載のコンピュータプログラム。
【請求項10】
前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、請求項１乃至９のいずれか一項に記載のコンピュータプログラム。
【請求項11】
前記プロセッサが、演算機能を有する、請求項１乃至１０のいずれか一項に記載のコンピュータプログラム。
【請求項12】
コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、
仮想空間内において、配信者が演じるアバターの所定の動作に係る情報を取得し、
前記取得した情報が所定の条件を充足するか否かを判定し、
前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
前記所定の表情又はポーズとするための情報を、送信し、
前記アバターの所定の動作は、
前記アバターの視線方向に所定の対象が入る動作、
匂い又は臭いに対する所定のジェスチャー、又は、
音を聞く又は聴くことについての所定のジェスチャー、
の少なくとも一つを含む、
ように前記一又は複数のプロセッサを機能させるコンピュータプログラム。
【請求項13】
前記プロセッサの演算結果を記憶するメモリが利用される、請求項１２に記載のコンピュータプログラム。
【請求項14】
前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項１２又は１３に記載のコンピュータプログラム。
【請求項15】
前記プロセッサが、演算機能を有する、請求項１２乃至１４のいずれか一項に記載のコンピュータプログラム。
【請求項16】
一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
仮想空間内において、配信者が演じるアバターの所定の動作に係る情報を取得し、
前記取得した情報が所定の条件を充足するか否かを判定し、
前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
前記所定の表情又はポーズとするための情報を、送信し、
前記アバターの所定の動作は、
前記アバターの視線方向に所定の対象が入る動作、
匂い又は臭いに対する所定のジェスチャー、又は、
音を聞く又は聴くことについての所定のジェスチャー、
の少なくとも一つを含む、
ことを特徴とするサーバ装置。
【請求項17】
前記プロセッサによる演算結果を記憶するメモリが利用される、
請求項１６に記載のサーバ装置。
【請求項18】
前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項１６又は１７に記載のサーバ装置。
【請求項19】
前記プロセッサが、演算機能を有する、
請求項１６乃至１８のいずれか一項に記載のサーバ装置。
【請求項20】
コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作に係る情報を取得し、
前記取得した情報が所定の条件を充足するか否かを判定し、
前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバター の表情 とするための情報を生成し、
前記所定の表情又はポーズが適用された、前記アバターを表示し、
前記アバターの所定の動作は、
前記アバターの視線方向に所定の対象が入る動作、
匂い又は臭いに対する所定のジェスチャー、又は、
音を聞く又は聴くことについての所定のジェスチャー、
の少なくとも一つを含む、
ことを特徴とする方法。
【請求項21】
前記プロセッサの演算結果を記憶するメモリが利用される、
請求項２０に記載の方法。
【請求項22】
前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項２０又は２１に記載の方法。
【請求項23】
前記プロセッサが、演算機能を有する、
請求項２０乃至２２のいずれか一項に記載の方法。
【請求項24】
コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作に係る情報を取得し、
前記取得した情報が所定の条件を充足するか否かを判定し、
前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、
前記所定の表情又はポーズとするための情報を、送信し、
前記アバターの所定の動作は、
前記アバターの視線方向に所定の対象が入る動作、
匂い又は臭いに対する所定のジェスチャー、又は、
音を聞く又は聴くことについての所定のジェスチャー、
の少なくとも一つを含む、
ことを特徴とする方法。
【請求項25】
前記プロセッサの演算結果を記憶するメモリが利用される、
請求項２４に記載の方法。
【請求項26】
前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項２４又は２５に記載の方法。
【請求項27】
前記プロセッサが、演算機能を有する、
請求項２４乃至２６のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方法に関する。
【背景技術】
【0002】
近年、配信者が演じるアバターを用いた技術が発展している。この種の技術においては、配信サービスを介して、配信者が演じるアバターを、視聴者が視聴可能なようにされている。
【0003】
また、アバターを用いたサービスに関連して、アバターオブジェクトの表情や動作を演者等の動作に基づいて制御する技術を利用したサービスとして、「カスタムキャスト」と称されるサービスが知られている（非特許文献１）。このサービスでは、演者は、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情や動作のうちのいずれかの表情又は動作を予め割り当てておき、所望する表情又は動作に対応する方向に沿って演者がスマートフォンの画面をフリックすることにより、その動画に表示されるアバターオブジェクトにその表情又は動作を表現させることができる。
【先行技術文献】
【非特許文献】
【0004】
【文献】"カスタムキャスト"、［online］、Custom Cast Inc.、［２０１９年１２月１０日検索］、インターネット（URL: https://customcast.jp/）
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１に開示される技術においては、演者が発話しながらスマートフォンの画面をフリックしなければならず、演者にとっては当該フリックの操作を行う困難がある。
【0006】
なお、上記非特許文献１は、引用によりその全体が本明細書に組み入れられる。
【0007】
本件出願において開示された幾つかの実施形態は、アバターをより適切に表現可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供する。
【課題を解決するための手段】
【0008】
一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
【0009】
一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
【0010】
一態様によるサーバ装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
【0011】
一態様による方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
【0012】
一態様による方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
【0013】
一態様による視聴者端末装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
【0014】
一態様による配信者端末装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。
【0017】
１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ～２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ～３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ～２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ～３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
【0018】
また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。
【0019】
通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通信されてよい。
【0020】
サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
という動作等を実行できてよい。
という動作等を実行できてよい。
【0021】
或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
【0022】
端末装置３０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等であってよく、これらに限定されない。
【0023】
２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。
【0024】
２－１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）
【0025】
図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されていてよい。
【0026】
演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。
【0027】
主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。
【0028】
補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。
【0029】
入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等であってよい。
【0030】
出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体化されたものであってもよい。
【0031】
このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装置３０等）との間で様々な情報の送受信を行うことができてよい。
【0032】
サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示させる構成であってよい。
【0033】
２－２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。
【0034】
図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。
【0035】
演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装置３６については、以下で詳述する。
【0036】
このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で様々な情報の送受信を行うことができる。
【0037】
端末装置３０がかかる構成を備え、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、 という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示する構成であってよい。
【0038】
端末装置は、本願書類において、「配信者端末」と「視聴者端末」の２種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。配信者端末は、配信されるものにアバターなどの被写体として登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されているものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどの被写体に対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、動画であってもよいし、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどの被写体が登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のない被写体が登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。
【0039】
視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、利用者端末は、入力装置３４として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、利用者端末は、演算装置３４により、一定のコメントを生成する機能を有してもよい。これらの取得されたコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
【0040】
なお、本願発明に係るコメントは、利用者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送信され、利用者端末において表示されてよい。
【0041】
また、端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
【0042】
他方、配信者端末は、入力装置３４として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。かかるセンサーによって、配信者の表情やポーズをトラッキングし、情報として生成可能であってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
【0043】
また、配信者端末は、入力装置３４として、動画を撮像可能なカメラを含んでよい。カメラは、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。カメラが、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これらの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
【0044】
また、視聴者端末及び配信者端末における出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報であってもよい。
【0045】
３．各装置の機能
次に、サーバ装置２０及び端末装置３０の各々が有する機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、物体を生成するのに使用できる情報を取得する取得部と、取得された情報を用いて物体を生成する生成部と、を有してよい。
次に、サーバ装置２０及び端末装置３０の各々が有する機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、物体を生成するのに使用できる情報を取得する取得部と、取得された情報を用いて物体を生成する生成部と、を有してよい。
【0046】
２．１．取得部
取得部は、後述する所定の条件の適用の可否を判断するのに使用できる情報を取得する機能を有する。
取得部は、後述する所定の条件の適用の可否を判断するのに使用できる情報を取得する機能を有する。
【0047】
取得部の取得する情報は、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報（本願書類において、所定の動作等、ということもある）を含んでよい。
【0048】
これらの、取得部の取得する情報については、条件適用部において、その具体的な内容を説明する。なお、図４は、これらの取得部が取得する情報の一部の一例を示したものである。
【0049】
また、取得部は、ギフトが、特定のアバターに対して提供された場合は、かかるギフトが提供された相手であるアバターを特定する情報を、取得してよい。
【0050】
なお、取得部が情報を取得する元となる情報処理装置は、取得部の機能を有する情報処理装置と同じであってもよいし、異なってもよい。また、取得という用語は、情報を、他の情報処理装置から受信する意味の上位概念であってよく、また、情報を記憶装置から情報を読み取る意味の上位概念であってよく、また、他のプログラムから記憶装置を介して情報を受け取る意味の上位概念であってよい。
【0051】
２．２．条件適用部
条件適用部は、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する機能を有する。
条件適用部は、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する機能を有する。
【0052】
ここで、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成するとは、かかる所定の条件が充足された場合において、前記配信者に係る表情に基づいて生成されていた前記配信者に係るアバターの表情を、前記所定の条件に対応する所定の表情とするための情報のみを生成してもよいし、前記配信者に係るポーズに基づいて生成されていた前記配信者に係るアバターのポーズを、前記所定の条件に対応する所定のポーズとするための情報のみを生成してもよいし、前記配信者に係る表情及びポーズに基づいて各々生成されていた前記配信者に係るアバターの表情及びポーズを、前記所定の条件に対応する所定の表情及びポーズとするための情報を生成してもよい。なお、本願書類において、所定の条件に対応して特定される、所定の表情及び／又はポーズについて、所定の表情等ということがあり、また、表情及び／又はポーズを、表情等ということがある。
【0053】
また、所定の表情等は、予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情であってもよいし、予め定められた形状又は動きの設定により表示される表情であってもよいし、予め定められたポーズのパラメータ、又は、配信者のポーズに基づくポーズのパラメータを所定のルールに基づいて補正されたポーズのパラメータ、を用いて表示されるポーズであってもよいし、予め定められた形状又は動きの設定により表示されるポーズであってもよい。ここで、予め定められた表情のパラメータとは、顔の各部位の動きに影響を与える複数のパラメータを示し、かかる複数のパラメータを各々所定の値に設定することにより、一の表情を示すものであってよい。かかる一又は複数のパラメータは、顔の各部位の動きに影響を与えるパラメータであればよく、各パラメータが、顔の特定の部位についてのものでもよいし、顔全体（又は顔の一部）についてのものであるがパラメータ毎に顔全体（又は顔の一部）の形状が異なるものでもよい。後者は、同じ面積であるが形状が異なるものを複数用意して、それらの一部又は複数の合成によって、一の表情を表現する技術である。後者の例としては、例えば、ブレンドシェイプが挙げられ、かかる技術では、予め形状が異なる複数の顔全体の形状のものを用意しそれらの複数の形状の合成によって一の表情を生成するものである。なお、本技術においては、通常の顔の要素に加えて、予め所定の形状のものを用意しておくことにより、特殊な表情をさせてもよい。例えば、予め顔の縦線を示す形状を用意しておく場合には、かかる顔の縦線の演出が可能となり、予め目がバツの演出の要素を用意しておく場合には、かかる目がバツの演出が可能となる。この場合、パラメータが予め設定されることから、配信者の表情等を問わず、再現される表情等となるため、表情等を示す適切なパラメータが選択される場合には常に分かりやすい表情等を再現できる利点がある。なお、この場合においても、アバターに応じて、所定の表情等が異なるよう設定されてもよい。すなわち、アバターＡとアバターＢについて、同一の所定の条件が充足された場合において適用される所定の表情等が、アバターＡとアバターＢにおいて、異なってもよい。この場合において、個々のアバターに対して設定されてもよいし、アバターの種類に応じて、設定されてもよい。
【0054】
他方、所定の表情等が、配信者の表情等に基づく表情等のパラメータを所定のルールに基づいて補正された表情等のパラメータである場合は、所定の表情等が、配信者の表情等に基づいた表情等となってよい。例えば、配信者が何らかのギフトに対して、驚いた表情をするとする。このとき、配信者の表情の検知に対応してアバターの表情が一又は複数のパラメータによって驚きに対応する表情に設定されるが、所定の条件に対応する所定の表情として驚きに係る複数のパラメータの値を所定の値分増加させたり減少させることにより、より驚きの表情を強調するようにする場合を示す。上述の技術を所定の表情として一又は複数のパラメータが決定される点において絶対値的なものであるのに対し、本技術は、いわば、現在の配信者の表情から得られた情報に対する相対的なパラメータを用いるものであってよい。そのため、同一の配信者が演じる同一のアバターが、同一の所定の条件が適用された場合においても、かかる配信者自身がその時点で有している表情等に基づく表情等のパラメータは同じ場合もあれば、異なる可能性もあることから、かかる異なりうるパラメータに応じた表情等が、所定の表情等となる場合がある。そのため、より表情等のバリエーションをもたせることができる可能性がある。
【0055】
また、予め定められた形状又は動きの設定により表示される表情は、表情として、お面のように予め定められた形状そのものを、所定の表情とするものを示し、かかるものであってもよい。
【0056】
なお、以上においては、いずれも所定の表情について説明したが、同様に、所定のポーズについても、対応する技術が用いられてよい。
【0057】
また、所定の表情等は、生じる所定の動作等と関連する表情等であってよい。この場合、視聴者は、所定の表情等が表現される理由を、所定の動作等と関連付けて、容易に理解できる利点がある。
【0058】
また、所定の表情等は、表情等を構成する全ての個所についてのパラメータに作用してもよいし、その一部のパラメータに作用してもよい。例えば、所定の表情等は、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、配信者の表情に連動するパラメータであって、配信者端末から配信者の表情の動きに対応した情報に基づくパラメータであってよい。また、所定の表情等は、アバターの外観を含んでもよい。例えば、所定の表情等は、アバターが黒焦げになる演出を含んでよい。
【0059】
また、所定の表情等は、所定の動作等の方向に連動して変化する、ものであってよい。仮想空間内において、後述の物等の出現場所が、配信者に分からないことがある。このとき、物等の出現場所に、配信者は気づかないことがあり、結果として、配信者に係るアバターも、その物等に反応ができないことがある。例えば、おばけキャラが登場したり、たらいが頭上から落ちてきたときに、配信者が気付かない場合もありえる。そこで、アバターに係る所定の表情等が、所定の動作等が表示されている方向に連動して変化することにより、視聴者もよりアバターの行動に興味を持つことができる利点がある。ここで、所定の動作等の方向に連動して変化する態様としては、種々のものがあってよい。例えば、おばけキャラが接触してきた方向や、ゾンビキャラが迫ってきた方向に対して、設定される所定の表情等が向いてよい。所定の表情等が向く場合において、アバターの一部の部位が連動して変化してもよいし、アバターの複数の部位が連動して変化してもよい。例えば、所定の表情等が向く場合とは、体全体がかかる方向を向いてもよいし、頭部のみがかかる方向を向いてもよいし、目のみなど顔の一部のみがかかる方向を向いてもよい。
【0060】
所定のポーズは、種々のポーズであってよい。ポーズは、アバターの体の一部のみであってもよいし、アバターの体の全体であってもよい。例えば、首をかしげるポーズとして頭部のみのポーズや、手が大きくなったり手が赤く腫れた演出を含む手のみのポーズや、ガッツポーズのように上半身のみのポーズであってもよいし、銃を構えるポーズや全身でジャンプするような全体のポーズでもよい。
【0061】
所定の条件は、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報、を用いてよい。
【0062】
配信者が演じるアバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作であってよい。また、前記アバターの所定の動作は、所定の対象を見る動作を含んでよい。例えば、アバターが、何か物を見て驚いた場合、所定の表情等として、驚く表情が設定されてよい。この場合、アバターが驚く表情をすることが自然な物をあらかじめ設定しておき、かかる物が、視線の延長線上にある場合に、かかるアバターが、かかる物を見たと判定してよい。すなわち、前記所定の動作が、前記所定の対象を見る動作を含む場合、前記所定の条件は、前記所定の対象が前記アバターの視線方向となるように前記アバターの視線を移動させること、又は、前記アバターの視線上において前記所定の対象が存在すること、を含んでよい。前者は、アバターが主体的に見る方向を移動して視線を変化させた場合に、かかる視線の延長線上に驚く物が位置していると、所定の表情等として驚く表情が設定されてよい。後者は、所定の対象が存在する場合であってよく、アバターが所定の方向を見ている場合に、その方向に所定の対象が生じて表示された場合等があってよい。
【0063】
以上、上述においては、アバターに驚きの感情をもたらす物について説明したが、驚きの感情に限らず、他の感情や感覚をもたらす物であってもよい。例えば、おばけなどの怖いという感情をもたらす物、ステーキなどの好きだという感情をもたらす物、納豆などの嫌いだという感情をもたらす物、など人が対象を見たときに一定の感情や感覚が生じる物であってよい。また、かかる物を見た場合の所定の表情等についても、かかる対象を見た場合に人が一般的に生じる顔を示す所定の表情等が設定されてよい。上述の怖いという感情をもたらす物、好きだという感情をもたらす物、嫌いだという感情をもたらす物、については、対応して、ぞっとする表情、笑顔、嫌悪の表情、などであってよい。
【0064】
上述では、見る対象を物として説明したが、見る対象は、他のキャラクタや他のアバターであってもよい。すなわち、前記所定の対象が他のアバター又はキャラクタである場合、前記アバターの所定の動作は、前記アバターの視線と前記所定の対象に係る視線とが合うことを含んでよい。このように、他のキャラクタや他のアバターと視線が合った場合に、所定の表情等に設定してよい。なお、アバター同士の視線が合致している場合、一方のアバターについてのみ、所定の表情等が設定されてもよいし、両方のアバターについて、所定の表情等が設定されてもよい。後者は、例えば、視線が合って、両方のアバターが顔が赤くなる等のドキドキしている表情等が考えられる。また、後者の両方のアバターについて所定の表情等が設定される場合において、かかる設定される表情等は、同一の所定の表情等であってもよいし、異なる所定の表情等であってもよい。かかる異なる所定の表情等となる理由としては、アバターの属するタイプに応じた所定の表情等であってもよいし、アバターの好みや性質等に応じた所定の表情等であってもよいし、確率的に選定された所定の表情等であってもよい。また、アバターが他のキャラクタと視線が合う場合の例としては、おばけキャラとアバターの視線があうと、アバターの所定の表情等として、アバターの顔が青ざめる設定としてよい。かかる所定の条件は、アバターの視線方向とおばけキャラ等の対象物との交点の有無を判定することによって、充足性が判定されてよい。
【0065】
上述では、見る対象を物として説明したが、見る対象は、何らかのイベントであってもよい。イベントは、その規模や対象は種々のものであってよく、限定はない。例えば、コオロギの大群が突進してきたり、氾濫した川の水で流されたり、突風が襲ってくるような怖い状況のイベントであってもよいし、他のキャラクタやアバターの転倒や流血などの痛そうな状況であってもよい。かかるイベントの場合であっても、同様に、かかるイベントを見たアバターについて、対応する所定の表情等に設定されてよい。
【0066】
また、アバターの所定の動作は、所定の対象に接触する動作を含んでよい。そして、前記所定の動作が、前記所定の対象に接触する動作を含む場合、前記所定の条件は、前記アバターに係る位置と、前記所定の対象に係る位置と、の距離が所定の距離内である こと、を含んでよい。ここで、前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダーの位置、のいずれかであってよい。
【0067】
ここで、接触する動作は、アバターが主体的又は受動的を問わず、アバターから接触する態様を意味するが、第三者から接触される態様は意味しない。第三者から主体的又は受動的を問わず、第三者から接触される態様は、アバターに関して生じる所定の状況、に含まれる。なお、受動的とは、例えば、アバターや第三者の意思を問わずに、アバターや第三者が客観的に動いた結果、接触されるケースを含む。
【0068】
アバターが接触する動作の例としては、例えば、アバターが触った対象が熱いものである場合、アバターが驚くような表情をしてもよいし、触った個所が熱さで腫れるような所定の表情等であってもよい。より具体的には、例えば、手で熱いものを触った場合、手が大きくなって、赤く腫れあがるような所定の表情等であってもよい。
【0069】
アバターの所定の動作は、所定の対象の飲食動作を含む。ここで、所定の飲食動作は、アバターの飲食動作として、予め定められたものであってよく、かかる飲食動作を示すＩＤなどによって、検知してよい。かかる飲食動作を示すＩＤは、飲食動作として予め定められた特定の動きに対し付与されたＩＤであってもよいし、一又は複数のモーションデータに基づく所定の動きに対し付与されたＩＤであってもよい。本願発明において、飲食動作を所定の動作として組み込む技術的意義は、後述の他の情報と組み合わせることによって、所定の表情等を設定する点にある。例えば、同じ飲食動作（例えば、お肉を食べる動作）であるとしても、あるアバターＡがお肉を食べる場合は、上品な食べ方を表現する所定の表情等が設定される一方、他のアバターＢがお肉を食べる場合は、ワイルドな食べ方を表現する所定の表情等が設定される、などが考えられる。ここで、アバターＡとアバターＢとにおいて、異なる演出となる要因としては、例えば、アバターＡとアバターＢとが異なるタイプのアバターであったり、同一タイプのアバターであっても、その設定された趣向や好み等によって、異なる食べ方を表現する所定の表情等が設定される、などが考えられる。かかるアバターのタイプは、アバターの設定時に設定された性格であってもよいし、アバターが所定の条件が判定される時点で装備しているパーツや服装から判定されるものであってもよい。
【0070】
また、前記アバターの所定の動作は、匂い又は臭いに対する所定のジェスチャーを含んでよい。ここで、所定のジェスチャーとしては、鼻をくんくん動かすようなジェスチャー、手で鼻の前の空気を左右に移動させるジェスチャー、などが挙げられる。かかるジェスチャーは、例えば、鼻の動きや右手又は左手などの手の動きを、光学センサや慣性センサ等を用いることによって、検出されてよい。すなわち、前記所定の条件は、前記アバターの前記所定のジェスチャーの検知を用いてよい。そして、対応する所定の表情等として、恍惚感を演出する所定の表情等や苦悶する所定の表情等が挙げられる。これにより、配信者が、何らかの匂いや臭いを感じた場合に行う動作によって、その動作の意義をよりはっきりと視聴者に理解させる利点がある。なお、かかる匂いや臭いに対応する具体的なジェスチャーについて、予め配信者とシステム間で共有することにより、より効果的に、かかるジェスチャーに対応する所定の表情等を演出できる。
【0071】
また、前記アバターの所定の動作は、音を聞く／聴くことについての所定のジェスチャーを含んでよい。音を聞く／聴くことについての所定のジェスチャーとしては、例えば、手を耳に沿える動作や、片耳を一定の方向に動かすジェスチャーが考えられる。かかるジェスチャーに対応する所定の表情等としては、手を耳に沿えるジェスチャーの場合はかかる手が大きくなることが考えられ、片耳を一定の方向に動かすジェスチャーの場合はかかる耳が大きくなって動くことが考えられる。
【0072】
配信者が演じるアバターの表情を含む所定の条件は、例えば、アバターの表情が特定の一又は複数のパラメータである場合に、所定の表情等とすることが考えられる。また、常に所定の表情等とならないとしても、他の所定の条件が充足した場合に、所定の表情等とすることが考えられる。例えば、配信者の驚きの表情の顔として、通常であれば、所定の表情等を設定しない場合であっても、特定のイベントが生じるととともに配信者が驚きの表情の顔を示す場合、所定の表情等が設定されてもよい。
【0073】
配信者が演じるアバターの顔色は、顔色の変化を含んでよい。例えば、アバターの顔色が、通常と異なる態様になった場合に、かかる顔色に合わせて、アバターの表情等を、異なる所定の表情等に設定してよい。
【0074】
配信者が演じるアバターの声は、前記アバターの声の音質が所定の範囲以上変化すること、又は、前記アバターの声の音量が所定の量以上変化すること、を含んでよい。例えば、アバターの声が、緊張や、怒りなどで、通常と異なる声の性質となっている場合が考えられる。かかる声の場合、かかる声に対応する所定の表情等が設定されてよい。
【0075】
前記アバターに関して生じる所定の状況は、仮想空間内において所定の音が生じることを含んでよい。所定の音は、例えば、大きな音であってよい。かかる大きな音に対して、所定の表情等として、驚いた表情としたり、例えば、飛び上がるというような、驚きを全身で表すポーズをしてもよい。
【0076】
アバターに関して生じる所定の状況は、所定の物に係る位置と、前記アバターに係る位置と、の距離が所定の範囲内になることを含んでよい。ここで、所定の物に係る位置は、例えば、所定の物の重心とされる個所、所定の物の中心とされる個所、所定の物の外接円の中心、所定の物の内接円の中心、所定の物の表示上の外接円の中心、所定の物の表示上の内接円の中心、等であってよい。また、所定の物に係る位置は、所定の物に係る円又は多角形とアバターに係る位置との間の直線距離の接線上のかかる円又は多角形との交点であってもよい。また、所定の物に係る位置は、所定の物に対してコライダーを設定し、また、アバターにもコライダーを設定し、かかるコライダーを用いた接触判定を行ってもよい。アバターに係る位置は、上述のとおりであってよい。なお、アバターに係る位置がコライダーの位置である場合、所定の物とアバターが接触していると判定してよい。
【0077】
所定の物は、上述の種々の物であってよい。例えば、たらいが頭上から落ちてきて、頭に接触した場合に、所定の表情等として、目をバツ（×）とする設定にしてよい。また、アバターに雷が落ちる（接触）すると、所定の表情等として、全身が黒焦げとする設定にしてよい。
【0078】
また、所定の物に代えて、他のものでよく、例えば、キャラクタや、他のアバターでもよい。キャラクタの場合の例としては、アバターに関して生じる所定の状況として、ゾンビキャラに係る位置と、アバターに係る位置と、の距離が所定の範囲内になることを含んでよい。この場合、かかる距離が所定の距離内の場合に、アバターの顔に縦線を入れるようにしてもよい。また、かかる距離の程度に応じて、所定の表情等も変化してよい。例えば、かかる距離が、第１の距離と、第１の距離よりも短い第２の距離と、に変化した場合、第１の距離における所定の表情等と、第２の距離における所定の表情等と、が異なってよい。例えば、第１の距離における所定の表情等として、顔の表情内の縦線が１０本であるのに対し、第２の距離における所定の表情等として、顔の表情内の縦線が２０本かつかかる縦線の幅が２倍になる、などであってよい。なお、上記とは逆に、所定の条件において、アバターに係る位置と、キャラクタ又はアバターに係る位置と、が所定距離の範囲外となることを含んでもよい。この場合、アバター又はキャラクタがアバターとが離れる方向に相対的に移動する状況が示されているが、例えば、アバターの所定の表情として涙が出てくる、などの表情が設定されてもよい。
【0079】
例えば、アバターに関して生じる所定の状況は、第１のアバターと、第２のアバターと、が所定の関係が生じる場合を含んでよい。例えば、第１のアバターが、第２のアバターの頭を撫でる場合、所定の表情等として、第２のアバターの目をハートに設定してよい。この場合、第１のアバターと第２のアバターとの各々にコライダーを設定し、その接触判定によって、判定してよい。
【0080】
また、アバターに関して生じる所定の状況は、前記アバターに関して生じる所定の状況は、所定の対象と、前記アバターの所定のポーズと、が所定の組み合わせとなることを含んでよい。ここで、所定の対象は、物であってもよいし、所定の状況であってもよいし、所定のイベントであってもよい。また、物は、ギフトを含んでもよい。例えば、物として拳銃のギフトを装着し、アバターが射撃のポーズをすると、所定の表情等として勇ましい表情が設定されてよい。なお、ここで、射撃のポーズの判定は、アバターの中心位置からのコライダーを設定し、右手、左手、右足、左足、頭などの体の各位置の衝突判定によって、判定してよい。ここで、配信者における各配信者の右手、左、右足、左足、頭などの位置は、光学センサや慣性センサによって、検出してよい。なお、かかる場合において設定される所定の表情等は、与えられたギフトの組み合わせから、示唆されるものであってよい。一例を挙げれば、カエルの盾、カエルの件、カエルのマントであれば、カエルのような顔になってよい。
【0081】
また、本願発明に係る複数の条件のうち、複数の条件が成立する場合がある。例えば、アバターがおばけキャラと視線が合致すると同時に、アバターに係る位置とおばけキャラに係る位置との距離が所定の距離範囲内である場合、などが挙げられる。このような場合、視線が合致したこと及び距離が範囲内であることの各条件に対応する所定の表情等が異なる場合、複数の所定の条件が充足した場合の処理が定められていてよい。例えば、所定の時間内において、第１の所定の条件が充足し、かつ、第２の所定の条件が充足した場合、前記第１の所定の条件又は前記第２の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用してよい。ここで、優先度は、各所定の条件と、関連付けられて、記憶されていてもよいし、複数の所定の条件が充足した場合のルールとして設定されていてもよい。例えば、所定の条件として、Ａ１、Ａ２、Ａ３、Ａ４などがあった場合において、各所定の条件同士を比較した上で優先される所定の条件を選定できるものであればよい。かかる優先度を用いた機能により、複数の所定の条件が充足された場合においても、特にほぼ同時に複数の所定の条件が充足された場合においても、適確に処理できる利点がある。また、かかる優先度は、確率が用いられてもよい。例えば、確率が、疑似乱数関数等によって判定される場合であって、第１の所定の条件と第２の所定の条件とが充足している場合において、かかる疑似乱数関数値が所定の値の場合は、第１の所定の条件に対応する所定の表情等が適用され、他の所定の値の場合は、第２の所定の条件に対応する所定の表情等が適用される、と処理されてよい。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
【0082】
なお、充足しうる複数の条件についての判定において、所定の時間の経過を待って判断することから、所定の時間をある時間以上に設定した場合、所定の条件の充足から所定の表情等の演出まで、タイムラグが生じる可能性がある。そのため、かかる優先度を設けずに、上述の複数の条件が成立する場合に、時間的に先行して充足された所定の条件に対応する所定の表情等を設定してもよい。ここで時間的に先行するとは、ネットワークや情報処理などの結果、実質的にはほぼ同時に所定の条件が成立した場合においても、処理部が所定の条件の充足を先に判定したものであってよい。この場合、所定の時間の経過を待たずに、先に充足した所定の条件に対応する所定の表情等を設定できる利点がある。なお、かかる場合において、後に充足した所定の条件に対応する所定の表情等を設定してもよいし、設定しなくともよい。設定する場合、先に充足された所定の条件に対応する所定の表情等は上書きされてしまうが、後に充足された所定の条件に対応する所定の表情等も視聴者に演出できる利点がある。他方、設定しない場合、先行した所定の表情等について、視聴者は十分楽しむことができる利点がある。なお、このように、第１の所定の条件と第２の所定の条件について、双方ともに充足する場合、第１の所定の条件が充足したタイミングと、第２の所定の条件が充足したタイミングに応じて、所定の表情等を設定してもよい。例えば、第１の所定の条件が充足した第１タイミングと、第２の所定の条件が充足した第２タイミングと、の間の時間が所定の時間よりも短い場合、第１の所定の条件に対応する第１の所定の表情等のみを演出し、第２の所定の条件に対応する第２の所定の表情等を演出しない処理としてよい。この場合、第１の所定の表情等の演出について、視聴者は、途中で変更されず、楽しむことができる利点がある。他の他方、前記第１タイミングと前記第２タイミングとの間の時間が所定の時間よりも長い場合、前記第２の所定の条件が充足したタイミングで、前記第２の所定の条件に対応する所定の表情等を設定してもよい。この場合、視聴者は、第１の所定の表情等に続き、第２の所定の表情等も両方の演出を楽しむことができる利点がある。
【0083】
なお、かかる第１のタイミングと第２のタイミングとの間の時間について判定する上述の所定の時間は、充足される所定の条件の組に応じて設定されてもよい。例えば、第１の所定の条件が充足した場合に第１の所定の表情等が演出され、第２の所定の条件が充足した場合に第２の所定の表情等が演出され、第３の所定の条件が充足した場合に第３の所定の表情等が演出されたとする。また、第１の所定の条件が第１のタイミングで充足され、第２の所定の条件が第２のタイミングで充足され、第３の所定の条件が第３のタイミングで充足されたとする。この時、第１のタイミングと第２のタイミングとの間の時間が、第１２所定の時間よりも短い場合に、第２の所定の表情等が演出されず、第１２所定の時間以上の場合に第２の所定の表情等が演出されるとする。また、第１のタイミングと第３のタイミングとの間の時間が、第１３所定の時間よりも短い場合に、第３の所定の表情等が演出されず、第１３所定の時間以上の場合に第３の所定の表情等が演出されるとする。このとき、第１２所定の時間と第１３所定の時間は、同じであってもよいし、異なってもよい。同じである場合は、第１の所定の条件の充足の後に、第２の所定の条件が充足されても、第３の所定の条件が充足されても、第１の所定の表情等の演出時間に変わりがないことを意味する。他方、異なる場合は、第１の所定の条件の充足の後に、第２の所定の条件が充足する場合と、第３の所定の条件が充足する場合と、において、第１の所定の表情等の演出時間が変化することになる。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
【0084】
なお、上述において、優先度は、所定の条件と関連付けられている、又は、充足される所定の条件についてのルールの例を説明したが、そのほか、優先度は、所定の条件内の物、イベント、状況、などと関連付けられていてもよい。例えば、所定の条件においてギフトが利用される場合において、ギフトと優先度が関連付けられていてもよい。
【0085】
所定の条件に係る物、イベント、状況（本願書類において、物等、ということもある）に係る優先度は、物等の表示される大きさ、物等の出現場所、物等の出現のタイミング、などを用いて生成されたものであってよい。
【0086】
例えば、物等の表示される大きさ、については、第１の物等の大きさよりも、第２の物等の表示される大きさが大きい場合、かかる第２の物等に対して、かかる第１の物等よりも、高い優先度が設定されていてよい。この場合、表示される大きい方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
【0087】
また、物等の大きさの他に、物等に価格がある場合は価格であってもよいし、物等に消費ポイントが設定されている場合には消費ポイントであってもよい。例えば、第１の物等の価格よりも、第２の物等の価格が高い場合、かかる第２の物等に対して、かかる第１の物等よりも、高い優先度が設定されていてよい。この場合、価格が高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。また、同様に、消費ポイントについても、例えば、第１の物等の消費ポイントよりも、第２の物等の消費ポイントが高い場合、かかる第２の物等に対して、かかる第１の物等よりも、高い優先度が設定されていてよい。この場合、消費ポイントが高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
【0088】
物等の仮想空間内の出現場所としては、例えば、仮想空間内の中央に出現した物等を、仮想空間内の左右などの端に出現した物等よりも、優先度を高く設定してよい。仮想空間内の目立ちやすい場所に出現した物等の優先度を高くした場合、視聴者は、目立ちやすい場所に出現した物等を視野に入れることができるため、視聴者は、所定の表情等の意味を理解しやすくなる利点がある。
【0089】
また、物等に係る優先度は、その物等に予め設定されている静的な情報であってもよいし、物等が提供された段階で初めて設定される動的な情報であってもよい。後者は、例えば、物等が出現された位置に応じて設定される情報であってよい。例えば、物等が仮想空間上で出現した位置と、アバターとの位置との関係に応じて設定された優先度であってよい。この場合、距離自体が優先度の役割を果たしてもよいし、距離が優先度を設定する一の情報として使用されてもよい。例えば、アバターと出現した第１の物に係る位置の距離が第１距離であり、アバターと出現した第２の物に係る位置の距離が第２距離である場合において、第１距離が第２距離より長い場合、第２の物に対して第１の物に優先度を高く設定してよい。また、そのほか、画面中央と第１の物に係る位置との距離の第１距離が、画面中央と第２の物に係る位置との距離の第２距離よりも短い場合、第１の物がより画面中央に出現していることから、第１の物の優先度を第２の物よりも高く設定してもよい。物等に係る優先度が動的に設定される場合、より適切かつダイナミックに、所定の表情等を設定されるギフトを選定できる利点がある。
【0090】
また、アバターに係る情報として、アバターが属するタイプを用いてもよい。例えば、所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いてもよい。これは、ある情報を取得した場合、第１のアバターの種類においては所定の表情等となるが、第２のアバターの種類においては所定の表情等とならない、ものであってよい。例えば、あるタイプのアバターは、弱気の性格の設定であるとして、おばけキャラとアバターとの距離が第１の距離の範囲内の場合に、怖がる表情が出やすくなってよい。また、あるタイプのアバターは、陽気な性格の設定であるとして、所定の表情等として、笑顔を含む表情となる条件が、他のアバターよりも、緩いよう設定されていてよい。なお、この場合、アバターについて、弱気、陽気、強気、負けず嫌い、など性格という特性を備えさせ、かかる性格という特性を用いて、所定の条件の充足が判定されてよい。なお、性格は、アバターの属するタイプに応じて設定されているものでもよいし、アバターの属するタイプとは別に個々のアバターについて設定されているものであってもよい。
【0091】
なお、所定の条件は、確率を含んでよい。すなわち、所定の条件は、疑似乱数関数等を含み、かかる関数値が所定の条件を充足した場合に、所定の表情等を生成してもよい。かかる確率を含む場合、常に、所定の表情等が生成されるわけではないため、視聴者の興味を継続的に引くことができる。また、例えば、その確率値を所定の値よりも低くする場合において、稀な表情とする場合、視聴者が貴重な表情を見ることができるという点において、視聴者の興味を引くことができる。
【0092】
また、所定の条件として、物等の表示開始の情報、物等の表示変化の情報、及び／又は、物等の表示終了の情報、という個々の物等の表示のタイミングを用いて、所定の条件の充足を判定してもよい。この場合、物等の表示の開始、変化、終了という、物等の表示に対応して、アバターの表情やポーズに変化が生じることから、視聴者は、アバターの表情やポーズの変化の意味を、物等の状況と関連付けて、理解しやすくなる利点がある。
【0093】
また、所定の条件として、物等が属性として有する情報を用いてもよい。物等の属性は、物等の種類や、物等のレベル、などの物等が備える特性を含んでもよいし、含まなくともよい。また、物等が有する特定の特徴に応じて、所定の条件が充足されるよう所定の条件が設定されてよく、対応する所定の表情等が設定されてよい。
【0094】
また、所定の条件は、取得した情報についての順番やタイミングを規定してもよい。
【0095】
例えば、所定の条件と充足の場合の所定の表情等について、おばけキャラが画面に現れた後の所定の時間内にこうもりキャラが画面に現れた場合に所定の表情Ａが設定され、こうもりキャラが画面に現れた後の所定の時間内におばけキャラが画面に現れた場合に、所定の表情Ｂが設定される、などとしてよい。
【0096】
条件適用部は、所定の条件の充足によって特定された表情等を、前記ギフトが提供されたアバターについての表情等としてよい。より具体的には、所定の条件の充足によって特定された表情等を示す情報は、特定された表情等を示すＩＤや、特定された表情等を示す表情の一又は複数のパラメータであってよく、かかる特定された表情等を、かかるアバターの表情とできるように、かかる特定された表情等を示す情報を用いて、アバターの表情等を設定してよい。かかるＩＤやパラメータの情報は、条件適用部において特定又は生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、特定される表情等を示す情報を記憶してよく、かかる各所定の条件が充足された場合に、対応する特定される表情等を示す情報を特定できるよう構成されてよい。なお、所定の条件の充足によって適用される所定の表情等がアバターに、所定期間、設定された後は、元のアバターの動作に戻ってよい。すなわち、アバターは、配信者によって演じられていることから、所定期間の後、アバターの表情やポーズは、配信者の表情やポーズの情報に基づくものとなってよい。ここで、配信者の表情やポーズの情報に基づくとは、配信者の表情やポーズを光学センサや慣性センサで検出された情報によってアバターの動作が規定されてよい。
【0097】
かかる処理において、条件適用部が実行される第１情報処理装置と、かかるアバターの表情等の設定を含む処理を行う第２情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって特定した表情を用いて、前記アバターの表情等と設定するよう処理してよい。
【0098】
また、条件適用部が実行される第１情報処理装置と、かかるアバターの表情の設定を含む処理を行う第２情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって特定した表情等を、第１情報処理装置は、第２情報処理装置に送信し、かかる第２情報処理装置において、特定された表情等を用いて、前記アバターの表情と設定するよう処理してよい。
【0099】
ここで、第１情報処理装置がサーバであって、第２情報処理装置がサーバである場合は、第１情報処理装置のサーバから、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が配信者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
【0100】
同様に、第１情報処理装置が視聴者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の視聴者端末から、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
【0101】
同様に、第１情報処理装置が配信者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の配信者端末から、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。
【0102】
上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。
【0103】
また、条件適用部は、所定の表情等が設定されるタイミングを用いて、所定の表情等を設定してよい。タイミングは、例えば、上述のように、アバターと、アバター又はキャラクタとの視線が合ったタイミング、アバターが物と接触したタイミング、などであってよい。この場合、かかる所定の表情等を示す情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。
【0104】
他方、所定の条件が充足された上で、所定の表情等が設定されるタイミングは、別途設定されたものが使用されてもよい。例えば、所定の条件が設定されてから、２秒後に、所定の表情等になる、というものでもよい。一例としては、アバターが驚くような状況が生じて、その２秒後という故意に遅らせたタイミングで、所定の驚きの表情を設定するものなどでもよい。
【0105】
図５は、所定の条件に対する所定の表情等の関係を示した一例である。取得した情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。
【0106】
上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等が実現できることとなり、仮想空間内のアバターの表情やポーズにバリエーションを持たせることができる利点がある。また、演者がタブレットなどを用いてアバターの表情を自ら指定できる場合であっても、スタジオ配信においてオペレータによって装着ギフトが装着される場合、演者が装着されたことに気づかないこともあるため、そのような場合において演者が何ら操作しなくとも、ギフトに対応する表情又はポーズがアバターに適用できる利点がある。すなわち、所定の表情又はポーズとするための情報は、前記配信者からギフトを提供する以外の操作なしに、生成されてよい。
【0107】
また、上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等を自動的に実現できることとなり、視聴者端末からの操作なく、アバターの表情が変更する結果が生じる反応を楽しむことのできる利点がある。
【0108】
４．実施形態
４－１．実施形態１
実施形態１は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図６を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの表現等を変更することも可能であってよい。
４－１．実施形態１
実施形態１は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図６を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの表現等を変更することも可能であってよい。
【0109】
ステップ１
取得部が、所定の動作等の情報を取得する（ステップ００１）。かかる所定の動作等の情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力された情報や演出としてサーバ内で生成された情報が、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。
取得部が、所定の動作等の情報を取得する（ステップ００１）。かかる所定の動作等の情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力された情報や演出としてサーバ内で生成された情報が、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。
【0110】
ステップ２
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合における所定の表情等を示す情報を有していてよい。
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合における所定の表情等を示す情報を有していてよい。
【0111】
ステップ３
特定された表情等を、視聴者端末において、所定の条件の充足に使用されたアバターに係る表情等に設定する（ステップ００３）。視聴者は、所定の動作等に対応して、アバターの表情等が変更される反応を視聴できる利点がある。
特定された表情等を、視聴者端末において、所定の条件の充足に使用されたアバターに係る表情等に設定する（ステップ００３）。視聴者は、所定の動作等に対応して、アバターの表情等が変更される反応を視聴できる利点がある。
【0112】
ステップ４
各視聴者端末において、アバターの所定の表情等が所定の期間表示された後、元のかかるアバターに係る配信者の表情等に基づく表情にアバターに係る表情等は戻る（ステップ００４）。
各視聴者端末において、アバターの所定の表情等が所定の期間表示された後、元のかかるアバターに係る配信者の表情等に基づく表情にアバターに係る表情等は戻る（ステップ００４）。
【0113】
４－２．実施形態２
実施形態２は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上において、アニメーションが生成される前提で、図７を用いて説明する。
実施形態２は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上において、アニメーションが生成される前提で、図７を用いて説明する。
【0114】
ステップ１
取得部が、所定の動作等の情報を取得する（ステップ００１）。
取得部が、所定の動作等の情報を取得する（ステップ００１）。
【0115】
ステップ２
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。
【0116】
ステップ３
サーバは、特定された表情等を示す情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する（ステップ００３）。
サーバは、特定された表情等を示す情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する（ステップ００３）。
【0117】
ステップ４
各視聴者端末において、サーバから取得した表情等を示す情報を用いて、アバターの表情等を設定する（ステップ００４）。ここで、各視聴者端末において、かかる設定されたアバターの表情等を用いて、アニメーションが生成されてもよい。
各視聴者端末において、サーバから取得した表情等を示す情報を用いて、アバターの表情等を設定する（ステップ００４）。ここで、各視聴者端末において、かかる設定されたアバターの表情等を用いて、アニメーションが生成されてもよい。
【0118】
ステップ５
各視聴者端末において、サーバから取得した表情等を示す情報が用いられたアバターの表情等が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情に設定される（ステップ００５）。なお、アニメ―エションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された表情等が用いられて表示され、その後は、アバターに係る配信者の表情等に基づきトラッキングによって得られた表情等がアバターの表情等として使用されてよい。
各視聴者端末において、サーバから取得した表情等を示す情報が用いられたアバターの表情等が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情に設定される（ステップ００５）。なお、アニメ―エションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された表情等が用いられて表示され、その後は、アバターに係る配信者の表情等に基づきトラッキングによって得られた表情等がアバターの表情等として使用されてよい。
【0119】
４－３．実施形態３
実施形態３は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバ上において、アバターの表情を含む映像が生成される前提で、図８を用いて説明する。
実施形態３は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバ上において、アバターの表情を含む映像が生成される前提で、図８を用いて説明する。
【0120】
ステップ１
取得部が、所定の動作等の情報を取得する（ステップ００１）。
取得部が、所定の動作等の情報を取得する（ステップ００１）。
【0121】
ステップ２
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。
【0122】
ステップ３
サーバは、特定された表情等を示す情報等を用いて、かかるアバターの配信についての映像を生成する（ステップ００３）。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる特定された表情等を示す情報が送信され、かかる映像生成するサーバにおいて、かかる特定された表情等を示す情報が用いられてよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。
サーバは、特定された表情等を示す情報等を用いて、かかるアバターの配信についての映像を生成する（ステップ００３）。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる特定された表情等を示す情報が送信され、かかる映像生成するサーバにおいて、かかる特定された表情等を示す情報が用いられてよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。
【0123】
ステップ４
特定された表情等を示す情報に基づいて特定された表情を用いて生成されたアバターの映像が、各視聴者端末に対して送信される（ステップ００４）。
特定された表情等を示す情報に基づいて特定された表情を用いて生成されたアバターの映像が、各視聴者端末に対して送信される（ステップ００４）。
【0124】
ステップ５
各視聴者端末において、サーバから取得した表情等を示す情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情等に基づくアバターの映像が表示される（ステップ００５）。
各視聴者端末において、サーバから取得した表情等を示す情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情等に基づくアバターの映像が表示される（ステップ００５）。
【0125】
４－４．様々な実施態様について
第１の態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成しする 、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
第１の態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成しする 、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
【0126】
第２の態様によるコンピュータプログラムは、上記第１の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
【0127】
第３の態様によるコンピュータプログラムは、上記第１の態様又は上記第２の態様において「前記アバターの所定の動作は、所定の対象を見る動作を含む」ものである。
【0128】
第４の態様によるコンピュータプログラムは、上記第１乃至上記第３のいずれか一の態様において「前記所定の対象が他のアバター又はキャラクタである場合、前記アバターの所定の動作は、前記アバターの視線と前記所定の対象に係る視線とが合うことを含む」ものである。
【0129】
第５の態様によるコンピュータプログラムは、上記第１乃至上記第４のいずれか一の態様において「前記所定の動作が、前記所定の対象を見る動作を含む場合、前記所定の条件は、前記所定の対象が前記アバターの視線方向となるように前記アバターの視線を移動させること、又は、前記アバターの視線上において前記所定の対象が存在する こと、を含む」ものである。
【0130】
第６の態様によるコンピュータプログラムは、上記第１乃至上記第５のいずれか一の態様において「前記アバターの所定の動作は、所定の対象に接触する動作を含む」ものである。
【0131】
第７の態様によるコンピュータプログラムは、上記第１乃至上記第６のいずれか一の態様において「前記所定の動作が、前記所定の対象に接触する動作を含む場合、前記所定の条件は、前記アバターに係る位置と、前記所定の対象に係る位置と、の距離が所定の距離内であること、を含む」ものである。
【0132】
第８の態様によるコンピュータプログラムは、上記第１乃至上記第７のいずれか一の態様において「前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダーの位置、のいずれかである」ものである。
【0133】
第９の態様によるコンピュータプログラムは、上記第１乃至上記第８のいずれか一の態様において「前記アバターの所定の動作は、所定の対象の飲食動作を含む」ものである。
【0134】
第１０の態様によるコンピュータプログラムは、上記第１乃至上記第９のいずれか一の態様において「前記アバターの所定の動作は、匂い又は臭いに対する所定のジェスチャーを含む」ものである。
【0135】
第１１の態様によるコンピュータプログラムは、上記第１乃至上記第１０のいずれか一の態様において「前記アバターの所定の動作は、音を聞く又は／聴くことについての所定のジェスチャーを含む」ものである。
【0136】
第１２の態様によるコンピュータプログラムは、上記第１乃至上記第１１のいずれか一の態様において「前記所定の条件は、前記アバターの前記所定のジェスチャーの検知を用いる」ものである。
【0137】
第１３の態様によるコンピュータプログラムは、上記第１乃至上記第１２のいずれか一の態様において「前記アバターに関して生じる所定の状況は、仮想空間内において所定の音が生じることを含む」ものである。
【0138】
第１４の態様によるコンピュータプログラムは、上記第１乃至上記第１３のいずれか一の態様において「前記アバターに関して生じる所定の状況は、所定の物に係る位置と、前記アバターに係る位置と、の距離が所定の範囲内になることを含む」ものである。
【0139】
第１５の態様によるコンピュータプログラムは、上記第１乃至上記第１４のいずれか一の態様において「前記アバターに関して生じる所定の状況は、所定の対象と、前記アバターの所定のポーズと、が所定の組み合わせとなることを含む」ものである。
【0140】
第１６の態様によるコンピュータプログラムは、上記第１乃至上記第１５のいずれか一の態様において「前記アバターの顔色は、顔色の変化を含む」ものである。
【0141】
第１７の態様によるコンピュータプログラムは、上記第１乃至上記第１６のいずれか一の態様において「前記アバターの声は、前記アバターの声の音質が所定の範囲以上変化すること、又は、前記アバターの声の音量が所定の量以上変化すること、を含む」ものである。
【0142】
第１８の態様によるコンピュータプログラムは、上記第１乃至上記第１７のいずれか一の態様において「所定の時間内において、第１の所定の条件が充足し、かつ、第２の所定の条件が充足した場合、前記第１の所定の条件又は前記第２の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用する」ものである。
【0143】
第１９の態様によるコンピュータプログラムは、上記第１乃至上記第１８のいずれか一の態様において「前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成される」ものである。
【0144】
第２０の態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、」ものである。
【0145】
第２１の態様によるコンピュータプログラムは、上記第２０の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
【0146】
第２２の態様によるサーバ装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
【0147】
第２３の態様によるサーバ装置は、上記第２２の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
【0148】
第２４の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
【0149】
第２５の態様による方法は、上記第２４の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
【0150】
第２６の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
【0151】
第２７の態様による方法は、上記第２６の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
【0152】
第２８の態様による視聴者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
【0153】
第２９の態様による視聴者端末装置は、上記第２８の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
【0154】
第３０の態様による配信者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
【0155】
第３１の態様による配信者端末装置は、上記第３０の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
【0156】
また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
【0157】
本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。
【符号の説明】
【0158】
１ システム
１０ 通信網
２０（２０Ａ～２０Ｃ） サーバ装置
３０（３０Ａ～３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 取得部
４２ 条件適用部
１０ 通信網
２０（２０Ａ～２０Ｃ） サーバ装置
３０（３０Ａ～３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 取得部
４２ 条件適用部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
