(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-10
(45)【発行日】2023-05-18
(54)【発明の名称】キャラクタを使ったライブ通信システム
(51)【国際特許分類】
H04N 7/15 20060101AFI20230511BHJP
H04L 67/00 20220101ALI20230511BHJP
H04L 67/02 20220101ALI20230511BHJP
H04M 1/00 20060101ALI20230511BHJP
H04M 11/00 20060101ALI20230511BHJP
H04N 21/431 20110101ALI20230511BHJP
【ＦＩ】
H04N7/15 170
H04L67/00
H04L67/02
H04M1/00 R
H04M11/00 302
H04N21/431
【請求項の数】
9
(21)【出願番号】P 2019002271
(22)【出願日】2019-01-10
(65)【公開番号】P2020113857
(43)【公開日】2020-07-27
【審査請求日】2021-11-12
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年９月１８日に、Ａｐｐｌｅ Ｉｎｃ．のＴｅｓｔＦｌｉｇｈｔ（ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ｔｅｓｔｆｌｉｇｈｔ／）、において公開。
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年１０月４日に、ｈｔｔｐｓ：／／ｉｔｕｎｅｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｉｒｉａｍ－％Ｅ３％８２％Ａ４％Ｅ３％８３％ＡＡ％Ｅ３％８２％Ａ２％Ｅ３％８３％Ａ０／ｉｄ１３５８０５７２９６？ｍｔ＝８、において公開。
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年１０月４日に、ｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｊｐ．ｃｏ．ｄｕｏ７．ｖｒ．ｉｒｉａｍ、において公開。
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年１０月４日に、ｈｔｔｐｓ：／／ｉｒｉａｍ．ｃｏｍ／およびｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ｉｒｉａｍ＿ｏｆｆｉｃｉａｌ、において公開。
(73)【特許権者】
【識別番号】520252952
【氏名又は名称】株式会社ＩＲＩＡＭ
(74)【代理人】
【識別番号】110002273
【氏名又は名称】弁理士法人インターブレイン
(72)【発明者】
【氏名】塚本 大地
(72)【発明者】
【氏名】伊藤 周
(72)【発明者】
【氏名】井上 徹
(72)【発明者】
【氏名】坪田 朋
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開２００３－０１６４７５（ＪＰ，Ａ）
【文献】特開２０１７－１９９３５２（ＪＰ，Ａ）
【文献】特開２００４－２３６１８６（ＪＰ，Ａ）
【文献】国際公開第２０１８／１４２４９４（ＷＯ，Ａ１）
【文献】特表２０１６－５３７９２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１４ － ７／１７３
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｈ０４Ｌ ６７／００ － ６７／７５
Ｈ０４Ｍ １／００
Ｈ０４Ｍ １１／００ － １１／１０
(57)【特許請求の範囲】
【請求項1】
配信者により操作される配信端末と視聴者により操作される視聴端末を含み、前記配信端末は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
配信者から第１メッセージを受け付ける第１メッセージ取得部と、
前記動作情報および前記第１メッセージを送信する送信部と、を備え、
前記視聴端末は、
前記動作情報および前記第１メッセージを受信する受信部と、
前記視聴端末の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第１メッセージを出力する第１メッセージ出力部と、を備え、
前記配信端末の動作情報生成部は、配信者の顔画像から、配信者の表情を示す特徴ベクトルを前記動作情報として設定し、
前記視聴端末の視聴キャラクタ表示部は、前記特徴ベクトルに基づいてキャラクタの表情を変化させ、更に、
配信者の表情を示す特徴ベクトルが所定の表情条件を満たしたときには、前記キャラクタの表情をあらかじめ定められた特定表情に変化させることを特徴とするライブ通信システム。
【請求項2】
配信者により操作される配信端末と視聴者により操作される視聴端末を含み、前記配信端末は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
配信者から第１メッセージを受け付ける第１メッセージ取得部と、
前記動作情報および前記第１メッセージを送信する送信部と、を備え、
前記視聴端末は、
前記動作情報および前記第１メッセージを受信する受信部と、
前記視聴端末の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第１メッセージを出力する第１メッセージ出力部と、を備え、
前記配信端末の動作情報生成部は、配信者の前後および左右の動きを検出することにより、配信者と前記配信端末の相対位置を前記動作情報として設定し、
前記視聴端末の視聴キャラクタ表示部は、前記相対位置に基づいて前記視聴端末の画面における前記キャラクタの位置およびサイズの双方または一方を変化させることを特徴とするライブ通信システム。
【請求項3】
配信者により操作される配信端末と視聴者により操作される視聴端末を含み、前記配信端末は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
配信者から第１メッセージを受け付ける第１メッセージ取得部と、
前記動作情報および前記第１メッセージを送信する送信部と、
複数の表情ボタンを前記配信端末に表示させるボタン表示部と、を備え、
前記視聴端末は、
前記動作情報および前記第１メッセージを受信する受信部と、
前記視聴端末の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第１メッセージを出力する第１メッセージ出力部と、を備え、
前記配信端末の送信部は、更に、前記複数の表情ボタンのうち選択された表情ボタンを識別する表情ＩＤを前記視聴端末に送信し、
前記視聴端末の受信部は、前記表情ＩＤを受信し、
前記視聴端末の視聴キャラクタ表示部は、前記表情ＩＤに対応する特定表情に前記キャラクタの表情を変化させることを特徴とするライブ通信システム。
【請求項4】
配信者により操作される配信端末と視聴者により操作される視聴端末を含み、前記配信端末は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
配信者から第１メッセージを受け付ける第１メッセージ取得部と、
前記動作情報および前記第１メッセージを送信する送信部と、を備え、
前記視聴端末は、
前記動作情報および前記第１メッセージを受信する受信部と、
前記視聴端末の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第１メッセージを出力する第１メッセージ出力部と、
視聴者から、複数のキャラクタのうちのいずれかを選択を受け付けるキャラクタ選択部と、を備え、
前記視聴端末の視聴キャラクタ表示部は、前記選択されたキャラクタに応じて、前記動作情報に応じたキャラクタの動作量を変化させることを特徴とするライブ通信システム。
【請求項5】
配信者により操作される配信端末と視聴者により操作される視聴端末を含み、前記配信端末は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
配信者から第１メッセージを受け付ける第１メッセージ取得部と、
前記動作情報および前記第１メッセージを送信する送信部と、を備え、
前記視聴端末は、
前記動作情報および前記第１メッセージを受信する受信部と、
前記視聴端末の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第１メッセージを出力する第１メッセージ出力部と、を備え、
前記配信端末の動作情報生成部は、更に、手の動きを前記動作情報として設定し、
前記視聴端末の視聴キャラクタ表示部は、手の動きを示す動作情報が受信されたとき、キャラクタに手を振る動作をさせることを特徴とするライブ通信システム。
【請求項6】
配信者により操作される配信端末と視聴者により操作される視聴端末を含み、前記配信端末は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
配信者から第１メッセージを受け付ける第１メッセージ取得部と、
前記動作情報および前記第１メッセージを送信する送信部と、を備え、
前記視聴端末は、
前記動作情報および前記第１メッセージを受信する受信部と、
前記視聴端末の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第１メッセージを出力する第１メッセージ出力部と、
視聴者から装飾アイテムの選択を受け付ける提供アイテム選択部と、
前記選択された装飾アイテムを前記配信端末に送信する送信部と、を備え、
前記配信端末は、
前記視聴端末から、装飾アイテムを識別するアイテムＩＤを受信する受信部と、
視聴者から受け取った複数の装飾アイテムのうち、配信者による装飾アイテムの選択を受け付ける着用アイテム選択部と、を更に備え、
前記配信端末の送信部は、前記選択された装飾アイテムのアイテムＩＤを前記視聴端末に送信し、
前記視聴端末の受信部は、前記視聴端末からアイテムＩＤを受信し、
前記視聴端末の視聴キャラクタ表示部は、前記受信されたアイテムＩＤに対応する装飾アイテムを前記キャラクタの衣装として追加した上で前記キャラクタを表示させることを特徴とするライブ通信システム。
【請求項7】
前記配信端末は、前記配信端末の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる配信キャラクタ表示部、を更に備え、
前記送信部は、前記動作情報の送信に際しては、前記キャラクタの動画データを前記視聴端末への送信対象とはせず、
前記配信端末および前記視聴端末は、前記動作情報に基づいてそれぞれ独自にキャラクタを動画表示させることを特徴とする請求項１から６のいずれかに記載のライブ通信システム。
【請求項8】
前記配信端末は、複数の前記視聴端末と同時接続され、前記配信端末の送信部は、前記動作情報および前記第１メッセージを複数の前記視聴端末に同時送信し、
前記視聴端末は、前記視聴者から第２メッセージを受け付ける第２メッセージ取得部、を更に備え、
前記配信端末は、
前記第２メッセージを受信する受信部と、
前記第２メッセージを前記配信者に対して出力する第２メッセージ出力部と、を更に備え、
前記第２メッセージ出力部は、複数の視聴端末から受信した複数の第２メッセージを前記配信者に対して順番に表示させることを特徴とする請求項１から６のいずれかに記載のライブ通信システム。
【請求項9】
前記配信端末の動作情報生成部は、配信者の顔画像から、配信者の表情を示す特徴ベクトルを前記動作情報として設定し、前記視聴端末の視聴キャラクタ表示部は、前記特徴ベクトルに基づいてキャラクタの表情を変化させることを特徴とする請求項２から６のいずれかに記載のライブ通信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信ネットワークを介した視覚的なコミュニケーション技術、に関する。
【背景技術】
【0002】
スマートフォンの普及にともない、ＳＮＳ（Social Networking Service）を介したコミュニケーションが一般化している。ＳＮＳでは、テキストだけでなく写真や動画像などさまざまなコンテンツを気軽に共有できる。ＳＮＳは、人と人との「絆（つながり）」を強く感じさせるツールである。
【0003】
一方、コンピュータゲームの分野においては、ユーザがキャラクタ（コンピュータ）と会話をしながらプレイするゲームも多い。ユーザは、現実には存在しないキャラクタに対して強い思い入れをもつことが多い。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１２－２３１２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
キャラクタは、ゲームデザイナーによってつくられた仮想的存在であり、人間のような実在感をもたない。その一方、キャラクタは、非実在感に起因する独特の魅力をもつ。本発明者らは、キャラクタ特有の魅力と人間特有の「リアルなつながり」の双方を取り込むことにより、新しいコミュニケーション方法を提案できるのではないかと考えた。
【0006】
具体的には、配信者（人間）と視聴者（人間）の会話を想定する。配信者は、ちょうどテレビアニメの声優のようにキャラクタの代弁者となり、キャラクタを通して視聴者と会話する。このようなコミュニケーションを想定した場合、キャラクタは、配信者の言葉だけでなく、配信者の気持ちや態度を豊かに円滑に表現できることが望ましい。
【0007】
本発明は、上記認識に基づいて完成された発明であり、その主たる目的は、キャラクタを介したコミュニケーションにおいて、特に、豊かで円滑な非言語コミュニケーションを実現するための技術、を提供することにある。
【課題を解決するための手段】
【0008】
本発明のある態様におけるライブ通信システムは、配信者により操作される配信端末と視聴者により操作される視聴端末を含む。
配信端末は、配信者を撮像する撮像部と、配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、配信者から第１メッセージを受け付ける第１メッセージ取得部と、動作情報および第１メッセージを送信する送信部と、を備える。
視聴端末は、動作情報および第１メッセージを受信する受信部と、視聴端末の画面にキャラクタを動画表示させ、動作情報に応じてキャラクタを動作させる視聴キャラクタ表示部と、キャラクタの動作に合わせて第１メッセージを出力する第１メッセージ出力部と、を備える。
配信端末は、配信者を撮像する撮像部と、配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、配信者から第１メッセージを受け付ける第１メッセージ取得部と、動作情報および第１メッセージを送信する送信部と、を備える。
視聴端末は、動作情報および第１メッセージを受信する受信部と、視聴端末の画面にキャラクタを動画表示させ、動作情報に応じてキャラクタを動作させる視聴キャラクタ表示部と、キャラクタの動作に合わせて第１メッセージを出力する第１メッセージ出力部と、を備える。
【0009】
本発明のある態様における配信端末は、複数の視聴者により操作される複数の視聴端末と接続される。配信端末は、配信者を撮像する撮像部と、配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、配信者から第１メッセージを受け付ける第１メッセージ取得部と、動作情報および第１メッセージを送信する送信部と、複数の視聴端末から第２メッセージを受信する受信部と、第２メッセージを配信者に対して出力する第２メッセージ出力部と、を備える。
第２メッセージ出力部は、複数の視聴端末から受信した複数の第２メッセージを配信者に対して順番に表示させる。
第２メッセージ出力部は、複数の視聴端末から受信した複数の第２メッセージを配信者に対して順番に表示させる。
【発明の効果】
【0010】
本発明によれば、キャラクタを介した豊かなコミュニケーションを実現しやすくなる。
【図面の簡単な説明】
【0011】
【図1】ライブ通信システムのハードウェア構成図である。
【図2】ライブ通信システムによる会話サービスを説明するための模式図である。
【図3】配信端末およびサーバの機能ブロック図である。
【図4】視聴端末の機能ブロック図である。
【図5】キャラクタ選択画面の画面図である。
【図6】視聴端末に表示される視聴者会話画面の画面図である。
【図7】配信端末に表示される配信者会話画面の画面図である。
【図8】配信端末および視聴端末の双方においてキャラクタを表示させる処理のシーケンス図である。
【図9】配信者が体を傾けたときのキャラクタを示す画面図である。
【図10】配信者が表情を変化させたときのキャラクタを示す画面図である。
【図11】特定表情をするときのキャラクタを示す画面図である。
【図12】手を振るときのキャラクタを示す画面図である。
【図13】視聴者が装飾アイテムを選択するときの画面図である。
【図14】アイテム格納部のデータ構造図である。
【図15】キャラクタが装飾アイテムを着用したときの画面図である。
【図16】キャラクタに装飾アイテムをプレゼントし、キャラクタが装飾アイテムを着用する処理過程を示すシーケンス図である。
【発明を実施するための形態】
【0012】
図１は、ライブ通信システム１００のハードウェア構成図である。
ライブ通信システム１００においては、サーバ１０２に対して、複数の配信端末１０４ａ、１０４ｂ・・・１０４ｍ（以下、まとめて言うときや特に区別しないときには「配信端末１０４」と総称する）および複数の視聴端末１０８ａ、１０８ｂ・・・１０８ｎ（以下、まとめて言うときや特に区別しないときには「視聴端末１０８」と総称する）がインターネット１０６を介して接続される。配信端末１０４および視聴端末１０８としては、スマートフォンを想定しているが、ラップトップＰＣなどの汎用コンピュータであってもよい。
ライブ通信システム１００においては、サーバ１０２に対して、複数の配信端末１０４ａ、１０４ｂ・・・１０４ｍ（以下、まとめて言うときや特に区別しないときには「配信端末１０４」と総称する）および複数の視聴端末１０８ａ、１０８ｂ・・・１０８ｎ（以下、まとめて言うときや特に区別しないときには「視聴端末１０８」と総称する）がインターネット１０６を介して接続される。配信端末１０４および視聴端末１０８としては、スマートフォンを想定しているが、ラップトップＰＣなどの汎用コンピュータであってもよい。
【0013】
配信端末１０４を使用するユーザを「配信者」とよぶ。視聴端末１０８を使用するユーザを「視聴者」とよぶ。配信者がサービスの提供者となり、視聴者がサービスの享受者となる。
【0014】
図２は、ライブ通信システム１００による会話サービスを説明するための模式図である。
本実施形態においては、１つの配信端末１０４に対して多数の視聴端末１０８が同時接続できる。以下、１対多通信を前提として説明する。図２は、１人の配信者１１０に対して、３人の視聴者１１２ａ、１１２ｂ、１１２ｃ（以下、まとめて言うときや特に区別しないときには「視聴者１１２」と総称する）がグループで会話をする状況を想定している。
本実施形態においては、１つの配信端末１０４に対して多数の視聴端末１０８が同時接続できる。以下、１対多通信を前提として説明する。図２は、１人の配信者１１０に対して、３人の視聴者１１２ａ、１１２ｂ、１１２ｃ（以下、まとめて言うときや特に区別しないときには「視聴者１１２」と総称する）がグループで会話をする状況を想定している。
【0015】
配信者１１０にはあらかじめキャラクタが対応づけられる。配信端末１０４には配信者１１０に対応づけられる配信キャラクタ１１４ａが表示される。視聴端末１０８にも視聴キャラクタ１１４ｂが表示される。配信キャラクタ１１４ａと視聴キャラクタ１１４ｂはまったく同じキャラクタである。以下、配信キャラクタ１１４ａと視聴キャラクタ１１４ｂを特に区別しないときには単に「キャラクタ１１４」とよぶ。
【0016】
配信者１１０が配信端末１０４の前でしゃべると、その音声データは視聴端末１０８に一斉送信される。配信端末１０４は配信者の口の動きを検出し、配信キャラクタ１１４ａの口も動かす。また、これに連動して、視聴端末１０８は視聴キャラクタ１１４ｂの口も動かす。視聴者１１２には、配信者ではなく、あたかも視聴キャラクタ１１４ｂが自らの意思でしゃべっているように見える。いわば、配信者１１０は「声優」としてキャラクタ１１４の代弁者となる。以下、配信者１１０により入力される音声メッセージを「第１メッセージ」とよぶ。
【0017】
視聴者１１２は、テキストにて視聴端末１０８にメッセージ（以下、「第２メッセージ」とよぶ）を入力する。第２メッセージは、配信端末１０４および視聴端末１０８に一斉送信される。視聴者１１２は、視聴キャラクタ１１４ｂの話を聞きながら、第２メッセージを入力することでキャラクタ１１４（配信者１１０）と会話する。
【0018】
キャラクタ１１４の基本設定（キャラクタ１１４の容姿や表情変化の豊かさなど）と配信者１１０の声質や会話力によって、キャラクタ１１４の個性がかたちづくられる。
【0019】
図３は、配信端末１０４およびサーバ１０２の機能ブロック図である。
配信端末１０４およびサーバ１０２の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
視聴端末１０８についても同様である。
配信端末１０４およびサーバ１０２の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
視聴端末１０８についても同様である。
【0020】
（配信端末１０４）
配信端末１０４は、ユーザインタフェース処理部１１６、撮像部１１８、データ処理部１２０、通信部１２２およびデータ格納部１２４を含む。
通信部１２２は、通信処理を担当する。撮像部１１８は、配信者１１０を撮像する。ユーザインタフェース処理部１１６は、配信者１１０からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部１２４はキャラクタ１１４の画像データを含む各種データを格納する。データ処理部１２０は、通信部１２２、ユーザインタフェース処理部１１６、撮像部１１８により取得されたデータおよびデータ格納部１２４に格納されているデータに基づいて各種処理を実行する。データ処理部１２０は、ユーザインタフェース処理部１１６、撮像部１１８、通信部１２２およびデータ格納部１２４のインタフェースとしても機能する。
配信端末１０４は、ユーザインタフェース処理部１１６、撮像部１１８、データ処理部１２０、通信部１２２およびデータ格納部１２４を含む。
通信部１２２は、通信処理を担当する。撮像部１１８は、配信者１１０を撮像する。ユーザインタフェース処理部１１６は、配信者１１０からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部１２４はキャラクタ１１４の画像データを含む各種データを格納する。データ処理部１２０は、通信部１２２、ユーザインタフェース処理部１１６、撮像部１１８により取得されたデータおよびデータ格納部１２４に格納されているデータに基づいて各種処理を実行する。データ処理部１２０は、ユーザインタフェース処理部１１６、撮像部１１８、通信部１２２およびデータ格納部１２４のインタフェースとしても機能する。
【0021】
通信部１２２は、送信部１４８と受信部１５０を含む。
【0022】
ユーザインタフェース処理部１１６は、配信者１１０からの入力を受け付ける入力部１２６と配信者１１０に各種情報を出力する出力部１２８を含む。
入力部１２６は、動作検出部１３０、第１メッセージ取得部１３２、ボタン選択部１３４および着用アイテム選択部１３６を含む。動作検出部１３０は、撮像部１１８を介して配信者１１０の表情や体の動きを検出する。第１メッセージ取得部１３２は、第１メッセージ（音声メッセージ）を取得する。ボタン選択部１３４は、「表情ボタン（後述）」の選択を受け付ける。着用アイテム選択部１３６は、キャラクタ１１４に着用させる「装飾アイテム（後述）」の選択を受け付ける。
入力部１２６は、動作検出部１３０、第１メッセージ取得部１３２、ボタン選択部１３４および着用アイテム選択部１３６を含む。動作検出部１３０は、撮像部１１８を介して配信者１１０の表情や体の動きを検出する。第１メッセージ取得部１３２は、第１メッセージ（音声メッセージ）を取得する。ボタン選択部１３４は、「表情ボタン（後述）」の選択を受け付ける。着用アイテム選択部１３６は、キャラクタ１１４に着用させる「装飾アイテム（後述）」の選択を受け付ける。
【0023】
出力部１２８は、配信キャラクタ表示部１３８、第２メッセージ出力部１４０およびボタン表示部１４２を含む。
配信キャラクタ表示部１３８は配信端末１０４に配信キャラクタ１１４ａを表示させる。第２メッセージ出力部１４０は視聴者１１２による第２メッセージ（テキストメッセージ）を配信端末１０４に表示させる。ボタン表示部１４２は表情ボタンを表示させる。
配信キャラクタ表示部１３８は配信端末１０４に配信キャラクタ１１４ａを表示させる。第２メッセージ出力部１４０は視聴者１１２による第２メッセージ（テキストメッセージ）を配信端末１０４に表示させる。ボタン表示部１４２は表情ボタンを表示させる。
【0024】
データ処理部１２０は、動作情報生成部１４４および特定表情判定部１４６を含む。
動作情報生成部１４４は、動作検出部１３０の検出結果から「動作情報」を生成する。動作情報とは、配信者１１０の表情を示す特徴ベクトル（例：眉の角度、目や口の開度を示す数値、配信者１１０と配信端末１０４との相対的な位置関係（前後左右）を示す数値など、配信者１１０の動作状態を示す数値データである。特定表情判定部１４６は、キャラクタ１１４にさせるべき「特定表情」を判定する。特定表情とは、キャラクタ１１４の顔を漫画的に表現した表情であるが詳細は後述する。
動作情報生成部１４４は、動作検出部１３０の検出結果から「動作情報」を生成する。動作情報とは、配信者１１０の表情を示す特徴ベクトル（例：眉の角度、目や口の開度を示す数値、配信者１１０と配信端末１０４との相対的な位置関係（前後左右）を示す数値など、配信者１１０の動作状態を示す数値データである。特定表情判定部１４６は、キャラクタ１１４にさせるべき「特定表情」を判定する。特定表情とは、キャラクタ１１４の顔を漫画的に表現した表情であるが詳細は後述する。
【0025】
（サーバ１０２）
サーバ１０２は、通信部１５２、ライブ制御部１５４およびデータ格納部１５６を含む。
通信部１５２は、通信処理を担当する。データ格納部１５６は各種データを格納する。ライブ制御部１５４は、通信部１５２により取得されたデータおよびデータ格納部１５６に格納されているデータに基づいて配信端末１０４と視聴端末１０８のコミュニケーションを仲介・統括する。ライブ制御部１５４は、通信部１５２およびデータ格納部１５６のインタフェースとしても機能する。
サーバ１０２は、通信部１５２、ライブ制御部１５４およびデータ格納部１５６を含む。
通信部１５２は、通信処理を担当する。データ格納部１５６は各種データを格納する。ライブ制御部１５４は、通信部１５２により取得されたデータおよびデータ格納部１５６に格納されているデータに基づいて配信端末１０４と視聴端末１０８のコミュニケーションを仲介・統括する。ライブ制御部１５４は、通信部１５２およびデータ格納部１５６のインタフェースとしても機能する。
【0026】
データ格納部１５６は、複数のキャラクタ１１４のデータを格納するキャラクタ格納部１５８とキャラクタ１１４が保有する装飾アイテムを格納するアイテム格納部１６０を含む。アイテム格納部１６０のデータ構造は図１４に関連して後述する。
【0027】
図４は、視聴端末１０８の機能ブロック図である。
視聴端末１０８は、ユーザインタフェース処理部１６２、データ処理部１６６、通信部１６４およびデータ格納部１６８を含む。
通信部１６４は、通信処理を担当する。ユーザインタフェース処理部１６２は、視聴者１１２からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部１６８はキャラクタ１１４の画像データを含む各種データを格納する。配信端末１０４と視聴端末１０８はどちらもキャラクタ１１４のデータをそれぞれ格納する。データ処理部１６６は、通信部１６４およびユーザインタフェース処理部１６２により取得されたデータおよびデータ格納部１６８に格納されているデータに基づいて各種処理を実行する。データ処理部１６６は、ユーザインタフェース処理部１６２、通信部１６４およびデータ格納部１６８のインタフェースとしても機能する。
視聴端末１０８は、ユーザインタフェース処理部１６２、データ処理部１６６、通信部１６４およびデータ格納部１６８を含む。
通信部１６４は、通信処理を担当する。ユーザインタフェース処理部１６２は、視聴者１１２からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部１６８はキャラクタ１１４の画像データを含む各種データを格納する。配信端末１０４と視聴端末１０８はどちらもキャラクタ１１４のデータをそれぞれ格納する。データ処理部１６６は、通信部１６４およびユーザインタフェース処理部１６２により取得されたデータおよびデータ格納部１６８に格納されているデータに基づいて各種処理を実行する。データ処理部１６６は、ユーザインタフェース処理部１６２、通信部１６４およびデータ格納部１６８のインタフェースとしても機能する。
【0028】
通信部１２２は、送信部１８６と受信部１９０を含む。
【0029】
ユーザインタフェース処理部１６２は、視聴者１１２からの入力を受け付ける入力部１７０と視聴者１１２に各種情報を出力する出力部１７２を含む。
入力部１７０は、第２メッセージ取得部１７４、キャラクタ選択部１７６および提供アイテム選択部１７８を含む。第２メッセージ取得部１７４は、第２メッセージ（テキストメッセージ）を取得する。キャラクタ選択部１７６は、会話対象となるキャラクタ１１４の選択を受け付ける。提供アイテム選択部１７８はキャラクタ１１４にプレゼントしたい装飾アイテムの選択を受け付ける。
入力部１７０は、第２メッセージ取得部１７４、キャラクタ選択部１７６および提供アイテム選択部１７８を含む。第２メッセージ取得部１７４は、第２メッセージ（テキストメッセージ）を取得する。キャラクタ選択部１７６は、会話対象となるキャラクタ１１４の選択を受け付ける。提供アイテム選択部１７８はキャラクタ１１４にプレゼントしたい装飾アイテムの選択を受け付ける。
【0030】
出力部１７２は、視聴キャラクタ表示部１８０、第１メッセージ出力部１８２および第２メッセージ出力部１８４を含む。
視聴キャラクタ表示部１８０は、視聴端末１０８に視聴キャラクタ１１４ｂを表示させる。第１メッセージ出力部１８２は配信者１１０による第１メッセージを視聴端末１０８から音声出力する。第２メッセージ出力部１８４は視聴者１１２による第２メッセージを視聴端末１０８に画面表示させる。
視聴キャラクタ表示部１８０は、視聴端末１０８に視聴キャラクタ１１４ｂを表示させる。第１メッセージ出力部１８２は配信者１１０による第１メッセージを視聴端末１０８から音声出力する。第２メッセージ出力部１８４は視聴者１１２による第２メッセージを視聴端末１０８に画面表示させる。
【0031】
図５は、キャラクタ選択画面１９４の画面図である。
ライブ通信サービスの開始時において、サーバ１０２のライブ制御部１５４は、視聴端末１０８にキャラクタ選択画面１９４を表示させる。視聴者１１２は、視聴端末１０８に表示されたキャラクタ選択画面１９４において会話したい視聴キャラクタ１１４ｂ（配信者１１０）を選ぶ。ライブ制御部１５４は、会話可能な状態（スタンバイ状態）にある配信者１１０に対応するキャラクタ１１４を会話可能なキャラクタとしてキャラクタ選択画面１９４に提示する。
ライブ通信サービスの開始時において、サーバ１０２のライブ制御部１５４は、視聴端末１０８にキャラクタ選択画面１９４を表示させる。視聴者１１２は、視聴端末１０８に表示されたキャラクタ選択画面１９４において会話したい視聴キャラクタ１１４ｂ（配信者１１０）を選ぶ。ライブ制御部１５４は、会話可能な状態（スタンバイ状態）にある配信者１１０に対応するキャラクタ１１４を会話可能なキャラクタとしてキャラクタ選択画面１９４に提示する。
【0032】
キャラクタ選択画面１９４は、複数のキャラクタボタン１９２ａ、１９２ｂ（視聴キャラクタ１１４ｂ１、１１４ｂ２）を表示する。キャラクタ選択部１７６は視聴キャラクタ１１４ｂの選択を受け付ける。
以下、視聴者１１２はキャラクタボタン１９２ａを選択し、視聴キャラクタ１１４ｂ１との会話を楽しむものとして説明する。
以下、視聴者１１２はキャラクタボタン１９２ａを選択し、視聴キャラクタ１１４ｂ１との会話を楽しむものとして説明する。
【0033】
図６は、視聴端末１０８に表示される視聴者会話画面１９６の画面図である。
視聴端末１０８の視聴キャラクタ表示部１８０は、おしゃべりの相手として選ばれた視聴キャラクタ１１４ｂ１を動画表示させる。視聴者１１２は、視聴キャラクタ１１４ｂ１との会話を楽しむ。視聴者１１２からは配信者１１０の姿が見えることはない。視聴端末１０８の第１メッセージ出力部１８２は、視聴キャラクタ１１４ｂ１を担当する配信者１１０からの音声（第１メッセージ）を出力する。視聴者１１２は、テキストにより視聴キャラクタ１１４ｂ１へのメッセージ（第２メッセージ）を入力する。サーバ１０２は、第１メッセージおよび第２メッセージを配信端末１０４、視聴端末１０８の間で共有させる。
視聴端末１０８の視聴キャラクタ表示部１８０は、おしゃべりの相手として選ばれた視聴キャラクタ１１４ｂ１を動画表示させる。視聴者１１２は、視聴キャラクタ１１４ｂ１との会話を楽しむ。視聴者１１２からは配信者１１０の姿が見えることはない。視聴端末１０８の第１メッセージ出力部１８２は、視聴キャラクタ１１４ｂ１を担当する配信者１１０からの音声（第１メッセージ）を出力する。視聴者１１２は、テキストにより視聴キャラクタ１１４ｂ１へのメッセージ（第２メッセージ）を入力する。サーバ１０２は、第１メッセージおよび第２メッセージを配信端末１０４、視聴端末１０８の間で共有させる。
【0034】
第２メッセージ出力部１８４はメッセージ領域１９８に第２メッセージをテキスト表示させる。１人の配信者１１０が複数の視聴者１１２と同時並行にて会話する方式であるため、サーバ１０２は各視聴者１１２の第２メッセージを配信端末１０４および複数の視聴者１１２に一斉配信する。視聴者１１２は、メッセージ領域１９８により自分の第２メッセージだけでなく他の視聴者１１２の第２メッセージも視認できる。第２メッセージ出力部１８４は第２メッセージを受信順に並べて表示させる。
【0035】
視聴者１１２は、プレゼントボタン２００を選択することにより、視聴キャラクタ１１４ｂ１に対して装飾アイテムをプレゼントできる（図１３以降に関連して後述）。
【0036】
図７は、配信端末１０４に表示される配信者会話画面２０６の画面図である。
図７に示す配信者会話画面２０６は、配信キャラクタ１１４ａ１（視聴キャラクタ１１４ｂ１に対応）を担当する配信者１１０の配信端末１０４に表示される。配信キャラクタ表示部１３８は、配信キャラクタ１１４ａ１を動画表示させる。視聴キャラクタ１１４ｂ１と配信キャラクタ１１４ａは同一キャラクタであり、動きも同じである。配信者１１０は、自らの分身である配信キャラクタ１１４ａ１の動きを配信端末１０４にて確認しながら複数の視聴者１１２（視聴キャラクタ１１４ｂ１を会話の相手として選んだ視聴者１１２）と会話する。配信者１１０は、配信端末１０４に向かって音声にて第１メッセージを入力する。送信部１４８は第１メッセージをサーバ１０２に送信し、サーバ１０２のライブ制御部１５４は第１メッセージを複数の視聴端末１０８に配信する。
図７に示す配信者会話画面２０６は、配信キャラクタ１１４ａ１（視聴キャラクタ１１４ｂ１に対応）を担当する配信者１１０の配信端末１０４に表示される。配信キャラクタ表示部１３８は、配信キャラクタ１１４ａ１を動画表示させる。視聴キャラクタ１１４ｂ１と配信キャラクタ１１４ａは同一キャラクタであり、動きも同じである。配信者１１０は、自らの分身である配信キャラクタ１１４ａ１の動きを配信端末１０４にて確認しながら複数の視聴者１１２（視聴キャラクタ１１４ｂ１を会話の相手として選んだ視聴者１１２）と会話する。配信者１１０は、配信端末１０４に向かって音声にて第１メッセージを入力する。送信部１４８は第１メッセージをサーバ１０２に送信し、サーバ１０２のライブ制御部１５４は第１メッセージを複数の視聴端末１０８に配信する。
【0037】
第２メッセージ出力部１４０は、視聴者１１２からの第２メッセージをメッセージ領域１９８に時系列順にて表示させる。配信者１１０はメッセージ領域１９８に次々に表示される第２メッセージをみながら不特定多数の視聴者１１２に話しかける。配信端末１０４のカメラ２０８（撮像部１１８）は、配信者１１０を撮像する。動作検出部１３０は、撮像画像から配信者１１０の表情および動作を検出し、動作情報生成部１４４は動作情報を生成する。配信キャラクタ表示部１３８は、動作情報に基づいて配信キャラクタ１１４ａ１の動きを決定する。また、詳細は後述するが視聴キャラクタ１１４ｂ１も同じ動作情報に基づいて視聴端末１０８にて動画表示される。
【0038】
ボタン表示部１４２は、複数の表情ボタン２０２ａ（大笑い）、２０２ｂ（満面の笑み）、２０２ｃ（不機嫌）、２０２ｄ（困惑）（以下、まとめて「表情ボタン２０２」とよぶ）を表示させる。ボタン選択部１３４が表情ボタン２０２の選択を検出したとき、特定表情判定部１４６は表情ボタン２０２に対応する「特定表情」に選ぶ（図１１に関連して後述）。また、配信者１１０がバイバイ領域２０４をタッチしたときには、キャラクタ１１４は手を振る動作を行う（図１２に関連して後述）。
【0039】
図８は、配信端末１０４および視聴端末１０８の双方においてキャラクタ１１４を表示させる処理のシーケンス図である。
配信端末１０４の動作検出部１３０は、配信者１１０の動作を検出する（Ｓ１０）。動作情報生成部１４４は、動作情報を生成する（Ｓ１２）。動作情報は、配信者１１０の表情、体の角度、配信者１１０の撮像部１１８からの遠近、バイバイ領域２０４へのタッチの有無、表情ボタン２０２の選択結果、などを示す数値データである（Ｓ１２）。
配信端末１０４の動作検出部１３０は、配信者１１０の動作を検出する（Ｓ１０）。動作情報生成部１４４は、動作情報を生成する（Ｓ１２）。動作情報は、配信者１１０の表情、体の角度、配信者１１０の撮像部１１８からの遠近、バイバイ領域２０４へのタッチの有無、表情ボタン２０２の選択結果、などを示す数値データである（Ｓ１２）。
【0040】
配信端末１０４の送信部１４８は、サーバ１０２経由にて、各視聴端末１０８に動作情報を送信する（Ｓ１４）。配信キャラクタ表示部１３８は、動作情報に基づいて配信キャラクタ１１４ａ１の動画像を生成し（Ｓ１６）、配信端末１０４に配信キャラクタ１１４ａ１を動画表示させる（Ｓ１８）。
【0041】
一方、視聴端末１０８の視聴キャラクタ表示部１８０も、受信された動作情報に基づいて視聴キャラクタ１１４ｂ１の動画像を生成し（Ｓ２０）、視聴端末１０８に視聴キャラクタ１１４ｂ１を動画表示させる（Ｓ２２）。
【0042】
配信キャラクタ１１４ａ１と視聴キャラクタ１１４ｂ１は、同一のキャラクタであり、かつ、同一の動作情報に基づいて動きが決まるため、配信端末１０４および視聴端末１０８それぞれにおいて配信キャラクタ１１４ａ１と視聴キャラクタ１１４ｂは同じ姿にて同じ動作を行う。
【0043】
配信端末１０４は、キャラクタ１１４の動画像（キャラクタ画像）そのものを視聴端末１０８に送信しているのではなく、キャラクタ１１４の動作を定義する動作情報のみを送信している。動画像そのものを送信するよりも送信データ量が少ないため、配信キャラクタ１１４ａ１と視聴キャラクタ１１４ｂ１それぞれの動きを速やかに連動させやすい。いいかえれば、動作情報が配信キャラクタ１１４ａ１の動きとして反映されるまでの時間と、同じ動作情報が視聴キャラクタ１１４ｂ１の動きとして反映されるまでの時間の差分が小さいため、視聴者１１２はキャラクタ１１４（配信者１１０）との快適な会話を楽しむことができる。
【0044】
第１メッセージ（音声メッセージ）と動作情報は一体化して配信端末１０４から視聴端末１０８に送信されてもよい。この場合には、視聴キャラクタ表示部１８０は、視聴キャラクタ１１４ｂ１の動作と音声メッセージがずれにくくなる。また、動画像そのものではなく、動画像を決定するための動作情報を送信することは、インターネット１０６に対する通信負荷を抑制する上でも有効である。
【0045】
図９は、配信者１１０が体を傾けたときのキャラクタ１１４を示す画面図である。
配信者１１０が体を左右に傾けると、動作検出部１３０は体の傾斜を検出する。動作情報生成部１４４は、傾斜角および傾斜方向を動作情報に含める。視聴キャラクタ表示部１８０は、動作情報にしたがって、視聴キャラクタ１１４ｂ１を傾斜させる。配信キャラクタ表示部１３８も、同じ動作情報にしたがって配信キャラクタ１１４ａ１を傾斜させる。このように、配信者１１０が体を左右に傾けると、配信側と視聴側双方のキャラクタ１１４は配信者１１０に合わせて体を傾ける。配信者１１０が体を前後に傾けたときにも、キャラクタ１１４は同様にして体を前後させる。動作検出部１３０は、配信者１１０の前傾後傾を撮像画像に映る配信者１１０の大きさから認識すればよい。
配信者１１０が体を左右に傾けると、動作検出部１３０は体の傾斜を検出する。動作情報生成部１４４は、傾斜角および傾斜方向を動作情報に含める。視聴キャラクタ表示部１８０は、動作情報にしたがって、視聴キャラクタ１１４ｂ１を傾斜させる。配信キャラクタ表示部１３８も、同じ動作情報にしたがって配信キャラクタ１１４ａ１を傾斜させる。このように、配信者１１０が体を左右に傾けると、配信側と視聴側双方のキャラクタ１１４は配信者１１０に合わせて体を傾ける。配信者１１０が体を前後に傾けたときにも、キャラクタ１１４は同様にして体を前後させる。動作検出部１３０は、配信者１１０の前傾後傾を撮像画像に映る配信者１１０の大きさから認識すればよい。
【0046】
一般的には、体の傾斜に人間の心理が現れるといわれる。たとえば、会話に興味をもっているときに人間は前傾姿勢（聞こうという体勢）になりやすく、動揺しているときには体は左右に揺れるともいわれる。配信者１１０の体の動きをキャラクタ１１４にも反映させることにより、視聴者１１２はキャラクタ１１４（配信者１１０）の心理を感じ取ることができる。
【0047】
図１０は、配信者１１０が表情を変化させたときのキャラクタ１１４を示す画面図である。
配信者１１０が表情を変化させるとき、動作検出部１３０は配信者１１０の表情、具体的には、目の大きさ、口の形、眉毛の角度、眉間のシワの深さや方向などを検出する。動作情報生成部１４４は、これらの検出値に基づいて表情を定義する特徴ベクトルを生成する。特徴ベクトルは動作情報の一部となる。配信者１１０が片目をつぶったとき（ウィンク）、視聴キャラクタ表示部１８０は視聴キャラクタ１１４ｂ１をウィンクさせる。配信キャラクタ１１４ａ１についても同様である。
配信者１１０が表情を変化させるとき、動作検出部１３０は配信者１１０の表情、具体的には、目の大きさ、口の形、眉毛の角度、眉間のシワの深さや方向などを検出する。動作情報生成部１４４は、これらの検出値に基づいて表情を定義する特徴ベクトルを生成する。特徴ベクトルは動作情報の一部となる。配信者１１０が片目をつぶったとき（ウィンク）、視聴キャラクタ表示部１８０は視聴キャラクタ１１４ｂ１をウィンクさせる。配信キャラクタ１１４ａ１についても同様である。
【0048】
このほかにも、舌を出す、口角を上げるなど、さまざまな表情を特徴ベクトル（動作情報）で数値表現することにより、配信者１１０の表情もキャラクタ１１４に反映させることができる。配信者１１０が微笑むときにはキャラクタ１１４も微笑む。配信者１１０が口をすぼめるとキャラクタ１１４も口をすぼめる。配信者１１０の表情とキャラクタ１１４の表情を連動させることにより、視聴者１１２はキャラクタ１１４の存在をいっそう身近に感じることができる。
【0049】
なお、キャラクタ１１４によって、配信者１１０の動きに対する追従性が異なる。たとえば、視聴キャラクタ１１４ｂ１は表情がゆたかなキャラクタであり、配信者１１０の表情のちょっとした変化も大きく反映されるとしてもよい。一方、視聴キャラクタ１１４ｂ２は冷静沈着なキャラクタであり、配信者１１０の表情が大きく変化してもあまりその表情が変化しないとしてもよい。
【0050】
より具体的には、配信者１１０の口角が５ポイントだけ上がったとき、視聴キャラクタ１１４ｂ１の口角は１０ポイントだけ上がり、視聴キャラクタ１１４ｂ２の口角は２ポイントしか上がらないとしてもよい。体を大きく動かしやすいアクティブなキャラクタ１１４がいてもよいし、舌を出すことはない淑やかなキャラクタ１１４がいてもよい。このように、動作情報がキャラクタ１１４の動きとしてどの程度まで反映されるかは、キャラクタ１１４によって異なる。キャラクタ１１４の個性は、キャラクタ１１４の有する基本設定と配信者１１０の個性（表情および会話力）によって形作られる。
【0051】
図１１は、特定表情をするときのキャラクタ１１４を示す画面図である。
配信者１１０は、表情ボタン２０２により特定表情（漫画的に表現される表情）を選択する。図１１は、視聴キャラクタ１１４ｂ１がぐっと目をつぶっているときの特定表情を示している。キャラクタ１１４は、二次元の漫画として表現されるため、人間にはできないけれども漫画では一般的な表現とされるさまざまな特定表情を示すことができる。たとえば、キャラクタ１１４が怒っていることを示すときには「怒り」の漫画的表象としてキャラクタ１１４の頭から「煙」を出してもよいし、こめかみに「青筋」を浮き上がらせてもよいし、キャラクタ１１４の顔を真っ赤にしてもよいし、眉をつり上がらせてもよい。キャラクタ１１４の困惑を示すときには、キャラクタ１１４の顔を真っ青にしてもよいし、キャラクタ１１４の顔に「汗」を表示してもよい。このように特定表情をいわゆる「漫符」として表現してもよい。涙や大爆笑など、人間にはできない表情あるいは人間が簡単には示せない大きな表情を特定表情の画像パターンとして用意してもよい。表情ボタン２０２が選択されたときには、特定表情判定部１４６は表情ボタン２０２に対応する特定表情を示す表情ＩＤを送信部１４８から視聴端末１０８に送信させる。視聴キャラクタ表示部１８０は、表情ＩＤに対応して視聴キャラクタ１１４ｂ１の表情を特定表情に変化させる。配信キャラクタ１１４ａ１の表情も表情ＩＤに応じて特定表情に変化する。
配信者１１０は、表情ボタン２０２により特定表情（漫画的に表現される表情）を選択する。図１１は、視聴キャラクタ１１４ｂ１がぐっと目をつぶっているときの特定表情を示している。キャラクタ１１４は、二次元の漫画として表現されるため、人間にはできないけれども漫画では一般的な表現とされるさまざまな特定表情を示すことができる。たとえば、キャラクタ１１４が怒っていることを示すときには「怒り」の漫画的表象としてキャラクタ１１４の頭から「煙」を出してもよいし、こめかみに「青筋」を浮き上がらせてもよいし、キャラクタ１１４の顔を真っ赤にしてもよいし、眉をつり上がらせてもよい。キャラクタ１１４の困惑を示すときには、キャラクタ１１４の顔を真っ青にしてもよいし、キャラクタ１１４の顔に「汗」を表示してもよい。このように特定表情をいわゆる「漫符」として表現してもよい。涙や大爆笑など、人間にはできない表情あるいは人間が簡単には示せない大きな表情を特定表情の画像パターンとして用意してもよい。表情ボタン２０２が選択されたときには、特定表情判定部１４６は表情ボタン２０２に対応する特定表情を示す表情ＩＤを送信部１４８から視聴端末１０８に送信させる。視聴キャラクタ表示部１８０は、表情ＩＤに対応して視聴キャラクタ１１４ｂ１の表情を特定表情に変化させる。配信キャラクタ１１４ａ１の表情も表情ＩＤに応じて特定表情に変化する。
【0052】
キャラクタ１１４は、人間（配信者１１０）にはできないが漫画ではおなじみの特定表情を実現できるため、人間では不可能な非語的コミュニケーションを実現できる。
【0053】
図１２は、手を振るときのキャラクタ１１４を示す画面図である。
配信者１１０がバイバイ領域２０４（図７参照）をタッチしたとき、動作情報生成部１４４は「手振り」を示す情報（以下、「バイバイ情報」とよぶ）を動作情報に含める。視聴キャラクタ表示部１８０は、バイバイ情報を受信したときには、視聴キャラクタ１１４ｂ１に手を振る動作を実行させる。
配信者１１０がバイバイ領域２０４（図７参照）をタッチしたとき、動作情報生成部１４４は「手振り」を示す情報（以下、「バイバイ情報」とよぶ）を動作情報に含める。視聴キャラクタ表示部１８０は、バイバイ情報を受信したときには、視聴キャラクタ１１４ｂ１に手を振る動作を実行させる。
【0054】
図１３は、視聴者１１２が装飾アイテムを選択するときの画面図である。
視聴者１１２がプレゼントボタン２００をタッチしたとき、視聴端末１０８の出力部１７２は提供アイテム選択領域２１０を表示させる。提供アイテム選択領域２１０は、視聴者１１２が保有する、または、購入可能な装飾アイテム２１２を一覧表示する。装飾アイテム２１２は、キャラクタ１１４が着用可能な衣服やアクセサリを示す画像である。
視聴者１１２がプレゼントボタン２００をタッチしたとき、視聴端末１０８の出力部１７２は提供アイテム選択領域２１０を表示させる。提供アイテム選択領域２１０は、視聴者１１２が保有する、または、購入可能な装飾アイテム２１２を一覧表示する。装飾アイテム２１２は、キャラクタ１１４が着用可能な衣服やアクセサリを示す画像である。
【0055】
視聴者１１２は、キャラクタ１１４にプレゼントしたい装飾アイテム２１２を提供アイテム選択領域２１０から選択する。提供アイテム選択部１７８は、装飾アイテム２１２の選択を検出する。このとき、出力部１７２は選択された装飾アイテム２１２がキャラクタ１１４に「おひねり」として投げ込まれるアニメーションを表示してもよい。また、視聴キャラクタ表示部１８０は、装飾アイテム２１２がプレゼントされたときに視聴キャラクタ１１４ｂ１が驚いたり、喜んだりする表情を表示してもよい。
【0056】
図１４は、アイテム格納部１６０のデータ構造図である。
サーバ１０２のアイテム格納部１６０は、キャラクタ１１４（配信者１１０）が保有する装飾アイテム２１２を管理する。図１４によれば、キャラクタＩＤ（ＣＩＤ）＝Ｃ０１のキャラクタ１１４（以下、「キャラクタ１１４（Ｃ０１）」のように表記する）は、装飾アイテム２１２（Ｍ０１）、装飾アイテム２１２（Ｍ０２）等の多数の装飾アイテム２１２を保有している。いわば、アイテム格納部１６０はキャラクタ１１４ごとの「衣装ケース」である。
サーバ１０２のアイテム格納部１６０は、キャラクタ１１４（配信者１１０）が保有する装飾アイテム２１２を管理する。図１４によれば、キャラクタＩＤ（ＣＩＤ）＝Ｃ０１のキャラクタ１１４（以下、「キャラクタ１１４（Ｃ０１）」のように表記する）は、装飾アイテム２１２（Ｍ０１）、装飾アイテム２１２（Ｍ０２）等の多数の装飾アイテム２１２を保有している。いわば、アイテム格納部１６０はキャラクタ１１４ごとの「衣装ケース」である。
【0057】
キャラクタ１１４（配信者１１０）が視聴者１１２から装飾アイテム２１２をもらったとき、ライブ制御部１５４はキャラクタ１１４に装飾アイテム２１２を対応づけて登録する。図１４によれば、キャラクタ１１４（Ｃ０１）は、視聴者１１２（Ｐ１３）から２０１８年１１月８日に装飾アイテム２１２（Ｍ０２）をもらっている。また、キャラクタ１１４（Ｃ０１）は、視聴者１１２（Ｐ２４）から装飾アイテム２１２（Ｍ０１）と装飾アイテム２１２（Ｍ０３）をプレゼントされている。したがって、視聴者１１２（Ｐ２４）は、キャラクタ１１４（Ｃ０１）を応援する気持ちを強く持っていると推測できる。
【0058】
どのキャラクタ１１４（配信者１１０）がどの視聴者１１２からどのような装飾アイテム２１２をどのくらいもらっているかにより、キャラクタ１１４の人気や支持層を確認できる。
【0059】
図１５は、キャラクタ１１４が装飾アイテム２１２を着用したときの画面図である。
配信者１１０は、保有している装飾アイテム２１２を選んでキャラクタ１１４に着用させることができる。視聴者１１２は、多数の視聴者１１２（ファン）からプレゼントされた多数の装飾アイテム２１２のうち、自分がプレゼントした装飾アイテム２１２をキャラクタ１１４が着用してくれれば、自分の真心がキャラクタ１１４に通じたかのような満足感を味わえる。配信者１１０も装飾アイテム２１２をキャラクタ１１４に着用させることにより、視聴者１１２（ファン）たちの期待に応える楽しみを味わえる。また、視聴者１１２は、装飾アイテム２１２をプレゼントすることにより、お気に入りのキャラクタ１１４のファッションの変化を楽しむことができる。配信者１１０は、キャラクタ１１４に複数の装飾アイテム２１２を同時に着用することでコーディネートを楽しんでもよい。
配信者１１０は、保有している装飾アイテム２１２を選んでキャラクタ１１４に着用させることができる。視聴者１１２は、多数の視聴者１１２（ファン）からプレゼントされた多数の装飾アイテム２１２のうち、自分がプレゼントした装飾アイテム２１２をキャラクタ１１４が着用してくれれば、自分の真心がキャラクタ１１４に通じたかのような満足感を味わえる。配信者１１０も装飾アイテム２１２をキャラクタ１１４に着用させることにより、視聴者１１２（ファン）たちの期待に応える楽しみを味わえる。また、視聴者１１２は、装飾アイテム２１２をプレゼントすることにより、お気に入りのキャラクタ１１４のファッションの変化を楽しむことができる。配信者１１０は、キャラクタ１１４に複数の装飾アイテム２１２を同時に着用することでコーディネートを楽しんでもよい。
【0060】
図１６は、キャラクタ１１４に装飾アイテム２１２をプレゼントし、キャラクタ１１４が装飾アイテム２１２を着用する処理過程を示すシーケンス図である。
視聴者１１２は、提供アイテム選択領域２１０において装飾アイテム２１２を選択する。着用アイテム選択部１３６は、装飾アイテム２１２の選択を検出する（Ｓ３０）。送信部１４８は、装飾アイテム２１２を特定するアイテムＩＤをサーバ１０２に送信する（Ｓ３２）。サーバ１０２の通信部１５２は、配信端末１０４に対して装飾アイテム２１２がプレゼントされた旨を通知する（Ｓ３４）。また、ライブ制御部１５４は装飾アイテム２１２をアイテム格納部１６０に登録する（Ｓ３６）。以上の処理過程により、視聴者１１２からキャラクタ１１４に装飾アイテム２１２がプレゼントされる。
視聴者１１２は、提供アイテム選択領域２１０において装飾アイテム２１２を選択する。着用アイテム選択部１３６は、装飾アイテム２１２の選択を検出する（Ｓ３０）。送信部１４８は、装飾アイテム２１２を特定するアイテムＩＤをサーバ１０２に送信する（Ｓ３２）。サーバ１０２の通信部１５２は、配信端末１０４に対して装飾アイテム２１２がプレゼントされた旨を通知する（Ｓ３４）。また、ライブ制御部１５４は装飾アイテム２１２をアイテム格納部１６０に登録する（Ｓ３６）。以上の処理過程により、視聴者１１２からキャラクタ１１４に装飾アイテム２１２がプレゼントされる。
【0061】
配信者１１０は、ライブ通信の開始に際して、キャラクタ１１４に着用させたい装飾アイテム２１２を選択する。まず、配信者１１０はサーバ１０２から装飾アイテム２１２の保有リストを取得する（Ｓ３８）。配信端末１０４の着用アイテム選択部１３６は、着用アイテム選択画面（不図示）から装飾アイテム２１２の選択を受付ける（Ｓ４０）。配信端末１０４の送信部１４８は選択された装飾アイテム２１２のアイテムＩＤをサーバ１０２に送信する（Ｓ４２）。サーバ１０２は、アイテムＩＤをすべての視聴端末１０８に通知する（Ｓ４４）。
【0062】
配信キャラクタ表示部１３８は、キャラクタ配信キャラクタ１１４ａに装飾アイテム２１２を着用させた画像を生成し（Ｓ４６）、配信端末１０４に表示させる（Ｓ４８）。また、視聴端末１０８の視聴キャラクタ表示部１８０も、キャラクタ視聴キャラクタ１１４ｂに装飾アイテム２１２を着用させた画像を生成し（Ｓ５０）、配信端末１０４に表示させる（Ｓ５２）。
【0063】
＜総括＞
以上、実施形態に基づいて、ライブ通信システム１００について説明した。
配信端末１０４は、キャラクタ１１４の動画像そのものではなく、動作情報を視聴端末１０８に送信する。視聴端末１０８は、動作情報に基づいてキャラクタ１１４の動画像をローカルに生成する。動作情報のデータ量は動画像のデータ量に比べると格段に小さいため、視聴者１１２はキャラクタ１１４（配信者１１０）とリアルタイム性の高い会話を楽しむことができる。
以上、実施形態に基づいて、ライブ通信システム１００について説明した。
配信端末１０４は、キャラクタ１１４の動画像そのものではなく、動作情報を視聴端末１０８に送信する。視聴端末１０８は、動作情報に基づいてキャラクタ１１４の動画像をローカルに生成する。動作情報のデータ量は動画像のデータ量に比べると格段に小さいため、視聴者１１２はキャラクタ１１４（配信者１１０）とリアルタイム性の高い会話を楽しむことができる。
【0064】
通信スループットが高いため、ライブ通信システム１００においては、１人の配信者１１０と複数の視聴者１１２が同時並行的に会話を楽しめる。このため、１人のキャラクタ１１４を囲んで複数の視聴者１１２で楽しむトークセッションのような場をつくることができる。配信者１１０も多数の視聴者１１２から話題を提供されるため、話の接ぎ穂をつかみやすくなると考えられる。
【0065】
キャラクタ１１４は、配信者１１０の声だけでなく、体の動きや表情といった非言語的コミュニケーションも可能であるため、視聴者１１２はキャラクタ１１４の存在をいっそう身近に感じやすくなる。キャラクタ１１４は、本質的には仮想的な存在であるが、配信者１１０の言葉や態度を反映させることにより、仮想でありながら実在性を感じさせるような特有の存在感を発揮できる。
【0066】
視聴者１１２は、複数のキャラクタ１１４（配信者１１０）の中からおしゃべりをしたい相手を自由に選ぶ。配信者１１０は、自分の担当するキャラクタ１１４を指名してくれた視聴者１１２の数、あるいは、視聴者１１２から提供される装飾アイテム２１２によりキャラクタ１１４の人気を感じることができる。このような人気を感じさせる仕組みは、配信者１１０がサービス精神や会話力を向上させる動機づけになると考えられる。
【0067】
視聴者１１２は、装飾アイテム２１２によりキャラクタ１１４への愛情を示すことができる。配信者１１０は、自分の化身であるキャラクタ１１４に装飾アイテム２１２を着用させることで視聴者１１２に感謝を示すことができる。また、視聴者１１２はキャラクタ１１４が自分のプレゼントした装飾アイテム２１２を着用してくれれば、多数の視聴者１１２から自分が選ばれたかのような優越感やキャラクタ１１４に対して気持ちが通じたかのような親近感を味わうことができる。
【0068】
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
【0069】
［変形例］
＜メッセージ＞
本実施形態においては、第１メッセージは音声、第２メッセージはテキストであるとして説明した。変形例として、第１メッセージはテキストであってもよいし、第２メッセージは音声であってもよい。また、スタンプ画像や絵文字など、アイコン画像によりメッセージを伝えてもよい。
＜メッセージ＞
本実施形態においては、第１メッセージは音声、第２メッセージはテキストであるとして説明した。変形例として、第１メッセージはテキストであってもよいし、第２メッセージは音声であってもよい。また、スタンプ画像や絵文字など、アイコン画像によりメッセージを伝えてもよい。
【0070】
＜手の動作＞
本実施形態においては、キャラクタ１１４が手を振る動作について説明した。手をつかった動作としては、このほかにも、両手を合わせて「お願い」をするポーズ、手を上げて「やめろ」を示すポーズ、両手を上げる「バンザイ」のポーズなど、さまざまなポーズをキャラクタ１１４させてもよい。
本実施形態においては、キャラクタ１１４が手を振る動作について説明した。手をつかった動作としては、このほかにも、両手を合わせて「お願い」をするポーズ、手を上げて「やめろ」を示すポーズ、両手を上げる「バンザイ」のポーズなど、さまざまなポーズをキャラクタ１１４させてもよい。
【0071】
本実施形態においては、配信者１１０がバイバイ領域２０４をタッチしたとき、キャラクタ１１４が手を振るとして説明した。変形例として、動作検出部１３０は配信者１１０の手の動きを検出してもよい。動作情報生成部１４４は、配信者１１０の手の動きを動作情報に含めてもよい。そして、配信キャラクタ表示部１３８と視聴キャラクタ表示部１８０は動作情報に合わせてキャラクタ１１４の手を動かしてもよい。
【0072】
＜体の動き＞
本実施形態においては、撮像画像から配信者１１０の体の動きを検出するとして説明した。変形例として、配信者１１０はボタン等の入力インタフェースにより、キャラクタ１１４の動作を指示してもよい。たとえば、うつむく、首をかしげる、身震い、ジャンプなどさまざまなアクションを入力インタフェースから指示してもよい。
本実施形態においては、撮像画像から配信者１１０の体の動きを検出するとして説明した。変形例として、配信者１１０はボタン等の入力インタフェースにより、キャラクタ１１４の動作を指示してもよい。たとえば、うつむく、首をかしげる、身震い、ジャンプなどさまざまなアクションを入力インタフェースから指示してもよい。
【0073】
＜特定表情＞
本実施形態においては、配信者１１０は表情ボタン２０２により特定表情を表示させるとして説明した。変形例として、配信者１１０は、自らの表情により特定表情を指示してもよい。たとえば、配信者１１０が両目を強くつぶったとき、特定表情判定部１４６は図１１に示したような「目つぶりの特定表情」を実行するための表情条件が成立したと判定してもよい。このときには「目つぶり特定表情」を示す表情ＩＤが配信端末１０４から視聴端末１０８に送信され、視聴キャラクタ表示部１８０はキャラクタ１１４の表情を「目つぶりの特定表情」に変化させる。目つぶりが１秒以上継続する、口を開けたときの大きさが閾値以上、などさまざまな表情条件を設定しておき、複数の表情条件それぞれに特定表情を対応づけてもよい。表情だけでなく、配信者１１０のポーズを検出することによって、キャラクタ１１４に得意なポーズ（キメのポーズ）をさせてもよい。
本実施形態においては、配信者１１０は表情ボタン２０２により特定表情を表示させるとして説明した。変形例として、配信者１１０は、自らの表情により特定表情を指示してもよい。たとえば、配信者１１０が両目を強くつぶったとき、特定表情判定部１４６は図１１に示したような「目つぶりの特定表情」を実行するための表情条件が成立したと判定してもよい。このときには「目つぶり特定表情」を示す表情ＩＤが配信端末１０４から視聴端末１０８に送信され、視聴キャラクタ表示部１８０はキャラクタ１１４の表情を「目つぶりの特定表情」に変化させる。目つぶりが１秒以上継続する、口を開けたときの大きさが閾値以上、などさまざまな表情条件を設定しておき、複数の表情条件それぞれに特定表情を対応づけてもよい。表情だけでなく、配信者１１０のポーズを検出することによって、キャラクタ１１４に得意なポーズ（キメのポーズ）をさせてもよい。
【0074】
＜キャリブレーション＞
配信端末１０４のデータ処理部１２０は、配信者１１０の表情補正（キャリブレーション）を実行する「キャリブレーション実行部」を更に備えてもよい。配信者１１０には表情が豊かな人もいれば表情の変化が乏しい人もいる。キャリブレーション実行部は、配信者１１０の新規登録にあたっては「大きな声で、あいうえお、としゃべってください」「体を揺らしてください」などさまざまな動作指示を行い、動作検出部１３０はこの動作指示に対する配信者１１０の動きを検出してもよい。たとえば、「あ」と発声するとき、配信者１１０ａは大きく口を開ける場合には、キャリブレーション実行部は、配信者１１０ａについてはある程度大きく口を開けたときしかキャラクタ１１４も大きく口を開けないように設定してもよい。また、配信者１１０ｂは大きく口を開けない場合、配信者１１０ｂについては少し口を開けたときでもキャラクタ１１４は大きく口を開けるように設定してもよい。このような制御方法によれば、配信者１１０ごとの動きの差異を吸収し、配信者１１０の動きに合わせてキャラクタ１１４を適切に変化させることができる。
配信端末１０４のデータ処理部１２０は、配信者１１０の表情補正（キャリブレーション）を実行する「キャリブレーション実行部」を更に備えてもよい。配信者１１０には表情が豊かな人もいれば表情の変化が乏しい人もいる。キャリブレーション実行部は、配信者１１０の新規登録にあたっては「大きな声で、あいうえお、としゃべってください」「体を揺らしてください」などさまざまな動作指示を行い、動作検出部１３０はこの動作指示に対する配信者１１０の動きを検出してもよい。たとえば、「あ」と発声するとき、配信者１１０ａは大きく口を開ける場合には、キャリブレーション実行部は、配信者１１０ａについてはある程度大きく口を開けたときしかキャラクタ１１４も大きく口を開けないように設定してもよい。また、配信者１１０ｂは大きく口を開けない場合、配信者１１０ｂについては少し口を開けたときでもキャラクタ１１４は大きく口を開けるように設定してもよい。このような制御方法によれば、配信者１１０ごとの動きの差異を吸収し、配信者１１０の動きに合わせてキャラクタ１１４を適切に変化させることができる。
【0075】
＜その他＞
視聴者１１２から装飾アイテム２１２がキャラクタ１１４に提供されたとき、キャラクタ１１４はすぐに装飾アイテム２１２を着用してもよい。本実施形態においては、配信端末１０４と視聴端末１０８の通信をサーバ１０２が中継するとして説明したが、配信端末１０４と視聴端末１０８はピア・ツー・ピア（Ｐ２Ｐ）にて直接通信してもよい。また、配信端末１０４の第２メッセージ取得部１７４は、配信者１１０の声質を変換して視聴端末１０８に伝えるためのボイスチェンジャーを備えてもよい。
視聴者１１２から装飾アイテム２１２がキャラクタ１１４に提供されたとき、キャラクタ１１４はすぐに装飾アイテム２１２を着用してもよい。本実施形態においては、配信端末１０４と視聴端末１０８の通信をサーバ１０２が中継するとして説明したが、配信端末１０４と視聴端末１０８はピア・ツー・ピア（Ｐ２Ｐ）にて直接通信してもよい。また、配信端末１０４の第２メッセージ取得部１７４は、配信者１１０の声質を変換して視聴端末１０８に伝えるためのボイスチェンジャーを備えてもよい。
【符号の説明】
【0076】
１００ ライブ通信システム、１０２ サーバ、１０４ 配信端末、１０６ インターネット、１０８ 視聴端末、１１０ 配信者、１１２ 視聴者、１１４ キャラクタ、１１４ａ 配信キャラクタ、１１４ｂ 視聴キャラクタ、１１６ ユーザインタフェース処理部、１１８ 撮像部、１２０ データ処理部、１２２ 通信部、１２４ データ格納部、１２６ 入力部、１２８ 出力部、１３０ 動作検出部、１３２ 第１メッセージ取得部、１３４ ボタン選択部、１３６ 着用アイテム選択部、１３８ 配信キャラクタ表示部、１４０ 第２メッセージ出力部、１４２ ボタン表示部、１４４ 動作情報生成部、１４６ 特定表情判定部、１４８ 送信部、１５０ 受信部、１５２ 通信部、１５４ ライブ制御部、１５６ データ格納部、１５８ キャラクタ格納部、１６０ アイテム格納部、１６２ ユーザインタフェース処理部、１６４ 通信部、１６６ データ処理部、１６８ データ格納部、１７０ 入力部、１７２ 出力部、１７４ 第２メッセージ取得部、１７６ キャラクタ選択部、１７８ 提供アイテム選択部、１８０ 視聴キャラクタ表示部、１８２ 第１メッセージ出力部、１８４ 第２メッセージ出力部、１８６ 送信部、１９０ 受信部、１９２ キャラクタボタン、１９４ キャラクタ選択画面、１９６ 視聴者会話画面、１９８ メッセージ領域、２００ プレゼントボタン、２０２ 表情ボタン、２０４ バイバイ領域、２０６ 配信者会話画面、２０８ カメラ、２１０ 提供アイテム選択領域、２１２ 装飾アイテム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】