(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023121759
(43)【公開日】2023-08-31
(54)【発明の名称】キャラクタを使ったライブ通信システム
(51)【国際特許分類】
H04L 51/04 20220101AFI20230824BHJP
G06F 3/01 20060101ALI20230824BHJP
G06F 3/0481 20220101ALI20230824BHJP
H04N 21/235 20110101ALI20230824BHJP
H04N 21/431 20110101ALI20230824BHJP
H04N 21/435 20110101ALI20230824BHJP
【FI】
H04L51/04
G06F3/01 570
G06F3/0481
H04N21/235
H04N21/431
H04N21/435
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023096732
(22)【出願日】2023-06-13
(62)【分割の表示】P 2019189404の分割
【原出願日】2019-10-16
(71)【出願人】
【識別番号】520252952
【氏名又は名称】株式会社IRIAM
(74)【代理人】
【識別番号】100125195
【弁理士】
【氏名又は名称】尾畑 雄一
(74)【代理人】
【識別番号】110002273
【氏名又は名称】弁理士法人インターブレイン
(72)【発明者】
【氏名】塚本 大地
(72)【発明者】
【氏名】井上 徹
(57)【要約】
【課題】 キャラクタを介したコミュニケーションにおいて、キャラクタと視聴者の非言語コミュニケーションを深化させる。
【解決手段】 配信者により操作される配信装置と視聴者により操作される視聴装置を含むライブ通信システムを想定する。配信端末は、配信者を撮像し、配信者の動作の特徴を示す動作情報を生成する。また、配信者から音声メッセージを受け付け、動作情報および音声メッセージを視聴装置に送信する。視聴装置は、動作情報に応じてキャラクタを動作させるとともに、キャラクタの動作に合わせて音声メッセージを出力する。視聴装置は、また、視聴者による飲食物オブジェクトの移動操作を受け付ける。飲食物オブジェクトがキャラクタの口に近づくと、キャラクタが飲食物オブジェクトを飲食する動画が表示される。
【選択図】
図11
【特許請求の範囲】
【請求項1】
配信者により操作される配信装置と視聴者により操作される視聴装置を含み、
前記配信装置は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
配信者から第1メッセージを受け付ける第1メッセージ取得部と、
前記動作情報および前記第1メッセージを送信する送信部と、を備え、
前記視聴装置は、
前記動作情報および前記第1メッセージを受信する受信部と、
前記視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第1メッセージを出力する第1メッセージ出力部と、
視聴者から、飲食物オブジェクトに対する移動操作を受け付ける飲食物操作部と、
視聴者による操作にしたがって、前記飲食物オブジェクトを移動表示させる飲食物表示部と、を備え、
前記視聴キャラクタ表示部は、所定の飲食条件が成立するとき、前記キャラクタが前記飲食物オブジェクトを飲食する動画を表示させることを特徴とするライブ通信システム。
【請求項2】
前記視聴装置の前記飲食物表示部は、視聴者の手の位置に対応して前記飲食物オブジェクトの位置座標を変化させ、
前記視聴キャラクタ表示部は、前記飲食物オブジェクトの位置座標と前記キャラクタの口の位置座標の距離が第1の閾値以下であるとき前記飲食条件が成立し、前記キャラクタが前記飲食物オブジェクトを飲食する動画を表示させることを特徴とする請求項1に記載のライブ通信システム。
【請求項3】
前記視聴装置の前記視聴キャラクタ表示部は、前記キャラクタが前記飲食物オブジェクトを飲食するとき、前記飲食物オブジェクトの一部を欠損させた画像を表示させることを特徴とする請求項1または2に記載のライブ通信システム。
【請求項4】
前記視聴装置は、
視聴者から、前記飲食物オブジェクトに対するサインの入力を受け付ける視聴サイン入力部、を更に備え、
前記飲食物表示部は、前記飲食物オブジェクトに前記サインを合成して表示させることを特徴とする請求項1から3のいずれかに記載のライブ通信システム。
【請求項5】
前記配信装置は、
配信者から、前記飲食物オブジェクトに対するサインの入力を受け付ける配信サイン入力部、を更に備え、
前記送信部は、更に、前記サインの画像を送信し、
前記視聴装置の前記受信部は、前記サインの画像を受信し、
前記飲食物表示部は、前記飲食物オブジェクトに前記サインの画像を合成して表示させることを特徴とする請求項1から4のいずれかに記載のライブ通信システム。
【請求項6】
前記配信装置は、複数の前記視聴装置と同時接続され、
前記視聴装置は、更に、視聴者により指定された飲食物オブジェクトのIDを送信する送信部、を更に備え、
前記配信装置は、1以上の視聴装置において指定された飲食物オブジェクトに対する配信者の選択を受け付ける飲食物選択部、を更に備え、
前記配信装置の前記送信部は、前記選択された飲食物オブジェクトを前記複数の視聴装置に同時送信し、
前記複数の視聴装置それぞれの前記視聴キャラクタ表示部は、前記選択された飲食物オブジェクトを対象として、前記キャラクタが飲食する動画を表示させることを特徴とする請求項1から5のいずれかに記載のライブ通信システム。
【請求項7】
前記視聴装置の前記飲食物操作部は、更に、前記飲食物オブジェクトに対する視聴者からの分割操作を受け付け、
前記飲食物表示部は、前記分割操作が受け付けられたとき、前記飲食物オブジェクトを第1の部分オブジェクトと残部オブジェクトに分離させ、前記視聴者による操作にしたがって前記第1の部分オブジェクトを移動表示させ、
前記視聴キャラクタ表示部は、前記第1の部分オブジェクトの位置座標と前記キャラクタの口の位置座標の距離が第2の閾値以下であるとき前記飲食条件が成立し、前記キャラクタが前記第1の部分オブジェクトを飲食する動画を表示させるとともに第1の部分オブジェクトを消去し、
前記飲食物表示部は、前記残部オブジェクトに対する分割操作が受け付けられたとき、前記残部オブジェクトを第2の部分オブジェクトと新たな残部オブジェクトに分離させ、前記視聴者による操作にしたがって前記第2の部分オブジェクトを移動表示させ、
前記視聴キャラクタ表示部は、前記第2の部分オブジェクトの位置座標と前記キャラクタの口の位置座標の距離が第3の閾値以下であるとき前記飲食条件が再度成立し、前記キャラクタが前記第2の部分オブジェクトを飲食する動画を表示させるとともに第2の部分オブジェクトを消去することを特徴とする請求項1から6のいずれかに記載のライブ通信システム。
【請求項8】
前記視聴装置の前記飲食物表示部は、視聴者により前記飲食物オブジェクトを投げる操作がなされたとき、前記飲食物オブジェクトを所定の軌道に沿って移動表示させ、
前記視聴キャラクタ表示部は、前記移動表示される飲食物オブジェクトの位置座標と前記キャラクタの口の位置座標の距離が第4の閾値以内であるとき前記飲食条件が成立し、前記キャラクタが前記飲食物オブジェクトを飲食する動画を表示させることを特徴とする請求項1から7のいずれかに記載のライブ通信システム。
【請求項9】
配信者により操作される配信装置と視聴者により操作される視聴装置を含み、
前記配信装置は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
前記配信装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる配信キャラクタ表示部と、
前記キャラクタの口の位置座標を特定する口特定部と、
飲食条件の成否を判定する飲食判定部と、
配信者から第1メッセージを受け付ける第1メッセージ取得部と、
前記動作情報および前記第1メッセージを送信する送信部と、を備え、
前記送信部は、前記飲食条件が成立したとき、飲食指示を前記動作情報の一部として送信し、
前記視聴装置は、
前記動作情報および前記第1メッセージを受信する受信部と、
前記視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
前記キャラクタの動作に合わせて前記第1メッセージを出力する第1メッセージ出力部と、
視聴者から、飲食物オブジェクトに対する移動操作を受け付ける飲食物操作部と、
視聴者による操作にしたがって、前記飲食物オブジェクトを移動表示させる飲食物表示部と、
前記飲食物オブジェクトの位置座標を特定する飲食物特定部と、
前記飲食物オブジェクトの位置座標を送信する送信部と、を備え、
前記配信装置の前記飲食判定部は、前記キャラクタの口の位置座標と前記飲食物オブジェクトの位置座標の距離が第1の閾値以下であるとき前記飲食条件が成立したと判定し、 前記配信装置の前記送信部は、前記動作情報の送信に際しては、前記キャラクタの動画データを前記視聴装置への送信対象とはせず、
前記視聴装置の前記視聴キャラクタ表示部は、前記飲食指示が受信されたとき、前記キャラクタが前記飲食物オブジェクトを飲食する動画を表示させることを特徴とするライブ通信システム。
【請求項10】
配信者を撮像する機能と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する機能と、
配信者から第1メッセージを受け付ける機能と、
前記動作情報および前記第1メッセージを送信する機能と、を配信装置において発揮させる第1のプログラムと、
前記動作情報および前記第1メッセージを受信する機能と、
視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる機能と、
前記キャラクタの動作に合わせて前記第1メッセージを出力する機能と、
視聴者から、飲食物オブジェクトに対する移動操作を受け付ける機能と、
視聴者による操作にしたがって、前記飲食物オブジェクトを移動表示させる機能と、
所定の飲食条件が成立するとき、前記キャラクタが前記飲食物オブジェクトを飲食する動画を表示させる機能と、を視聴装置において発揮させる第2のプログラムと、を含むことを特徴とするライブ通信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信ネットワークを介した視覚的なコミュニケーション技術、に関する。
【背景技術】
【0002】
スマートフォンの普及にともない、SNS(Social Networking Service)を介したコミュニケーションが一般化している。SNSでは、テキストだけでなく写真や動画像などさまざまなコンテンツを気軽に共有できる。SNSは、人と人との「絆(つながり)」を強く感じさせるツールである。
【0003】
一方、コンピュータゲームの分野においては、ユーザがキャラクタ(コンピュータ)と会話をしながらプレイするゲームがある。ユーザは、現実には存在しないキャラクタに対して強い思い入れをもつことが多い。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
キャラクタは、ゲームデザイナーによってつくられた仮想的存在であり、人間のような実在感をもたない。その一方、キャラクタは、非実在性に起因する独特の魅力をもつ。本発明者らは、キャラクタ特有の魅力と人間同士特有の「リアルなつながり」の双方を取り込むことにより、新しいコミュニケーション方法を提案できるのではないかと考えた。
【0006】
具体的には、配信者(人間)と視聴者(人間)の会話を想定する。配信者は、ちょうどテレビアニメの声優のようにキャラクタの代弁者となり、キャラクタを通して視聴者と会話する。このようなコミュニケーションを想定した場合、視聴者はキャラクタと言葉以上の関わりをもつことができれば、視聴者のキャラクタに対する思い入れをいっそう強めることができると考えられる。
【0007】
本発明は、上記認識に基づいて完成された発明であり、その主たる目的は、キャラクタを介したコミュニケーションにおいて、特に、キャラクタと視聴者の非言語コミュニケーションを深化させるための技術、を提供することにある。
【課題を解決するための手段】
【0008】
本発明のある態様におけるライブ通信システムは、配信者により操作される配信装置と視聴者により操作される視聴装置を含む。
配信装置は、配信者を撮像する撮像部と、配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、配信者から第1メッセージを受け付ける第1メッセージ取得部と、動作情報および第1メッセージを送信する送信部と、を備える。
視聴装置は、動作情報および第1メッセージを受信する受信部と、視聴装置の画面にキャラクタを動画表示させ、動作情報に応じてキャラクタを動作させる視聴キャラクタ表示部と、キャラクタの動作に合わせて第1メッセージを出力する第1メッセージ出力部と、視聴者から、飲食物オブジェクトに対する移動操作を受け付ける飲食物操作部と、視聴者による操作にしたがって、飲食物オブジェクトを移動表示させる飲食物表示部と、を備える。
視聴キャラクタ表示部は、所定の飲食条件が成立するとき、キャラクタが飲食物オブジェクトを飲食する動画を表示させる。
【0009】
本発明の別の態様におけるライブ通信システムは、配信者により操作される配信装置と視聴者により操作される視聴装置を含む。
配信装置は、配信者を撮像する撮像部と、配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、配信装置の画面にキャラクタを動画表示させ、動作情報に応じてキャラクタを動作させる配信キャラクタ表示部と、キャラクタの口の位置座標を特定する口特定部と、飲食条件の成否を判定する飲食判定部と、配信者から第1メッセージを受け付ける第1メッセージ取得部と、動作情報および第1メッセージを送信する送信部と、を備える。
送信部は、飲食条件が成立したとき、飲食指示を動作情報の一部として送信する。
視聴装置は、動作情報および第1メッセージを受信する受信部と、視聴装置の画面にキャラクタを動画表示させ、動作情報に応じてキャラクタを動作させる視聴キャラクタ表示部と、キャラクタの動作に合わせて第1メッセージを出力する第1メッセージ出力部と、視聴者から、飲食物オブジェクトに対する移動操作を受け付ける飲食物操作部と、視聴者による操作にしたがって、飲食物オブジェクトを移動表示させる飲食物表示部と、飲食物オブジェクトの位置座標を特定する飲食物特定部と、飲食物オブジェクトの位置座標を送信する送信部と、を備える。
配信装置の飲食判定部は、キャラクタの口の位置座標と飲食物オブジェクトの位置座標の距離が第1の閾値以下であるとき飲食条件が成立したと判定する。
配信装置の送信部は、動作情報の送信に際しては、キャラクタの動画データを視聴装置への送信対象とはしない。
視聴装置の視聴キャラクタ表示部は、飲食指示が受信されたとき、キャラクタが飲食物オブジェクトを飲食する動画を表示させる。
【発明の効果】
【0010】
本発明によれば、キャラクタを介した豊かなコミュニケーションを実現しやすくなる。
【図面の簡単な説明】
【0011】
【
図1】ライブ通信システムのハードウェア構成図である。
【
図2】ライブ通信システムによる会話サービスを説明するための模式図である。
【
図3】配信装置およびサーバの機能ブロック図である。
【
図5】視聴装置に表示される視聴者会話画面の画面図である。
【
図6】配信装置に表示される配信者会話画面の画面図である。
【
図7】配信装置および視聴装置の双方においてキャラクタを表示させる処理のシーケンス図である。
【
図8】配信者が体を傾けたときのキャラクタを示す画面図である。
【
図9】視聴装置において飲食物オブジェクトを食べようとするキャラクタを示す画面図である。
【
図11】視聴装置における飲食動画を示す画面図である。
【
図12】飲み物の場合の画像変化を示す模式図である。
【
図13】配信装置および視聴装置の双方においてキャラクタが飲食する様子を表示させる処理のシーケンス図である。
【
図14】飲食物オブジェクトにサインオブジェクトを付加するときの画面図である。
【
図15】サインオブジェクトを付加された飲食物オブジェクトをキャラクタが食べたときの画面図である。
【
図16】飲食物オブジェクトの一部を分けて与えるときの様子を示す模式図である。
【
図17】視聴者が投げた飲食物オブジェクトをキャラクタがキャッチするときの画面図である。
【発明を実施するための形態】
【0012】
図1は、ライブ通信システム100のハードウェア構成図である。
ライブ通信システム100においては、サーバ102に対して、複数の配信装置104a、104b・・・104m(以下、まとめて言うときや特に区別しないときには「配信装置104」と総称する)および複数の視聴装置108a、108b・・・108n(以下、まとめて言うときや特に区別しないときには「視聴装置108」と総称する)がインターネット106を介して接続される。配信装置104および視聴装置108としては、スマートフォンを想定しているが、ラップトップPCなどの汎用コンピュータであってもよい。
【0013】
配信装置104を使用するユーザを「配信者」とよぶ。視聴装置108を使用するユーザを「視聴者」とよぶ。配信者がサービスの提供者となり、視聴者がサービスの享受者となる。
【0014】
図2は、ライブ通信システム100による会話サービスを説明するための模式図である。
本実施形態においては、1つの配信装置104に対して多数の視聴装置108が同時接続できる。以下、1対多通信を前提として説明する。
図2は、1人の配信者110に対して、3人の視聴者112a、112b、112c(以下、まとめて言うときや特に区別しないときには「視聴者112」と総称する)がグループで会話をする状況を想定している。
【0015】
配信者110にはあらかじめキャラクタが対応づけられる。配信装置104には配信者110に対応づけられる配信キャラクタ114aが表示される。視聴装置108にも視聴キャラクタ114bが表示される。配信キャラクタ114aと視聴キャラクタ114bはまったく同じキャラクタである。以下、配信キャラクタ114aと視聴キャラクタ114bを特に区別しないときには単に「キャラクタ114」とよぶ。
【0016】
配信者110が配信装置104の前でしゃべると、その音声データは視聴装置108に一斉送信される。配信装置104は配信者の口の動きを検出し、配信キャラクタ114aの口も動かす。また、これに連動して、視聴装置108は視聴キャラクタ114bの口も動かす。視聴者112には、配信者ではなく、あたかも視聴キャラクタ114bが自らの意思でしゃべっているように見える。いわば、配信者110は「声優」としてキャラクタ114の代弁者となる。以下、配信者110により入力される音声メッセージを「第1メッセージ」とよぶ。
【0017】
視聴者112は、テキストにて視聴装置108にメッセージ(以下、「第2メッセージ」とよぶ)を入力する。第2メッセージは、配信装置104および視聴装置108に一斉送信される。視聴者112は、視聴キャラクタ114bの話を聞きながら、第2メッセージを入力することでキャラクタ114(配信者110)と会話する。
【0018】
キャラクタ114の基本設定(キャラクタ114の容姿や表情変化の豊かさなど)と配信者110の声質や会話力によって、キャラクタ114の個性がかたちづくられる。
【0019】
図3は、配信装置104およびサーバ102の機能ブロック図である。
配信装置104およびサーバ102の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
視聴装置108についても同様である。
【0020】
(配信装置104)
配信装置104は、ユーザインタフェース処理部116、撮像部118、データ処理部120、通信部122およびデータ格納部124を含む。
通信部122は、通信処理を担当する。撮像部118は、配信者110を撮像する。ユーザインタフェース処理部116は、配信者110からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部124はキャラクタ114の画像データを含む各種データを格納する。データ処理部120は、通信部122、ユーザインタフェース処理部116、撮像部118により取得されたデータおよびデータ格納部124に格納されているデータに基づいて各種処理を実行する。データ処理部120は、ユーザインタフェース処理部116、撮像部118、通信部122およびデータ格納部124のインタフェースとしても機能する。
【0021】
通信部122は、送信部148と受信部150を含む。
【0022】
ユーザインタフェース処理部116は、配信者110からの入力を受け付ける入力部126と配信者110に各種情報を出力する出力部128を含む。
入力部126は、動作検出部130、第1メッセージ取得部132、配信サイン入力部134および飲食物選択部136を含む。動作検出部130は、撮像部118を介して配信者110の表情や体の動きを検出する。第1メッセージ取得部132は、第1メッセージ(音声メッセージ)を取得する。配信サイン入力部134は、「飲食物オブジェクト」に対する配信者110からのサイン入力を受け付ける(後述)。飲食物オブジェクトの詳細は後述するが、食べ物または飲み物を表現する画像であればよく、少なくとも、一般的に人間が摂取および消化するものを表現した二次元または三次元の画像であればよい。飲食物選択部136は、複数の視聴者112から提供される複数の飲食物オブジェクトに対する選択を受け付ける。
【0023】
出力部128は、配信キャラクタ表示部138、第2メッセージ出力部140および飲食物表示部142を含む。
配信キャラクタ表示部138は配信装置104に配信キャラクタ114aを表示させる。第2メッセージ出力部140は視聴者112による第2メッセージ(テキストメッセージ)を配信装置104に表示させる。飲食物表示部142は視聴者112から提供される飲食物オブジェクトを配信装置104の画面に表示させる。
【0024】
データ処理部120は、動作情報生成部144、飲食判定部220および口特定部146を含む。
動作情報生成部144は、動作検出部130の検出結果から「動作情報」を生成する。動作情報とは、配信者110の表情を示す特徴ベクトル(例:眉の角度、目や口の開度を示す数値、配信者110と配信装置104との相対的な位置関係(前後左右)を示す数値など、配信者110の動作状態を示す数値データである。飲食判定部220は、「飲食条件」の成否を判定する。飲食条件とは、キャラクタ114が飲食物オブジェクトを摂取したとみなすための条件であればよい。本実施形態においては、飲食物オブジェクトがキャラクタ114の口元に十分に近づいたときに飲食条件が成立するとして説明する(
図9に関連して後述)。口特定部146は、キャラクタ114の口の位置座標を検出する(以下、「口座標」とよぶ)。配信装置104および視聴装置108は同一の画面座標系(二次元座標系)を共有する。口座標は、画面座標系(xy座標系)における口の位置座標を示す。
【0025】
(サーバ102)
サーバ102は、通信部152、ライブ制御部154およびデータ格納部156を含む。
通信部152は、通信処理を担当する。データ格納部156は各種データを格納する。ライブ制御部154は、通信部152により取得されたデータおよびデータ格納部156に格納されているデータに基づいて配信装置104と視聴装置108のコミュニケーションを仲介・統括する。ライブ制御部154は、通信部152およびデータ格納部156のインタフェースとしても機能する。
【0026】
データ格納部156は、複数のキャラクタ114のデータを格納するキャラクタ格納部158を含む。データ格納部156は、このほか飲食物オブジェクトの画像データも保存する。飲食物オブジェクトは飲食物IDにより一意に識別される。
【0027】
図4は、視聴装置108の機能ブロック図である。
視聴装置108は、ユーザインタフェース処理部162、データ処理部166、通信部164およびデータ格納部168を含む。
通信部164は、通信処理を担当する。ユーザインタフェース処理部162は、視聴者112からの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。データ格納部168はキャラクタ114の画像データを含む各種データを格納する。配信装置104と視聴装置108はどちらもキャラクタ114のデータをそれぞれ格納する。データ処理部166は、通信部164およびユーザインタフェース処理部162により取得されたデータおよびデータ格納部168に格納されているデータに基づいて各種処理を実行する。データ処理部166は、ユーザインタフェース処理部162、通信部164およびデータ格納部168のインタフェースとしても機能する。
【0028】
通信部122は、送信部186と受信部190を含む。
【0029】
ユーザインタフェース処理部162は、視聴者112からの入力を受け付ける入力部170と視聴者112に各種情報を出力する出力部172を含む。
入力部170は、第2メッセージ取得部174、キャラクタ選択部176、飲食物操作部178および視聴サイン入力部222を含む。第2メッセージ取得部174は、第2メッセージ(テキストメッセージ)を取得する。キャラクタ選択部176は、会話対象となるキャラクタ114の選択を受け付ける。飲食物操作部178はキャラクタ114にプレゼントしたい飲食物オブジェクトの選択および飲食物オブジェクト226の移動操作を受け付ける。視聴サイン入力部222は、飲食物オブジェクトに対する視聴者112からのサイン入力を受け付ける(後述)。
【0030】
出力部172は、視聴キャラクタ表示部180、第1メッセージ出力部182、第2メッセージ出力部184および飲食物表示部224を含む。
視聴キャラクタ表示部180は、視聴装置108に視聴キャラクタ114bを表示させる。第1メッセージ出力部182は配信者110による第1メッセージを視聴装置108から音声出力する。第2メッセージ出力部184は視聴者112による第2メッセージを視聴装置108に画面表示させる。飲食物表示部224は、飲食物オブジェクトを視聴装置108の画面に表示させる。
【0031】
データ処理部166は、飲食物特定部227を含む。飲食物特定部227は、飲食物オブジェクトの位置座標を検出する(以下、「飲食物座標」とよぶ)。飲食物座標は、口座標と同一の画面座標系(xy座標系)における飲食物オブジェクトの位置座標を示す。
【0032】
ライブ通信サービスの開始時において、サーバ102のライブ制御部154は、視聴装置108にキャラクタ選択画面(図示せず)を表示させる。視聴者112は、視聴装置108に表示されたキャラクタ選択画面において会話したい視聴キャラクタ114b(配信者110)を選ぶ。ライブ制御部154は、会話可能な状態(スタンバイ状態)にある配信者110に対応するキャラクタ114を会話可能なキャラクタとしてキャラクタ選択画面に提示する。キャラクタ選択部176は視聴キャラクタ114bの選択を受け付ける。
以下、視聴者112は視聴キャラクタ114b1(
図5参照)との会話を楽しむものとして説明する。
【0033】
図5は、視聴装置108に表示される視聴者会話画面196の画面図である。
視聴装置108の視聴キャラクタ表示部180は、おしゃべりの相手として選ばれた視聴キャラクタ114b1を動画表示させる。視聴者112は、視聴キャラクタ114b1との会話を楽しむ。視聴者112からは配信者110の姿が見えることはない。視聴装置108の第1メッセージ出力部182は、視聴キャラクタ114b1を担当する配信者110からの音声(第1メッセージ)を出力する。視聴者112は、テキストにより視聴キャラクタ114b1へのメッセージ(第2メッセージ)を入力する。サーバ102は、第1メッセージおよび第2メッセージを配信装置104、視聴装置108の間で共有させる。
【0034】
第2メッセージ出力部184はメッセージ領域198に第2メッセージをテキスト表示させる。1人の配信者110が複数の視聴者112と同時並行にて会話する方式であるため、サーバ102は各視聴者112の第2メッセージを配信装置104および複数の視聴者112に一斉配信する。視聴者112は、メッセージ領域198により自分の第2メッセージだけでなく他の視聴者112の第2メッセージも視認できる。第2メッセージ出力部184は第2メッセージを受信順に並べて表示させる。
【0035】
視聴者112は、飲食物ボタン200を選択することにより、視聴キャラクタ114b1に対して飲食物オブジェクトを提供できる(詳細後述)。
【0036】
図6は、配信装置104に表示される配信者会話画面206の画面図である。
図6に示す配信者会話画面206は、配信キャラクタ114a1(視聴キャラクタ114b1に対応)を担当する配信者110の配信装置104に表示される。配信キャラクタ表示部138は、配信キャラクタ114a1を動画表示させる。視聴キャラクタ114b1と配信キャラクタ114aは同一キャラクタであり、動きも同じである。配信者110は、自らの分身である配信キャラクタ114a1の動きを配信装置104にて確認しながら複数の視聴者112(視聴キャラクタ114b1を会話の相手として選んだ視聴者112)と会話する。配信者110は、配信装置104に向かって音声にて第1メッセージを入力する。送信部148は第1メッセージをサーバ102に送信し、サーバ102のライブ制御部154は第1メッセージを複数の視聴装置108に配信する。
【0037】
第2メッセージ出力部140は、視聴者112からの第2メッセージをメッセージ領域198に時系列順にて表示させる。配信者110はメッセージ領域198に次々に表示される第2メッセージをみながら不特定多数の視聴者112に話しかける。配信装置104のカメラ208(撮像部118)は、配信者110を撮像する。動作検出部130は、撮像画像から配信者110の表情および動作を検出し、動作情報生成部144は動作情報を生成する。配信キャラクタ表示部138は、動作情報に基づいて配信キャラクタ114a1の動きを決定する。また、詳細は後述するが視聴キャラクタ114b1も同じ動作情報に基づいて視聴装置108にて動画表示される。
【0038】
図7は、配信装置104および視聴装置108の双方においてキャラクタ114を表示させる処理のシーケンス図である。
配信装置104の動作検出部130は、配信者110の動作を検出する(S10)。動作情報生成部144は、動作情報を生成する(S12)。動作情報は、配信者110の表情、体の角度、配信者110の撮像部118からの遠近、などを示す数値データである(S12)。また、動作情報には、後述の「飲食指示」も含まれる。
【0039】
配信装置104の送信部148は、サーバ102経由にて、各視聴装置108に動作情報を送信する(S14)。配信キャラクタ表示部138は、動作情報に基づいて配信キャラクタ114a1の動画像を生成し(S16)、配信装置104に配信キャラクタ114a1を動画表示させる(S18)。
【0040】
一方、視聴装置108の視聴キャラクタ表示部180も、受信された動作情報に基づいて視聴キャラクタ114b1の動画像を生成し(S20)、視聴装置108に視聴キャラクタ114b1を動画表示させる(S22)。
【0041】
配信キャラクタ114a1と視聴キャラクタ114b1は、同一のキャラクタであり、かつ、同一の動作情報に基づいて動きが決まるため、配信装置104および視聴装置108それぞれにおいて配信キャラクタ114a1と視聴キャラクタ114bは同じ姿にて同じ動作を行う。
【0042】
配信装置104は、キャラクタ114の動画像(キャラクタ画像)そのものを視聴装置108に送信しているのではなく、キャラクタ114の動作を定義する動作情報のみを送信している。動画像そのものを送信するよりも送信データ量が少ないため、配信キャラクタ114a1と視聴キャラクタ114b1それぞれの動きを速やかに連動させやすい。いいかえれば、動作情報が配信キャラクタ114a1の動きとして反映されるまでの時間と、同じ動作情報が視聴キャラクタ114b1の動きとして反映されるまでの時間の差分が小さいため、視聴者112はキャラクタ114(配信者110)との快適な会話を楽しむことができる。
【0043】
第1メッセージ(音声メッセージ)と動作情報は一体化して配信装置104から視聴装置108に送信されてもよい。この場合には、視聴キャラクタ表示部180は、視聴キャラクタ114b1の動作と音声メッセージがずれにくくなる。また、動画像そのものではなく、動画像を決定するための動作情報を送信することは、インターネット106に対する通信負荷を抑制する上でも有効である。
【0044】
図8は、配信者110が体を傾けたときのキャラクタ114を示す画面図である。
配信者110が体を左右に傾けると、動作検出部130は体の傾斜を検出する。動作情報生成部144は、傾斜角および傾斜方向を動作情報に含める。視聴キャラクタ表示部180は、動作情報にしたがって、視聴キャラクタ114b1を傾斜させる。配信キャラクタ表示部138も、同じ動作情報にしたがって配信キャラクタ114a1を傾斜させる。このように、配信者110が体を左右に傾けると、配信側と視聴側双方のキャラクタ114は配信者110に合わせて体を傾ける。配信者110が体を前後に傾けたときにも、キャラクタ114は同様にして体を前後させる。動作検出部130は、配信者110の前傾後傾を撮像画像に映る配信者110の大きさから認識すればよい。
【0045】
一般的には、体の傾斜に人間の心理が現れるといわれる。たとえば、会話に興味をもっているときに人間は前傾姿勢(聞こうという体勢)になりやすく、動揺しているときには体は左右に揺れるともいわれる。配信者110の体の動きをキャラクタ114にも反映させることにより、視聴者112はキャラクタ114(配信者110)の心理を感じ取ることができる。
【0046】
また、配信者110は体を動かすことでキャラクタ114の口の位置を変化させることができる。配信装置104の口特定部146は、配信キャラクタ114a1の口座標を適宜検出する。配信キャラクタ114a1の口座標に基づいて飲食条件の成否が判定されるが、詳細は後述する。
【0047】
図9は、視聴装置108において飲食物オブジェクト226を食べようとするキャラクタ114を示す画面図である。
視聴者112は、飲食物ボタン200をタッチすることにより(
図5参照)、複数種類の飲食物オブジェクト226からいずれかの飲食物オブジェクト226を選択する。飲食物操作部178は、飲食物オブジェクト226の選択を受け付ける。
図9においては、チョコレート菓子のポッキー(登録商標)を模した飲食物オブジェクト226が選択されている。
【0048】
飲食物表示部224は、飲食物オブジェクト226を視聴装置108に画面表示させる。視聴装置108は、飲食物オブジェクト226の飲食物IDを、サーバ102を経由して配信装置104に送信する。配信装置104の飲食物表示部142も、配信装置104に飲食物オブジェクト226を画面表示させる。これにより、配信装置104および視聴装置108の双方に同一の飲食物オブジェクト226が表示される。視聴装置108は配信装置104に飲食物オブジェクト226の画像データそのものを送信するのではなく、飲食物IDを送信することで通信負荷を抑制している。
【0049】
視聴者112は、視聴装置108において飲食物オブジェクト226にタッチすることで、飲食物オブジェクト226を画面上で自由に二次元移動させることができる。視聴装置108の飲食物操作部178は、飲食物オブジェクト226に対する視聴者112の移動操作を受け付ける。飲食物特定部227は、飲食物オブジェクト226の位置を示す飲食物座標を特定する。
【0050】
視聴装置108の送信部186は、飲食物座標を配信装置104に送信する。配信装置104の飲食物表示部142は、受信した飲食物座標にしたがって飲食物オブジェクト226の表示位置を決定する。このため、配信装置104および視聴装置108の双方において、同一の飲食物オブジェクト226が同一の位置(口座標)にて表示される。視聴者112が、飲食物オブジェクト226の先端を視聴キャラクタ114b1の口元に近づけると飲食条件が成立し、視聴キャラクタ114b1(配信キャラクタ114a1)が飲食物オブジェクト226を飲食する動画像(以下、「飲食動画」とよぶ)が表示される。飲食動画は「キャラクタ114が飲食物オブジェクト226をくわえて、かじり、口を動かす動画像」としてあらかじめ配信装置104および視聴装置108の双方に用意されている。
【0051】
図10は、飲食条件を説明するための模式図である。
視聴装置108の飲食物特定部227は、飲食物オブジェクト226の先端部の画面における座標を飲食物座標P2として特定する。視聴装置108の送信部186は、適宜、飲食物座標P2を配信装置104に送信する。一方、配信装置104の口特定部146は、配信キャラクタ114a1の口座標P1を適宜検出する。配信装置104の飲食判定部220は、口座標P1と飲食物座標P2の距離d1が所定の閾値以内となったとき、いいかえれば、飲食物オブジェクト226の先端部とキャラクタ114の口が十分に近づいたとき、飲食条件が成立したと判定する。
【0052】
飲食条件が成立したとき、配信装置104の配信キャラクタ表示部138は、配信キャラクタ114a1が飲食物オブジェクト226を飲食する動画像である飲食動画を表示させる。一方、配信装置104の送信部148は、動作情報の一部として、飲食条件の成立を示す「飲食指示」を視聴装置108に送信する。視聴装置108の視聴キャラクタ表示部180は、飲食指示を受信したときには、視聴キャラクタ114b1が飲食物オブジェクト226を飲食する動画像である飲食動画を表示させる。配信装置104から視聴装置108に飲食動画データそのものが送信されることはない。
【0053】
図11は、視聴装置108における飲食動画を示す画面図である。
飲食条件が成立したとき、配信装置104は飲食指示を視聴装置108に送信する。このとき、視聴キャラクタ114b1は口を開けて飲食物オブジェクト226の一部を頬張り、飲食物オブジェクト226をモグモグと食べる。このように、視聴装置108の視聴キャラクタ表示部180は、飲食指示を受信したとき視聴キャラクタ114b1の飲食動画を表示させる。
【0054】
視聴装置108の飲食物表示部224は、飲食物オブジェクト226の画像を変化させる。
図11においては、飲食物オブジェクト226の半分が欠損し、半分が残っている。このような表現方法により、視聴者112は、飲食物オブジェクト226をキャラクタ114の口元に近づけると、キャラクタ114が飲食物オブジェクト226を食べてくれたという感覚、いいかえれば、キャラクタ114が、視聴者112からのプレゼントを受け入れた上で、飲食という行為をしているという実在的な感覚をもつことができる。
【0055】
図12は、飲み物の場合の画像変化を示す模式図である。
飲食物オブジェクト226は、食べ物に限らず、飲み物であってもよい。
図12に示す飲食物オブジェクト226は、タピオカミルクティ(登録商標)を模した飲み物を示す。タピオカミルクティ(登録商標)は、ミルク232(液体)とタピオカ団子230(固形物)を含み、ストロー228から吸い上げることで飲食される。飲食物特定部227は、ストロー228の先端部を飲食物座標P2として特定する。ストロー228の先端を視聴キャラクタ114b1の口元に近づけるときに飲食条件が成立する。
【0056】
キャラクタ114は、飲食条件が成立すると、タピオカミルクティ(登録商標)を少しずつ飲んでいく。飲食物表示部142はミルク232の水位を時間経過とともに少しずつ下げていくことにより、キャラクタ114がタピオカミルクティ(登録商標)(飲食物オブジェクト226)を飲んでいる様子を表現する。また、適宜、タピオカ団子230もストロー228から吸い上げられる。
【0057】
このように、視聴者112は飲み物としての飲食物オブジェクト226を提供することにより、キャラクタ114が自分のプレゼントした飲み物を飲んでくれていると感じることができる。ライブ通信システム100においては、視聴者112はキャラクタ114との会話を楽しむだけでなく、「飲食物をあげる」「飲食してもらう(受け入れてもらう)」という行為を実現することにより、キャラクタ114の実在感を高めている。
【0058】
図13は、配信装置104および視聴装置108の双方においてキャラクタ114が飲食する様子を表示させる処理のシーケンス図である。
視聴者112は、飲食物ボタン200をタッチし(
図5参照)、飲食物オブジェクト226を選択する(S30)。視聴装置108の送信部186は、選択された飲食物オブジェクト226の飲食物IDをサーバ102に送信する(S32)。サーバ102は、あらかじめ飲食物IDと飲食物オブジェクト226の画像を対応づけて登録しており、飲食物オブジェクト226の画像情報(以下、「飲食物画像」ともよぶ)を配信装置104に送信する(S34)。
なお、配信装置104があらかじめ飲食物画像を保有しているときには、サーバ102は飲食物画像ではなく飲食物IDを配信装置104に送信すればよい。
【0059】
視聴者112は、飲食物オブジェクト226を動かすことができる。視聴装置108の飲食物オブジェクト226は飲食物座標を検出し、送信部186は飲食物座標をサーバ102に送信する(S36)。サーバ102の通信部152は、飲食物座標を配信装置104に送信する(S38)。
【0060】
配信装置104の飲食物表示部142は、飲食物オブジェクト226を指定された飲食物座標に表示させる(S40)。同様にして、視聴装置108の飲食物表示部224も、飲食物オブジェクト226を表示させる(S41)。視聴装置108の飲食物特定部227は飲食物座標を定期的に検出し、送信部186も定期的に飲食物座標をサーバ102に送信する(S42、S44)。
【0061】
配信装置104の飲食判定部220は、飲食物座標を受信するごとに飲食条件の成否を判定する。飲食条件が成立したとき(S46)、配信装置104の視聴装置108は、飲食指示をサーバ102に送信する(S48)。サーバ102は飲食指示を視聴装置108に転送する(S49)。
【0062】
配信装置104の配信キャラクタ表示部138は、配信キャラクタ114a1の飲食動画を表示する(S50)。また、配信装置104の飲食物表示部142は、飲食によって一部が欠損した飲食物オブジェクト226を表示させる(S52)。同様にして、視聴装置108の視聴キャラクタ表示部180は、視聴キャラクタ114b1の飲食動画を表示させる(S54)。視聴装置108の飲食物表示部224も、飲食によって一部が欠損した飲食物オブジェクト226を表示させる(S56)。
【0063】
図13においては、サーバ102は飲食物画像を配信装置104に送信し、配信装置104は飲食物画像によって示される飲食物オブジェクト226を飲食物座標に基づいて移動表示させる。配信装置104は、いったん飲食物画像を取得できれば、あとは、飲食物画像を再度取得する必要はない。配信装置104は、飲食物画像の取得後は、飲食物オブジェクト226を適宜受信される飲食物座標にしたがって独自に移動表示させる。視聴装置108から配信装置104に飲食物オブジェクト226の飲食物画像を常に送信するわけではないので、通信負荷が小さく、配信装置104においてスムーズに飲食物オブジェクト226を移動表示させることができる。
【0064】
複数の視聴者112が同時的に複数の飲食物オブジェクト226をキャラクタ114に提供しようとする場合がある。この場合には、配信装置104は複数の飲食物IDを受信する。配信者110は、複数の飲食物IDに対応する複数の飲食物オブジェクト226のうち、食べたい飲食物オブジェクト226にキャラクタ114の口を近づけることで飲食物オブジェクト226を選んで食べる。
【0065】
あるいは、配信者110は、複数の飲食物オブジェクト226から食べたい飲食物オブジェクト226をタップして選んでもよい。この場合、配信装置104の飲食物選択部136は、配信者110による飲食物オブジェクト226の選択を受け付ける。配信装置104の飲食物表示部142は、選択された飲食物オブジェクト226だけを配信装置104における表示対象とする。
【0066】
たとえば、視聴者112aが飲食物オブジェクト226aを提供し、視聴者112bが飲食物オブジェクト226bを提供したとする。配信装置104には飲食物オブジェクト226aと飲食物オブジェクト226bが表示される。ここで、配信者110が飲食物オブジェクト226aを選択したとする。配信装置104の送信部148は、選択された飲食物オブジェクト226aの飲食物IDを全ての視聴装置108に送信する。飲食物オブジェクト226aの飲食物座標は、配信装置104からすべての視聴装置108に配信される。このため、すべての視聴装置108において同一の飲食物オブジェクト226aが同一位置に表示される。飲食条件が成立したときには、すべての視聴装置108において同一の飲食動画が表示される。
【0067】
複数の視聴者112から提供された飲食物オブジェクト226のうち、配信者110はいずれかの飲食物オブジェクト226を選択する。上記例の場合、配信者110が飲食物オブジェクト226aを選択することで、すべての視聴装置108にはキャラクタ114により飲食物オブジェクト226aが飲食される動画が表示される。このため、飲食物オブジェクト226aを提供した視聴者112aは「選んでもらえた」という特別感をもつことができる。
【0068】
図14は、飲食物オブジェクト226にサインオブジェクト236を付加するときの画面図である。
視聴者112は、ツールオブジェクト234を使って飲食物オブジェクト226を加工することもできる。
図14においては、オムレツを模した飲食物オブジェクト226に対して、ケチャップを模したツールオブジェクト234により「おめでとう」というメッセージを示すサインオブジェクト236を描いている。
【0069】
視聴者112は、飲食物オブジェクト226を選択したあと、加工モードの実行を指示する。飲食物操作部178は、加工モードの入力を受け付ける。加工モードにおいては、飲食物表示部224は飲食物オブジェクト226を拡大表示させる。加工モードにおいて、視聴者112はツールオブジェクト234(ケチャップ)を選択し、ツールオブジェクト234をフリーハンドで動かすことにより、飲食物オブジェクト226(オムレツ)にメッセージを書き込むことができる。メッセージはサインオブジェクト236として飲食物オブジェクト226と一体化される。ここでは、視聴者112は、お気に入りのキャラクタ114の誕生日を祝うために「おめでとう」とケチャップで描いたオムレツをキャラクタ114にプレゼントしようとしている。
【0070】
視聴装置108の送信部186は、飲食物オブジェクト226の飲食物IDとサンオブジェクトサインオブジェクト236の画像(以下、「サイン画像」とよぶ)を、サーバ102を経由して配信装置104に送信する。配信装置104は、飲食物オブジェクト226およびサイン画像を取得し、サイン付きのオムレツを示す画像を生成する。配信装置104はサイン付きのオムレツを示す新しい飲食物オブジェクト226を他の視聴装置108にも送信する。このような制御方法により、ライブ通信システム100の参加者全員で「サイン付きのオムレツ画像」を共有する。
【0071】
図15は、サインオブジェクト236を付加された飲食物オブジェクト226をキャラクタ114が食べたときの画面図である。
視聴者112が飲食物オブジェクト226を視聴キャラクタ114b1の口元に近づけると、飲食条件が成立し、視聴キャラクタ114b1が飲食物オブジェクト226を食べる飲食動画が表示される。このとき、飲食物表示部224は飲食物オブジェクト226の一部を欠損させる。また、飲食物表示部224は飲食物オブジェクト226の一部の欠損に合わせて、サインオブジェクト236の一部も欠損させる。配信装置104および他の視聴装置108においても同様である。
【0072】
視聴者112は、ツールオブジェクト234を使うことにより、オリジナル性の高い飲食物オブジェクト226を作ることができる。また、視聴者112は、サインオブジェクト236により自分の気持ちを込めた飲食物オブジェクト226をキャラクタ114が食べてくれることにより、いっそうキャラクタ114との絆、特別な関係性を感じることができる。視聴者112は、サインオブジェクト236を付加した飲食物オブジェクト226、あるいは、キャラクタ114が飲食物オブジェクト226を食べてくれる場面を動画または静止画として保存してもよい。
【0073】
図16は、飲食物オブジェクト226の一部を分けて与えるときの様子を示す模式図である。
図16に示す飲食物オブジェクト226は、ガラス容器242に盛られた3つのアイスクリーム238(アイスクリーム238a、アイスクリーム238bおよびアイスクリーム238c)である。視聴者112は、3つのアイスクリーム238のうち、スプーンオブジェクト240によりアイスクリーム238c(第1の部分オブジェクト)を飲食物オブジェクト226から分離させることができる(分割操作)。視聴者112は、スプーンオブジェクト240を指で動かし、スプーンオブジェクト240の先端をアイスクリーム238cに重ねる。このとき、視聴装置108の飲食物表示部224は、飲食物オブジェクト226からアイスクリーム238cがスプーンオブジェクト240によってすくい取られた様子を画像表示する。同様にして、配信装置104に対してもスプーンオブジェクト240の位置座標が送信され、配信装置104の飲食物表示部142も独自にアイスクリーム238cがスプーンオブジェクト240によってすくい取られた様子を画像表示する。他の視聴装置108においても同様である。
【0074】
視聴者112は、アイスクリーム238cをキャラクタ114の口元に移動させる。視聴装置108の飲食物オブジェクト226は、アイスクリーム238cの位置座標を飲食物座標として配信装置104に送信し、配信装置104の飲食判定部220はこの飲食物座標に基づいて飲食条件の成否を判定する。飲食条件が成立したとき、キャラクタ114がスプーンオブジェクト240からアイスクリーム238cを口で受け取って食べる飲食動画が表示される。アイスクリーム238cは画面から消去される。
【0075】
飲食物オブジェクト226は、アイスクリーム238a、アイスクリーム238bおよびガラス容器242を含み、アイスクリーム238cを失った画像となる(残部オブジェクト)。視聴者112が、更に、アイスクリーム238a(第2の部分オブジェクト)をスプーンオブジェクト240によってすくい取り(分割操作)、同様にしてアイスクリーム238aをキャラクタ114に食べさせることができる。このときには、キャラクタ114がアイスクリーム238aを食べる飲食動画が表示される。飲食物オブジェクト226は、アイスクリーム238bおよびガラス容器242を含み、アイスクリーム238aも失った画像となる。アイスクリーム238aは画面から消去される。
【0076】
このような制御方法によれば、視聴者112は飲食物の一部(アイスクリーム238cなど)をすくい取り、これをキャラクタ114に食べさせるという行為を楽しむことができる。また、配信者110も体を動かすことでキャラクタ114の口元をアイスクリーム238cに近づけることで、キャラクタ114にアイスクリーム238cを受け取らせる。このように、飲食物オブジェクト226の一部を「取り出して」「受け渡す」という行為を実現することで、視聴者112はキャラクタ114に対して恋人と接しているかのような交流感をいだきやすくなる。
【0077】
図17は、視聴者112が投げた飲食物オブジェクト226をキャラクタ114がキャッチするときの画面図である。
図17に示す飲食物オブジェクト226はマシュマロを模している。視聴者112は、飲食物オブジェクト226に指を置き、フリック操作(指で弾く操作)をすることで飲食物オブジェクト226を投げることができる。飲食物操作部178は、飲食物オブジェクト226に対するフリック操作を検出し、フリックの方向および速度を検出する。飲食物表示部224は、フリックの速度と方向に基づいて飲食物オブジェクト226が放物線を描いて飛んでいく様子を画面表示する。このとき、視聴装置108の飲食物オブジェクト226は飲食物座標を適宜検出し、送信部186は飲食物座標を配信装置104に送信する。
【0078】
配信装置104の飲食判定部220は、適宜変化する飲食物オブジェクト226の飲食物座標とキャラクタ114の口座標の距離を計算し、2つの座標の距離が閾値以内となったとき、飲食条件が成立したと判定する。キャラクタ114の口と飲食物オブジェクト226が十分に近づいたときにはキャラクタ114は飲食物オブジェクト226を食べることができる。このような制御方法によれば、いわゆる「マシュマロキャッチ」をキャラクタ114と楽しむことができる。
【0079】
<総括>
以上、実施形態に基づいてライブ通信システム100について説明した。
本実施形態によれば、視聴者112はキャラクタ114と会話を楽しめるだけでなく、キャラクタ114に「飲食をさせる」ことができるため、視聴者112とキャラクタ114(配信者110)の親密度をいっそう高めることができる。飲食物オブジェクト226がキャラクタ114の口に十分に近づくことで、飲食条件が成立する。視聴者112は飲食物オブジェクト226をキャラクタ114の口に近づけ、キャラクタ114(配信者110)は口を飲食物オブジェクト226に近づける。飲食条件が成立するためには、視聴者112とキャラクタ114(配信者110)にある程度の意思疎通が必要となる。キャラクタ114が飲食物オブジェクト226を飲食したとき、視聴者112はキャラクタ114と呼吸が合ったかのような、意思が疎通したかのような独特の感覚をもつことができる。
【0080】
人間同士でも仲良しになると、一緒にご飯を食べにいくことが多い。人間同士が親密性を高める上で「食事をともにする」という共同行為は重要な意味をもつ。また、旅行先でお土産を買って来るのも、親密性を高め、確認をするための重要な行為である。このような飲食物に関連する心理学的な意味に着目し、視聴者112が飲食物オブジェクト226をキャラクタ114に差し出し、キャラクタ114が飲食物オブジェクト226を食べる、あるいは、飲むことにより、「食事をともにする」という感覚をライブ通信システム100により実現した。飲食物オブジェクト226を与えるだけでなく、飲食物オブジェクト226をキャラクタ114の口元に近づけ、キャラクタ114(配信者110)が口元を飲食物オブジェクト226に近づけることにより飲食条件が成立する。これにより、視聴者112は、自分の真心がキャラクタ114通じたかような気持ちを持つことができる。
【0081】
更に、キャラクタ114が飲食物オブジェクト226を食べるとき、飲食物オブジェクト226を欠損させたり(
図11参照)、飲食物オブジェクト226の画像を変化させたり(
図12参照)、あるいは、飲食物オブジェクト226の一部を分け与えることで残部を表示させることにより(
図16参照)、キャラクタ114が本当に飲食物オブジェクト226を摂取したかのような演出効果を高めることができる。
【0082】
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
【0083】
[変形例]
本実施形態においては、第1メッセージは音声、第2メッセージはテキストであるとして説明した。変形例として、第1メッセージはテキストであってもよいし、第2メッセージは音声であってもよい。また、スタンプ画像や絵文字など、アイコン画像によりメッセージを伝えてもよい。
【0084】
本実施形態においては、配信装置104において飲食条件の成否を判定するとして説明した。変形例として配信装置104ではなく、視聴装置108が飲食判定部220と口特定部146を備えてもよい。この場合、視聴装置108の口特定部146が口座標を検出し、視聴装置108の飲食判定部220が口座標および飲食物座標に基づいて飲食条件を判定する。飲食条件が成立したときには、視聴装置108は飲食指示を配信装置104に送信する。サーバ102は、また、飲食指示を他の視聴装置108にも送信する。配信装置104および視聴装置108は、飲食条件が成立したときには、それぞれ飲食動画を表示させればよい。
【0085】
飲食物オブジェクト226は有料にて提供されてもよい。視聴者112は、有料にて飲食物オブジェクト226を購入し、これをキャラクタ114に提供してもよい。また、飲食物操作部178は、所定期間、たとえば、19:00から20:00に限り、視聴者112が無料で飲食物オブジェクト226を手に入れることができるとしてもよい。
【0086】
飲食判定部220は、飲食物座標と口座標に基づいて飲食条件の成否を判定するとして説明した。このほかにも、視聴者112が飲食物オブジェクト226をキャラクタ114の手元に近づけたときに飲食条件が成立するとしてもよい。また、配信装置104の出力部128は、飲食物オブジェクト226が提供される時に飲食ボタンを画面表示させてもよい。配信者110が飲食ボタンをタッチしたとき、キャラクタ114は飲食物オブジェクト226を飲食するとしてもよい。
【0087】
本実施形態においては、視聴者112が飲食物オブジェクト226にタッチして動かすことで飲食物オブジェクト226を移動させるとして説明した。変形例として、視聴者112の手の動きや身体の動きをカメラで検出し、これにしたがって飲食物オブジェクト226の位置(飲食物座標)を変化させてもよい。
【0088】
キャラクタ114(配信者110)は、複数の飲食物オブジェクト226を提供される順に食べてもよい。たとえば、視聴装置108aが飲食物オブジェクト226aを提供し、視聴装置108bが少し遅れて飲食物オブジェクト226bを提供したとする。配信装置104の飲食物表示部142は、まず、飲食物オブジェクト226aのみを表示し、飲食物オブジェクト226aが飲食されたことを条件として、次の飲食物オブジェクト226bを表示させるとしてもよい。
【0089】
キャラクタ114に満腹度を設定してもよい。飲食判定部220は、キャラクタ114の満腹度が所定値以下であることを条件として、飲食条件を成立させるとしてもよい。キャラクタ114が飲食物オブジェクト226を食べると、飲食判定部220は満腹度を上昇させる。また、飲食判定部220は時間経過とともにキャラクタ114の満腹度を低下させる。このような制御方法によれば、視聴者112は、キャラクタ114の空腹時間を見計らって飲食物オブジェクト226を提供する必要があるため、視聴者112はいっそうキャラクタ114の実在性を感じることができる。キャラクタ114によって、満腹度の上昇率あるいは低下率を異ならせてもよい。
【0090】
本実施形態においては、視聴者112はツールオブジェクト234を使うことによりフリーハンドにてサインオブジェクト236をデザインするとして説明した。変形例として、スタンプを模したツールオブジェクト234により飲食物オブジェクト226を装飾してもよいし、小旗やパウダーなどのアイテムにより飲食物オブジェクト226を装飾してもよい。
【0091】
視聴者112は、飲食物オブジェクト226に限らず、帽子や服などの装飾オブジェクトをキャラクタ114にプレゼントしてもよい。このとき、装飾オブジェクトにサインやスタンプを追加してもよい。このような制御方法によれば、オリジナル性の高い装飾オブジェクトをキャラクタ114にプレゼントできる。
【0092】
視聴者112に限らず、配信者110がサインオブジェクト236により飲食物オブジェクト226を装飾してもよい。たとえば、視聴者112が提供する飲食物オブジェクト226に対して、配信者110は加工モードを指定する。加工モードにおいては、配信者110は飲食物オブジェクト226にサインオブジェクト236を付加する。配信装置104は、サインオブジェクト236の付加された飲食物オブジェクト226の飲食物画像を視聴装置108に送信する。この結果として、サイン付きの飲食物オブジェクト226の飲食物画像が全参加者で共有される。飲食物オブジェクト226を提供したキャラクタ114は、飲食物オブジェクト226を移動操作して、キャラクタ114は飲食物オブジェクト226を食べる。
【0093】
このような制御方法によれば、視聴者112が提供した飲食物オブジェクト226に対して配信者110(キャラクタ114)は「ありがとう」などのオリジナルメッセージを返すことができる。視聴者112は、配信者110(キャラクタ114)が加工したオリジナル性のある飲食物オブジェクト226を撮影してもよい。
【0094】
配信者110(キャラクタ114)は、視聴者112からプレゼントされた色紙などのグッズ(オブジェクト)にサインをしてもよい。
【0095】
視聴者112は、料理をすることで、オリジナルの飲食物オブジェクト226を作成してもよい。たとえば、複数の素材オブジェクトから視聴者112はいくつかの素材オブジェクトを選択する。視聴装置108は飲食物作成部(図示せず)を備え、飲食物作成部は選択された素材オブジェクトに基づいてさまざまな飲食物オブジェクト226を生成する。このような制御方法によれば、視聴者112は料理をする楽しみや、料理を食べてもらう楽しみを味わうことができる。
【符号の説明】
【0096】
100 ライブ通信システム、102 サーバ、104 配信装置、106 インターネット、108 視聴装置、110 配信者、112 視聴者、114 キャラクタ、114a 配信キャラクタ、114b 視聴キャラクタ、116 ユーザインタフェース処理部、118 撮像部、120 データ処理部、122 通信部、124 データ格納部、126 入力部、128 出力部、130 動作検出部、132 第1メッセージ取得部、134 配信サイン入力部、136 飲食物選択部、138 配信キャラクタ表示部、140 第2メッセージ出力部、142 飲食物表示部、144 動作情報生成部、146 口特定部、148 送信部、150 受信部、152 通信部、154 ライブ制御部、156 データ格納部、158 キャラクタ格納部、162 ユーザインタフェース処理部、164 通信部、166 データ処理部、168 データ格納部、170 入力部、172 出力部、174 第2メッセージ取得部、176 キャラクタ選択部、178 飲食物操作部、180 視聴キャラクタ表示部、182 第1メッセージ出力部、184 第2メッセージ出力部、186 送信部、190 受信部、196 視聴者会話画面、198 メッセージ領域、200 飲食物ボタン、206 配信者会話画面、208 カメラ、220 飲食判定部、222 視聴サイン入力部、224 飲食物表示部、226 飲食物オブジェクト、227 飲食物特定部、228 ストロー、230 タピオカ団子、232 ミルク、234 ツールオブジェクト、236 サインオブジェクト、238 アイスクリーム、240 スプーンオブジェクト、242 ガラス容器
【手続補正書】
【提出日】2023-07-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
配信者により操作される配信装置と視聴者により操作される視聴装置を含み、
前記配信装置は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
前記動作情報を送信する送信部と、を備え、
前記視聴装置は、
前記動作情報を受信する受信部と、
前記視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
複数種類のオブジェクトの中から視聴者によって選択されたオブジェクトを表示させるオブジェクト表示部と、を備え、
前記視聴キャラクタ表示部は、前記オブジェクトと前記キャラクタの所定の部位との位置関係に関する所定の条件が成立するとき、前記キャラクタが所定の動作を行う動画を表示させることを特徴とするライブ通信システム。
【請求項2】
配信者により操作される配信装置と視聴者により操作される視聴装置を含み、
前記配信装置は、
配信者を撮像する撮像部と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する動作情報生成部と、
前記動作情報を送信する送信部と、を備え、
前記視聴装置は、
前記動作情報を受信する受信部と、
前記視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる視聴キャラクタ表示部と、
複数種類のオブジェクトの中から視聴者によって選択されたオブジェクトを表示させるオブジェクト表示部と、を備え、
前記視聴キャラクタ表示部は、前記オブジェクトと前記キャラクタの所定の部位との位置関係に関する所定の条件が成立するとき、前記オブジェクトが変化する動画を表示させることを特徴とするライブ通信システム。
【請求項3】
前記視聴装置の前記オブジェクト表示部は、視聴者による操作にしたがって、前記オブジェクトを移動表示させることを特徴とする請求項1又は2に記載のライブ通信システム。
【請求項4】
前記視聴装置の前記オブジェクト表示部は、視聴者の手の位置に対応して前記オブジェクトの位置座標を変化させ、
前記視聴キャラクタ表示部は、前記オブジェクトの位置座標と前記キャラクタの前記所定の部位の位置座標の距離が第1の閾値以下であるとき前記所定の条件が成立し、前記キャラクタが前記所定の動作を行う動画を表示させることを特徴とする請求項1に記載のライブ通信システム。
【請求項5】
前記視聴装置は、
視聴者から、前記オブジェクトに対するサインの入力を受け付ける視聴サイン入力部、を更に備え、
前記オブジェクト表示部は、前記オブジェクトに前記サインを合成して表示させることを特徴とする請求項1又は2に記載のライブ通信システム。
【請求項6】
前記配信装置は、
配信者から、前記オブジェクトに対するサインの入力を受け付ける配信サイン入力部、を更に備え、
前記送信部は、更に、前記サインの画像を送信し、
前記視聴装置の前記受信部は、前記サインの画像を受信し、
前記オブジェクト表示部は、前記オブジェクトに前記サインの画像を合成して表示させることを特徴とする請求項1又は2に記載のライブ通信システム。
【請求項7】
前記配信装置は、複数の前記視聴装置と同時接続され、
前記視聴装置は、更に、視聴者により指定されたオブジェクトのIDを送信する送信部、を更に備え、
前記配信装置は、1以上の視聴装置において指定されたオブジェクトに対する配信者の選択を受け付けるオブジェクト選択部、を更に備え、
前記配信装置の前記送信部は、前記選択されたオブジェクトを前記複数の視聴装置に同時送信し、
前記複数の視聴装置それぞれの前記視聴キャラクタ表示部は、前記選択されたオブジェクトを対象として、前記キャラクタが前記所定の動作を行う動画を表示させることを特徴とする請求項1に記載のライブ通信システム。
【請求項8】
前記オブジェクト表示部は、前記オブジェクトに対する視聴者からの分割操作が受け付けられたとき、前記オブジェクトを第1の部分オブジェクトと残部オブジェクトに分離させ、前記視聴者による操作にしたがって前記第1の部分オブジェクトを移動表示させ、
前記視聴キャラクタ表示部は、前記第1の部分オブジェクトの位置座標と前記キャラクタの前記所定の部位の位置座標の距離が第2の閾値以下であるとき前記所定の条件が成立し、前記キャラクタが前記第1の部分オブジェクトに対して前記所定の動作を行う動画を表示させるとともに第1の部分オブジェクトを消去し、
前記オブジェクト表示部は、前記残部オブジェクトに対する分割操作が受け付けられたとき、前記残部オブジェクトを第2の部分オブジェクトと新たな残部オブジェクトに分離させ、前記視聴者による操作にしたがって前記第2の部分オブジェクトを移動表示させ、
前記視聴キャラクタ表示部は、前記第2の部分オブジェクトの位置座標と前記キャラクタの前記所定の部位の位置座標の距離が第3の閾値以下であるとき前記所定の条件が再度成立し、前記キャラクタが前記第2の部分オブジェクトに対して前記所定の動作を行う動画を表示させるとともに第2の部分オブジェクトを消去することを特徴とする請求項1に記載のライブ通信システム。
【請求項9】
前記視聴装置の前記オブジェクト表示部は、視聴者により前記オブジェクトを投げる操作がなされたとき、前記オブジェクトを所定の軌道に沿って移動表示させ、
前記視聴キャラクタ表示部は、前記移動表示されるオブジェクトの位置座標と前記キャラクタの前記所定の部位の位置座標の距離が第4の閾値以内であるとき前記所定の条件が成立し、前記キャラクタが前記所定の動作を行う動画を表示させることを特徴とする請求項1に記載のライブ通信システム。
【請求項10】
配信者を撮像する機能と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する機能と、
前記動作情報を送信する機能と、を配信装置において発揮させる第1のプログラムと、
前記動作情報を受信する機能と、
視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる機能と、
複数種類のオブジェクトの中から視聴者によって選択されたオブジェクトを表示させる機能と、
前記オブジェクトと前記キャラクタの所定の部位との位置関係に関する所定の条件が成立するとき、前記キャラクタが所定の動作を行う動画を表示させる機能と、を視聴装置において発揮させる第2のプログラムと、を含むことを特徴とするライブ通信プログラム。
【請求項11】
配信者を撮像する機能と、
配信者の撮像画像から、配信者の動作の特徴を示す動作情報を生成する機能と、
前記動作情報を送信する機能と、を配信装置において発揮させる第1のプログラムと、
前記動作情報を受信する機能と、
視聴装置の画面にキャラクタを動画表示させ、前記動作情報に応じて前記キャラクタを動作させる機能と、
複数種類のオブジェクトの中から視聴者によって選択されたオブジェクトを表示させる機能と、
前記オブジェクトと前記キャラクタの所定の部位との位置関係に関する所定の条件が成立するとき、前記オブジェクトが変化する動画を表示させる機能と、を視聴装置において発揮させる第2のプログラムと、を含むことを特徴とするライブ通信プログラム。