特許 7430014 制御装置、制御方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-02-01

(45)【発行日】2024-02-09

(54)【発明の名称】制御装置、制御方法及びコンピュータープログラム

(51)【国際特許分類】

   H04N 21/258 20110101AFI20240202BHJP

   H04N 21/235 20110101ALI20240202BHJP

   H04L 67/306 20220101ALI20240202BHJP

   G06F 3/01 20060101ALI20240202BHJP

   G06F 3/0481 20220101ALI20240202BHJP

【ＦＩ】

H04N21/258

H04N21/235

H04L67/306

G06F3/01 510

G06F3/0481

【請求項の数】 5

(21)【出願番号】P 2023057251

(22)【出願日】2023-03-31

【審査請求日】2023-03-31

【早期審査対象出願】

(73)【特許権者】

【識別番号】519056800

【氏名又は名称】株式会社ＨＩＫＫＹ

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100140718

【弁理士】

【氏名又は名称】仁内 宏紀

(74)【代理人】

【識別番号】100211122

【弁理士】

【氏名又は名称】白石 卓也

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(72)【発明者】

【氏名】壽藤 忠伸

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１９－１２６１０１（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３４８７９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｌ ６７／００ － ６７／７５

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して配信されるコンテンツを受信する第一端末装置から受信される前記第一端末装置のユーザーの状態を示す状態情報に基づいて、前記コンテンツの配信の盛り上がりの状態を示す配信状態を判定する配信状態判定部と、
前記配信状態を示す画像を表す表示情報を生成し、前記コンテンツの配信関係者の第二端末装置に前記表示情報を送信する表示情報制御部と、を備え、
前記配信状態を示す画像は、複数のユーザーを含むグループの単位で分割された単位領域を有し、
前記配信状態判定部は、単位領域毎に前記単位領域に属するユーザーの状態情報に基づいて前記単位に応じた配信状態を判定し、
前記表示情報制御部は、前記単位領域に前記配信状態に応じた画像を表示させ、
前記グループに所属可能なユーザーの数の上限が定められている制御装置。

【請求項2】

前記第二端末装置は、前記コンテンツの演者が位置する配信対象領域とは物理的に離れて配置される装置である、請求項１に記載の制御装置。

【請求項3】

前記第一端末装置のユーザーは、前記第一端末装置を操作することによって、前記コンテンツが配信される仮想空間内において自身のアバターを操作し、
前記配信状態判定部は、前記アバターを動かす操作に応じて前記配信状態を判定する、請求項１に記載の制御装置。

【請求項4】

コンピューターが、ネットワークを介して配信されるコンテンツを受信する第一端末装置から受信される前記第一端末装置のユーザーの状態を示す状態情報に基づいて、前記コンテンツの配信の盛り上がりの状態を示す配信状態を判定する配信状態判定ステップと、
コンピューターが、前記配信状態を示す画像を表す表示情報を生成し、前記コンテンツの配信関係者の第二端末装置に前記表示情報を送信する表示情報制御ステップと、を有し、
前記配信状態を示す画像は、複数のユーザーを含むグループの単位で分割された単位領域を有し、
前記配信状態判定ステップにおいて、単位領域毎に前記単位領域に属するユーザーの状態情報に基づいて前記単位に応じた配信状態を判定し、
前記表示情報制御ステップにおいて、前記単位領域に前記配信状態に応じた画像を表示させ、
前記グループに所属可能なユーザーの数の上限が定められている制御方法。

【請求項5】

ネットワークを介して配信されるコンテンツを受信する第一端末装置から受信される前記第一端末装置のユーザーの状態を示す状態情報に基づいて、前記コンテンツの配信の盛り上がりの状態を示す配信状態を判定する配信状態判定部と、
前記配信状態を示す画像を表す表示情報を生成し、前記コンテンツの配信関係者の第二端末装置に前記表示情報を送信する表示情報制御部と、を備え、
前記配信状態を示す画像は、複数のユーザーを含むグループの単位で分割された単位領域を有し、
前記配信状態判定部は、単位領域毎に前記単位領域に属するユーザーの状態情報に基づいて前記単位に応じた配信状態を判定し、
前記表示情報制御部は、前記単位領域に前記配信状態に応じた画像を表示させ、
前記グループに所属可能なユーザーの数の上限が定められている制御装置、としてコンピューターを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、参加者の状況を伝達するための技術に関する。

【背景技術】

【0002】

従来から、ネットワークを介してライブ動画を配信するためのシステムが提案されている。最近では特に、ライブ動画の配信者と視聴者との間の繋がりを強化することを目的とした技術の提案もされている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－１８６７４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ネットワークを介したライブ動画の配信では、配信者側からは各視聴者の状況を知ることが難しい。そのため、配信者において視聴者の盛り上がりの状況を把握することが難しい場合があった。このような問題は、ライブ動画に限った問題ではなく、複数の閲覧者に対してネットワークを介してコンテンツが配信されるシステム全般に共通する問題である。
上記事情に鑑み、本発明は、ネットワークを介して行われるコンテンツの配信において、配信に関係する者が配信を受けている者の状況をより容易に確認することが可能となる技術の提供を目的としている。

【課題を解決するための手段】

【0005】

本発明の一態様は、ネットワークを介して配信されるコンテンツを受信する第一端末装置から受信される前記第一端末装置のユーザーの状態を示す状態情報に基づいて、前記コンテンツの配信の盛り上がりの状態を示す配信状態を判定する配信状態判定部と、前記配信状態を示す画像を表す表示情報を生成し、前記コンテンツの配信関係者の第二端末装置に前記表示情報を送信する表示情報制御部と、を備える制御装置である。

【0006】

本発明の一態様は、上記の制御装置であって、前記配信状態を示す画像は、前記ユーザーの単位又は複数のユーザーを含むグループの単位のいずれかで分割された単位領域を有し、前記配信状態判定部は、単位領域毎に前記単位領域に属するユーザーの状態情報に基づいて前記単位に応じた配信状態を判定し、前記表示情報制御部は、前記単位領域に前記配信状態に応じた画像を表示させる。

【0007】

本発明の一態様は、コンピューターが、ネットワークを介して配信されるコンテンツを受信する第一端末装置から受信される前記第一端末装置のユーザーの状態を示す状態情報に基づいて、前記コンテンツの配信の盛り上がりの状態を示す配信状態を判定する配信状態判定ステップと、コンピューターが、前記配信状態を示す画像を表す表示情報を生成し、前記コンテンツの配信関係者の第二端末装置に前記表示情報を送信する表示情報制御ステップと、を有する制御方法である。

【0008】

本発明の一態様は、ネットワークを介して配信されるコンテンツを受信する第一端末装置から受信される前記第一端末装置のユーザーの状態を示す状態情報に基づいて、前記コンテンツの配信の盛り上がりの状態を示す配信状態を判定する配信状態判定部と、前記配信状態を示す画像を表す表示情報を生成し、前記コンテンツの配信関係者の第二端末装置に前記表示情報を送信する表示情報制御部と、を備える制御装置、としてコンピューターを機能させるためのコンピュータープログラムである。

【発明の効果】

【0009】

本発明により、ネットワークを介して行われるコンテンツの配信において、配信に関係する者が配信を受けている者の状況をより容易に確認することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の配信システム１００のシステム構成を示す概略ブロック図である。

【図2】第一ユーザー端末３０の機能構成の具体例を示す概略ブロック図である。

【図3】第二ユーザー端末４０の機能構成の具体例を示す概略ブロック図である。

【図4】制御装置５０の機能構成の具体例を示す概略ブロック図である。

【図5】第一表示態様を示す図である。

【図6】第一表示態様において視聴者数が増えた場合の画像を示す図である。

【図7】第二表示態様を示す図である。

【図8】第二表示態様において視聴者数が増えた場合の画像を示す図である。

【図9】第三表示態様を示す図である。

【図10】第四表示態様を示す図である。

【図11】表示態様の変形例を示す図である。

【図12】制御装置５０の処理の具体例を示すフローチャートである。

【図13】配信システム１００の変形例を示す図である。

【図14】配信システム１００の変形例を示す図である。

【図15】本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。図１は、本発明の配信システム１００のシステム構成を示す概略ブロック図である。配信システム１００は、入力機器１０、配信サーバー２０、複数の第一ユーザー端末３０、第二ユーザー端末４０及び制御装置５０を備える。配信システム１００は、配信サーバー２０からコンテンツのデータを複数の第一ユーザー端末３０にネットワーク６０を介して配信する。

【0012】

配信システム１００では、例えば第一ユーザー端末３０が配信サーバー２０に対してアクセスして配信を受けるための処理を行ってもよいし、第一ユーザー端末３０が制御装置５０に対してアクセスして配信を受けるための処理を行ってもよい。このような制御装置５０の具体例として例えば配信を制御する装置や、メタバースを提供する装置がある。例えば制御装置５０がメタバースを提供する装置である場合には、メタバース内にて第一ユーザー端末３０のユーザーのアバターがコンテンツ配信の行われる場所に訪れることに応じて配信サーバー２０から第一ユーザー端末３０へ配信が開始されてもよい。

【0013】

配信サーバー２０から第一ユーザー端末３０に配信されるコンテンツは、例えば入力機器１０によって取得された演者７０の行為に関する映像や音響を含むものであってもよい。配信されるコンテンツは、例えば音楽の演奏、演劇や芸能の実演、スポーツや競技（将棋や囲碁など）やゲームの映像、ショーの映像など、どのような種別のものであってもよい。配信されるコンテンツは、ライブのコンテンツであってもよいし、録画等予め生成されたコンテンツであってもよい。

【0014】

映像は、カメラで撮影することによって生成される動画像であってもよいし、コンピューターグラフィックスを用いて生成された動画像であってもよいし、これらを組み合わせて生成されたものであってもよい。音響は、マイクで集音することによって生成された音響であってもよいし、コンピューターで生成された音響であってもよいし、これらを組み合わせて生成されたものであってもよい。以下の説明では、演者７０の演奏の映像又は音響を入力機器１０で取得することによって得られるコンテンツが配信される例を用いて説明する。

【0015】

入力機器１０は、カメラやマイクを用いて構成される。入力機器１０は、例えば配信対象領域８０における演者７０の映像を取得してもよいし、配信対象領域における演者７０によって発せられる音響（演奏や歌唱）を取得してもよい入力機器１０は、取得された映像や音響を示すコンテンツデータを生成し、生成されたコンテンツデータを配信サーバー２０に入力する。

【0016】

配信サーバー２０は、入力機器１０から入力されたコンテンツデータを、配信先となる第一ユーザー端末３０に対して配信する。例えば第一ユーザー端末３０から配信要求を受信した場合に、配信サーバー２０は配信要求の送信元である第一ユーザー端末３０を配信先として決定してもよい。例えば制御装置５０から配信先の第一ユーザー端末３０を指定された場合に、配信サーバー２０は指定された第一ユーザー端末３０を配信先として決定してもよい。配信先となる第一ユーザー端末３０はどのような処理によって決定されてもよい。配信サーバー２０は、配信先となる第一ユーザー端末３０に対してネットワーク６０を介してコンテンツデータを配信する。

【0017】

第一ユーザー端末３０は、コンテンツの配信を受ける者（以下「視聴者」という。）によって使用される端末装置である。図２は、第一ユーザー端末３０の機能構成の具体例を示す概略ブロック図である。第一ユーザー端末３０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、テレビ受像器、ヘッドマウントディスプレイシステム、専用機器などの情報機器を用いて構成される。第一ユーザー端末３０は、通信部３１、操作部３２、出力部３３、記憶部３４及び制御部３５を備える。

【0018】

通信部３１は、通信機器である。通信部３１は、例えばネットワークインターフェースとして構成されてもよい。通信部３１は、制御部３５の制御に応じて、ネットワーク６０を介して他の装置とデータ通信する。通信部３１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0019】

操作部３２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部３２に適用される入力装置は、例えばジャイロセンサーや加速度センサーを用いたコントローラーであってもよい。操作部３２に適用される入力装置は、例えばジャイロセンサーや加速度センサーを内蔵したヘッドマウントディスプレイであってもよい。このように入力装置が構成されることで、視聴者の動きに関する情報を取得することができる。入力装置としてヘッドマウントディスプレイが用いられる場合には、操作部３２と出力部３３とが同一の装置として構成されてもよい。

【0020】

操作部３２は、視聴者の指示や視聴者の動きを第一ユーザー端末３０に入力する際に視聴者によって使用される。操作部３２は、入力装置を第一ユーザー端末３０に接続するためのインターフェースであっても良い。この場合、操作部３２は、入力装置において視聴者の入力に応じ生成された入力信号を第一ユーザー端末３０に入力する。操作部３２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部３２は視聴者によって発話された文言を音声認識し、認識結果の文字列情報を第一ユーザー端末３０に入力する。操作部３２は、視聴者によって発せられた音の大きさを判定し、判定結果を第一ユーザー端末３０に入力してもよい。このような音声認識や音の大きさの判定は制御部３５によって行われてもよい。操作部３２は、視聴者の指示や動きを第一ユーザー端末３０に入力可能な構成であればどのように構成されてもよい。

【0021】

出力部３３は、出力装置を用いて構成される。出力部３３は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置を用いて構成されてもよい。この場合、出力部３３は、配信サーバー２０から配信されるコンテンツデータの映像を表示する。出力部３３は、画像表示装置を第一ユーザー端末３０に接続するためのインターフェースであっても良い。この場合、出力部３３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

【0022】

出力部３３は、例えばスピーカー、ヘッドフォン、イヤフォン等の音響出力装置を用いて構成されてもよい。この場合、出力部３３は、配信サーバー２０から配信されるコンテンツデータの音響を出力する。出力部３３は、音響出力装置を第一ユーザー端末３０に接続するためのインターフェースであっても良い。この場合、出力部３３は、音響データを出力するための音響信号を生成し、自身に接続されている音響出力装置に音響信号を出力する。

【0023】

記憶部３４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部３４は、制御部３５によって使用されるデータを記憶する。記憶部３４は、例えばユーザー情報記憶部３４１として機能してもよい。

【0024】

ユーザー情報記憶部３４１は、第一ユーザー端末３０を操作するユーザー（視聴者）に関する情報（以下「ユーザー情報」という。）を記憶する。ユーザー情報は、例えば視聴者に対応付けられているユーザー識別情報や属性情報を含んでもよい。属性情報は、例えば視聴者の年齢や性別等に関する情報を含んでもよい。

【0025】

制御部３５は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部３５は、プロセッサーがプログラムを実行することによって、接続制御部３５１、状態情報制御部３５２及び出力制御部３５３として機能する。なお、制御部３５の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0026】

制御部３５は、例えば予め自装（第一ユーザー端末３０）にインストールされたアプリケーションを実行してもよい。このようなアプリケーションの具体例として、配信システム１００の専用アプリケーションとして第一ユーザー端末３０に提供されるアプリケーションがある。このようなアプリケーションの他の具体例として、ＷＥＢブラウザーのアプリケーションがある。このようなアプリケーションの他の具体例として、第一ユーザー端末３０がＷＥＢブラウザー等のアプリケーションを用いて所定のアドレスにアクセスしたことに応じて所定のサーバーから提供されるアプリケーションであってもよい。制御部３５において実行されるアプリケーションは１つであってもよいし複数であってもよい。このようなアプリケーションの具体例として、ＷＥＢブラウザー、メタバースのためのアプリケーション、動画像や音響のコンテンツ配信を受信して再生するためのアプリケーション、等がある。制御部３５は、実行中のアプリケーションのプログラムにしたがって動作してもよい。

【0027】

接続制御部３５１は、配信サーバー２０に対してコンテンツの配信を開始させるための処理を実行する。例えば、接続制御部３５１は、ユーザー情報記憶部３４１に記憶されているユーザー識別情報等の情報を配信サーバー２０に対して送信することによって、コンテンツの配信を要求してもよい。例えば、接続制御部３５１は、ユーザー情報記憶部３４１に記憶されているユーザー識別情報等の情報を制御装置５０に対して送信することによってコンテンツの配信を要求してもよい。コンテンツの配信の要求はどのような形で行われてもよい。以下、コンテンツの配信の開始までの処理の具体例を三つ説明する。ただし、コンテンツの配信の開始までの処理は、以下に示した具体例に限定される必要は無い。

【0028】

第一の具体例について説明する。例えば視聴者が第一ユーザー端末３０を操作することによって、演者７０の演奏等のコンテンツ配信が予定されているＷＥＢサイトのＵＲＬにアクセスし、そのＷＥＢサイトにおいてコンテンツの配信開始を指示するための操作（例えば“配信開始”のボタンを押す操作）を行う。視聴者のこのような動作に応じて、接続制御部３５１は、ＷＥＢサイトから要求された情報（例えばユーザー識別情報やパスワード等）をＷＥＢサイトのサーバーに対して送信する。ＷＥＢサイトのサーバーは、認証を行った上で、配信サーバー２０に対し、この第一ユーザー端末３０への配信を開始することを指示する。この場合、制御装置５０がＷＥＢサイトのサーバーとして動作してもよい。

【0029】

第二の具体例について説明する。例えば視聴者が第一ユーザー端末３０を操作することによって、メタバースの仮想空間にアクセスする。視聴者は、メタバースの仮想空間内において自身のアバターを操作することで、演者７０の演奏等のコンテンツ配信が予定されている所定の領域にアバターを移動させる。このような処理は、例えば接続制御部３５１によって実行されてもよい。所定の領域にアバターが侵入したことに応じて、メタバースのサーバーは、配信サーバー２０に対し、この第一ユーザー端末３０への配信を開始することを指示する。この場合、制御装置５０がメタバースのサーバーとして動作してもよい。

【0030】

第三の具体例について説明する。第三の具体例では、配信サーバー２０が上記第一の具体例におけるＷＥＢサイトのサーバーとして動作する。この場合、配信サーバー２０は、第一ユーザー端末３０からのアクセスに応じてコンテンツの配信を開始する。

【0031】

状態情報制御部３５２は、第一ユーザー端末３０の視聴者の状態情報を取得する。状態情報は、第一ユーザー端末３０において再生されているコンテンツに対する視聴者の状態を直接的又は間接的に示す情報である。状態情報は、例えば視聴者がアバターに対して行った操作に関する情報や、アバターの状態を示す情報であってもよい。例えば、状態情報として、アバターに設定されている感情を示す情報が用いられても良いし、アバターを動かす操作の内容を示す情報が用いられてもよい。状態情報は、例えば視聴者が操作部３２を介して入力したテキストチャットの内容を示す情報であってもよい。状態情報は、例えば視聴者が操作部３２を介して行った投げ銭に関する情報であってもよい。状態情報は、例えば視聴者が操作部３２を介して入力した音声や音響に関する情報であってもよい。状態情報は、例えば視聴者が操作部３２を操作することによって得られた視聴者の動きに関する情報（例えばコントローラーやヘッドマウントディスプレイにおいて検出された視聴者の動きに関する情報）であってもよい。

【0032】

状態情報は、第一ユーザー端末３０に備えられたカメラによって撮影された画像に関する情報であってもよい。この場合、例えば画像そのものが状態情報として用いられても良いし、時系列に並んだ各画像において差分情報を取得し、その差分情報が状態情報として用いられても良い。例えば、各画素における画素値の差分が大きいほど視聴者が大きく動いていると判定されてもよいし、画像内のオブジェクトについて動きベクトルを算出することによって動きベクトルの大きさに応じて視聴者の動きの大きさが判定されてもよい。

【0033】

状態情報制御部３５２は、取得された状態情報を制御装置５０に送信する。このとき、状態情報制御部３５２は、例えばユーザー情報記憶部３４１に記憶されているユーザー情報（例えばユーザー識別情報）を状態情報とともに送信してもよい。状態情報制御部３５２は、第一ユーザー端末３０において配信サーバー２０から受信しているコンテンツを示すコンテンツ識別情報を状態情報とともに送信してもよい。状態情報制御部３５２は、第一ユーザー端末３０がアクセスしているメタバースにおいてアバターが所属しているインスタンスを示すインスタンス識別情報を状態情報とともに送信してもよい。

【0034】

出力制御部３５３は、配信サーバー２０から配信されるコンテンツのデータを、ネットワーク６０を介して受信する。出力制御部３５３は、受信されたデータを復号し出力部３３において再生する。出力制御部３５３のこのような処理によって、第一ユーザー端末３０の視聴者はコンテンツを視聴することができる。

【0035】

第二ユーザー端末４０は、配信関係者によって使用される端末装置である。配信関係者は、コンテンツの配信に関係する者である。配信関係者は、例えば演者７０であってもよいし、演者７０の関係者（例えばプロデューサーやマネージャーや監督等）であってもよい。配信関係者は、配信されるコンテンツの編集や作成を行う者であってもよい。配信関係者は、コンテンツの配信者自身であってもよい。配信関係者は、上述した具体例に限定される必要は無い。

【0036】

図３は、第二ユーザー端末４０の機能構成の具体例を示す概略ブロック図である。第二ユーザー端末４０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、テレビ受像器、ヘッドマウントディスプレイシステム、専用機器などの情報機器を用いて構成される。第二ユーザー端末４０は、通信部４１、操作部４２、表示部４３、記憶部４４及び制御部４５を備える。

【0037】

通信部４１は、通信機器である。通信部４１は、例えばネットワークインターフェースとして構成されてもよい。通信部４１は、制御部４５の制御に応じて、ネットワーク６０を介して他の装置とデータ通信する。通信部４１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0038】

操作部４２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部４２に適用される入力装置は、例えばジャイロセンサーや加速度センサーを用いたコントローラーであってもよい。操作部４２は、配信関係者の指示を第二ユーザー端末４０に入力する際にユーザー（配信関係者）によって使用される。操作部４２は、入力装置を第二ユーザー端末４０に接続するためのインターフェースであっても良い。この場合、操作部４２は、入力装置において配信関係者の入力に応じ生成された入力信号を第二ユーザー端末４０に入力する。操作部４２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部４２は配信関係者によって発話された文言を音声認識し、認識結果の文字列情報を第二ユーザー端末４０に入力する。このような音声認識は制御部４５によって行われてもよい。操作部４２は、配信関係者の指示や動きを第二ユーザー端末４０に入力可能な構成であればどのように構成されてもよい。

【0039】

表示部４３は、表示装置を用いて構成される。表示部４３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の画像表示装置を用いて構成されてもよい。表示部４３は、制御装置５０から送信される画像を表示する。表示部４３は、画像表示装置を第二ユーザー端末４０に接続するためのインターフェースであっても良い。この場合、表示部４３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

【0040】

記憶部４４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部４４は、制御部４５によって使用されるデータを記憶する。

【0041】

制御部４５は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部４５は、プロセッサーがプログラムを実行することによって、表示制御部４５１として機能する。なお、制御部４５の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0042】

制御部４５は、例えば予め自装（第二ユーザー端末４０）にインストールされたアプリケーションを実行してもよい。このようなアプリケーションの具体例として、配信システム１００の専用アプリケーションとして第二ユーザー端末４０に提供されるアプリケーションがある。このようなアプリケーションの他の具体例として、ＷＥＢブラウザーのアプリケーションがある。このようなアプリケーションの他の具体例として、第二ユーザー端末４０がＷＥＢブラウザー等のアプリケーションを用いて所定のアドレスにアクセスしたことに応じて所定のサーバーから提供されるアプリケーションであってもよい。制御部４５において実行されるアプリケーションは１つであってもよいし複数であってもよい。このようなアプリケーションの具体例として、ＷＥＢブラウザーや、制御装置５０から受信されるデータに基づいて画像を表示するためのアプリケーション、等がある。制御部４５は、実行中のアプリケーションのプログラムにしたがって動作してもよい。

【0043】

表示制御部４５１は、制御装置５０と通信することによって、配信状態に応じた画像を示すデータを受信する。表示制御部４５１は、受信された画像を表示部４３に表示させる。

【0044】

図４は、制御装置５０の機能構成の具体例を示す概略ブロック図である。制御装置５０は、例えばパーソナルコンピューター、サーバー装置などの情報機器を用いて構成される。制御装置５０は、通信部５１、記憶部５２及び制御部５３を備える。

【0045】

通信部５１は、通信機器である。通信部５１は、例えばネットワークインターフェースとして構成されてもよい。通信部５１は、制御部５３の制御に応じて、ネットワーク６０を介して他の装置とデータ通信する。通信部５１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0046】

記憶部５２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部５２は、制御部５３によって使用されるデータを記憶する。記憶部５２は、例えばユーザー情報記憶部５２１、状態情報記憶部５２２及び配信状態情報記憶部５２３として機能する。ユーザー情報記憶部５２１は、配信サーバー２０によるコンテンツ配信を受ける第一ユーザー端末３０の各視聴者のユーザー情報を記憶する。状態情報記憶部５２２は、各第一ユーザー端末３０から受信された各視聴者の状態情報を記憶する。配信状態情報記憶部５２３は、後述する所定の単位毎に配信状態情報を記憶する。

【0047】

制御部５３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部５３は、プロセッサーがプログラムを実行することによって、状態情報取得部５３１、配信状態判定部５３２及び表示情報制御部５３３として機能する。

【0048】

状態情報取得部５３１は、配信サーバー２０からコンテンツの配信を受けている第一ユーザー端末３０それぞれから状態情報を受信する。状態情報取得部５３１は、受信された状態情報を状態情報記憶部５２２に記録する。このとき、状態情報取得部５３１は、状態情報とユーザー識別情報とを対応付けて記録してもよいし、状態情報とコンテンツ識別情報とを対応付けて記録してもよい。

【0049】

配信状態判定部５３２は、受信された状態情報に基づいて、配信されているコンテンツの配信状態を判定する。配信状態は、コンテンツの配信の盛り上がりの状態を、所定の単位毎に示す。所定の単位は、例えばコンテンツ単位であってもよいし、コンテンツの配信を受けている１又は複数の視聴者が所属するグループ単位であってもよいし、一人一人の視聴者単位であってもよい。視聴者が所属するグループの具体例として、メタバースにおけるインスタンスがある。一つのグループに所属可能な視聴者の数の上限が定められていても良い。各グループには上限まで視聴者が割り当てられ、上限に達した場合には新たなグループに新たな視聴者が割り当てられるように構成されてもよい。このように構成されることにより、生成されたグループの数に基づいて、そのコンテンツの配信を受けている視聴者のおおよその人数を把握することが可能となる。この場合、配信を受けている視聴者が所属しているインスタンス毎に１つの配信状態が判定されてもよい。

【0050】

配信状態は、所定の基準に基づいて判定される。例えば、配信を受けている視聴者又はグループに所属している視聴者の数が多いほど、大きく盛り上がっていることを示すように配信状態が判定されてもよい。例えば、視聴者が操作しているアバターの状態に応じて配信状態が判定されてもよい。この場合、例えばアバターの感情を示す状態が所定の状態（例えば元気、楽しい、嬉しい等の一般的にポジティブな感情を示す状態）である場合には、そのアバターの数に応じて盛り上がっていると判定されてもよい。逆に、例えばアバターの感情を示す状態が所定の状態（例えばつまらない、悲しい、さみしい等の一般的にネガティブな感情を示す状態）である場合には、そのアバターの数に応じて盛り下がっていると判定されてもよい。ポジティブな感情を示す状態や、ネガティブな感情を示す状態には、それぞれ複数の段階が設けられていてもよい。

【0051】

例えば、アバターを動かす操作の種類（例えば跳ねる、歩く、走る、踊るなど）に応じて配信状態が判定されてもよい。アバターを動かす操作の頻度に応じて配信状態が判定されてもよい。具体的には、操作の頻度が高い程、より大きく盛り上がっていると判定されてもよい。例えば、入力されるテキストチャットの内容、文字数、投稿される頻度に応じて配信状態が判定されてもよい。例えばテキストチャットの内容は、自然言語処理を実行することによってポジティブな内容かネガティブな内容かが判定されてもよい。例えば、文字数が多いほど、投稿される頻度が高いほど、より大きく盛り上がっていると判定されてもよい。

【0052】

例えば、配信関係者に対して実施された投げ銭に応じて配信状態が判定されてもよい。例えば、投げ銭の頻度が高いほど、投げ銭の総額が高い程、より大きく盛り上がっていると判定されてもよい。例えば、視聴者が発声した内容や視聴者によって発せられた音（例えば声）の大きさに応じて配信状態が判定されてもよい。例えば視聴者が発声した内容は、音声認識処理及び自然言語処理を実行することによってポジティブな内容かネガティブな内容かが判定されてもよい。例えば、音の大きさ大きいほど、より大きく盛り上がっていると判定されてもよい。

【0053】

例えば、視聴者の動きに関する情報に応じて配信状態が判定されてもよい。この場合、例えば視聴者の動きが所定の動き（例えば跳ねる、手を挙げる、手を振る等の一般的にポジティブな感情を示す状態）である場合には、その視聴者の数に応じて盛り上がっていると判定されてもよい。視聴者の動きの頻度に応じて配信状態が判定されてもよい。具体的には、動く頻度が高い程、より大きく盛り上がっていると判定されてもよい。視聴者の動きの大きさに応じて配信状態が判定されてもよい。具体的には、動きの大きさ（例えば手の振りの大きさや振る際の加速度の大きさ）が大きい程、より大きく盛り上がっていると判定されてもよい。

【0054】

配信状態判定部５３２は、所定の単位毎に、その単位に該当する視聴者の状態情報に基づいて配信状態を判定する。配信状態判定部５３２は、判定結果を示す情報を所定の単位毎に配信状態情報記憶部５２３に記録する。

【0055】

表示情報制御部５３３は、コンテンツ毎に表示情報を生成し、そのコンテンツの配信関係者の第二ユーザー端末４０に表示情報を送信する。表示情報は、第二ユーザー端末４０において一つの画面として表示される画像を示す情報である。以下、表示情報制御部５３３の処理について詳細に説明する。配信状態情報記憶部５２３から所定の単位毎に配信状態情報を取得する。表示情報制御部５３３は、所定の単位毎に配信状態情報を示す表示情報を生成する。表示情報は、第二ユーザー端末４０において表示される画像に関する情報である。表示情報は、画像を生成するために必要な情報であってもよいし、画像そのもののデータであってもよい。

【0056】

以下、表示情報制御部５３３によって生成される表示情報の具体例について説明する。図５は、第一表示態様を示す図である。第一表示態様では、所定の単位は視聴者単位である。表示される画像は、視聴者数に応じて複数の単位領域８１に分割される。各単位領域８１は同じ大きさ且つ同じ形状の領域であってもよい。一つの画像中に全ての視聴者の単位領域８１が表示されることが好ましい。一つの単位領域８１には、一人の視聴者が割り当てられる。

【0057】

各単位領域８１には、その領域に割り当てられた視聴者の配信状態に応じた画像が表示される。配信状態に応じた画像は、例えば所定のシンボル画像（例えば人の形をした画像）８２を含んでもよいし、単位領域８１の全体を所定のパターンや色で埋める画像であってもよいし、他の態様の画像であってもよい。図５の例では、各単位領域８１には視聴者の配信状態に応じたシンボル画像８２が示される。シンボル画像８２は、全ての視聴者において同じ形状であってもよいし、配信状態に応じて複数種類の形状が用いられても良い。シンボル画像８２の色は、配信状態に応じた態様（例えば色、変化、パターン等）で表されてもよい。シンボル画像８２の背景（すなわち、単位領域８１においてシンボル画像８２以外の領域）の色は、配信状態に応じた態様（例えば色、変化、パターン等）で表されてもよい。図５の例では、４名の視聴者が同一のコンテンツの配信を受けている状態である。４名の視聴者に割り当てられた各単位領域８１には、各視聴者に応じたシンボル画像８２や背景が表示される。

【0058】

図６は、第一表示態様において、図５の場合よりも配信を受けている視聴者数が増えた場合の画像を示す図である。図６では、１３名の視聴者が配信を受けている。画像を１３個の単位領域８１に分割しようとすると、一つ一つの単位領域８１の幅が非常に狭くなるおそれがある。単位領域８１には、必ずしも視聴者が割り当てられなくてもよい。例えば、単位領域８１の縦と横との比が所定の範囲におさまるように単位領域８１の形状が定義され、そのような単位領域８１を用いて可能な限り視聴者の総数に近い数の単位領域８１が生成されるように画像が分割されてもよい。図６の例では、縦４つ横４つで合計１６の単位領域８１に画像が分割されている。

【0059】

図７は、第二表示態様を示す図である。第二表示態様では、所定の単位はグループ単位（例えばインスタンス単位）である。表示される画像は、グループ数に応じて複数の単位領域８１に分割される。各単位領域８１は同じ大きさ且つ同じ形状の領域であってもよい。一つの画像中に全てのグループの単位領域８１が表示されることが好ましい。一つの単位領域８１には、一つグループが割り当てられる。

【0060】

各単位領域８１には、その領域に割り当てられたグループの配信状態に応じた画像が表示される。グループの配信状態は、例えばそのグループに所属している全視聴者の配信状態に基づいて判定される。例えば全視聴者の配信状態の統計情報に基づいて判定されてもよい。配信状態に応じた画像は、例えば所定のシンボル画像（例えば１又は複数の人の形をした画像）を含んでもよいし、単位領域８１の全体を所定のパターンや色で埋める画像であってもよいし、他の態様の画像であってもよい。図７の例では、各単位領域８１は配信状態に応じたパターン又は色の画像で埋められている。例えば、盛り上がっているほど濃い赤色で示され、盛り下がっている程濃い青色で示めされていてもよい。図７の例では、配信状態が４つの段階（ＬＶ１～ＬＶ４）で示されている。配信状態の段階は、４つに限定される必要は無い。このような表示は、第一態様においてシンボル画像ではなく単位領域８１を埋める画像が用いられた場合に適用されてもよい。単位領域８１の画像としてシンボル画像が用いられた場合には、全てのグループにおいて同じ形状であってもよいし、配信状態に応じて複数種類の形状が用いられても良い。シンボル画像やその背景に関しては、第一態様と同様に構成されてもよい。

【0061】

図８は、第二表示態様において、図７の場合よりも配信を受けているグループ数が増えた場合の画像を示す図である。図８では、４７名のグループに対して配信が行われている。画像の分割に関する処理は、第一態様の視聴者単位をグループ単位に置き換えて同様に構成されてもよい。例えば、画像を４７個の単位領域８１に分割しようとすると、一つ一つの単位領域８１の幅が非常に狭くなるおそれがある。単位領域８１には、必ずしもグループが割り当てられなくてもよい。例えば、単位領域８１の縦と横との比が所定の範囲におさまるように単位領域８１の形状が定義され、そのような単位領域８１を用いて可能な限りグループの総数に近い数の単位領域８１が生成されるように画像が分割されてもよい。図８の例では、縦６つ横８つで合計４８の単位領域８１に画像が分割されている。図８では、グループが割り当てられていない単位領域８１（図８の最も右下の領域）と、最も盛り下がっている単位領域８１とは、表示される際の表示態様が同じであってもよいし異なっていてもよい。

【0062】

図９は、第三表示態様を示す図である。第三表示態様では、所定の単位はグループ単位（例えばインスタンス単位）である。表示される画像は、グループ数に応じて複数の単位領域８１に分割される。ただし、画像上では、各単位領域８１の境界（枠）は表示されない。各単位領域８１は同じ大きさ且つ同じ形状の領域であってもよい。一つの画像中に全てのグループの単位領域８１が表示されることが好ましい。一つの単位領域８１には、一つグループが割り当てられる。

【0063】

各単位領域８１には、その領域に割り当てられたグループの配信状態に応じた画像が表示される。グループの配信状態は、第二表示態様の場合と同様に判定される。各単位領域８１には、配信状態に応じた画像として、形状が変化するシンボル画像８３が表示される。第三表示態様では、配信状態は複数の軸の値を用いて表される。例えば、盛り上がりの質と盛り上がりの量とを用いて配信状態が判定されてもよい。このような配信状態は、所定の基準に基づいて判定される。例えば、上述した配信状態の判定基準となる各要素が、質を示す要素と量を示す要素とに予め分けられており、それぞれの要素に基づいて配信状態が質と量とで判定されてもよい。シンボル画像８３は、このような複数の軸の値に基づいて、複数の要素で変化する画像である。例えば、シンボル画像８３は第一の軸の値（例えば質）に応じて色や表示パターンが決定され、第二の軸の値（例えば量）に応じて大きさが決定されてもよい。シンボル画像８３は、例えば質が高いほど濃い色や表示パターンで示され、量が大きいほど大きい画像として示されても良い。

【0064】

図１０は、第四表示態様を示す図である。第四表示態様では、所定の単位はコンテンツ単位である。表示される画像は単位領域８１には分割されない。第四表示態様では、表示される画像は、そのコンテンツの配信を受けている全視聴者の配信状態の統計情報に基づいて判定されてもよい。例えば、統計情報に応じた波形画像８４が表示されてもよい。波形画像８４は、例えば時系列情報を含まずに、その瞬間の配信状態に基づいて決定されてもよい。その場合、例えば配信状態に基づいて波形画像８４の振幅や画像に含まれる波数や波長が決定されても良い。波形画像８４は、例えば時系列情報を含むように、縦軸又は横軸に時間軸をもって表現されてもよい。その場合、現時点の振幅は、配信状態に基づいて決定されても良い。

【0065】

図１１は、表示態様の変形例を示す図である。図１１では、特に第二表示態様を例に示している。図１１に示されるように、各表示態様において、配信状態を示す画像以外の画像が表示されてもよい。このような画像の具体例として、配信に関係する情報を示す画像がある。より具体的には、投げ銭に関する画像や、テキストチャットに関する画像がある。このように一つの画像に配信状態に基づく画像に加えて他の情報を示す画像も合わせて表示されることによって、配信関係者はより容易に様々な情報を取得することが可能となる。

【0066】

図１２は、制御装置５０の処理の具体例を示すフローチャートである。まず、状態情報取得部５３１は、各第一ユーザー端末３０から状態情報を取得する（ステップＳ１０１）。状態情報の取得は、所定のタイミング（例えば３秒ごと、１０秒ごと、１分ごと、第二ユーザー端末４０から要求されたタイミング等）で実行される。配信状態判定部５３２は、取得された状態情報に基づいて所定の単位毎に配信状態を判定する（ステップＳ１０２）。表示情報制御部５３３は、所定の単位毎に判定された配信状態に基づいて、処理対象となっているコンテンツに関する表示内容を決定し（ステップＳ１０３）、表示情報を生成する（ステップＳ１０４）。そして、表示情報制御部５３３は、生成された表示情報を、判定対象となっているコンテンツの配信関係者の第二ユーザー端末４０に送信する（ステップＳ１０５）。第二ユーザー端末４０は、表示情報を受信すると、受信された表示情報に応じた画像を表示する。新たな表示情報の生成や送信は、所定のタイミング（例えば３秒ごと、１０秒ごと、１分ごと、第二ユーザー端末４０から要求されたタイミング等）で実行される。所定のタイミングが第二ユーザー端末４０から要求されたタイミングである場合には、第二ユーザー端末４０は所定のタイミング（例えば３秒ごと、１０秒ごと、１分ごと、配信関係者の操作に応じたタイミング等）で制御装置５０に新たな表示情報の送信を要求する。

【0067】

このように構成された配信システム１００では、配信関係者の第二ユーザー端末４０において、配信されているコンテンツの配信状態を示す画像が表示される。そのため、ネットワークを介して行われるコンテンツの配信において、配信関係者が配信を受けている者の状況をより容易に確認することが可能となる。

【0068】

例えば、第二ユーザー端末４０において表示される画像には、グループ単位やユーザー単位で配信状態に応じた画像が表示される。そのため、配信関係者は表示された画像を見ることによって配信の視聴者のおおよその数を容易に判断することが可能となる。

【0069】

例えば、第二ユーザー端末４０において表示される画像には、グループ単位やユーザー単位で配信状態に応じた画像が表示される。そのため、配信関係者は表示された画像を見ることによって視聴者の盛り上がりの状態を容易に判断することが可能となる。

【0070】

（変形例）
図１３は、配信システム１００の変形例を示す図である。図１３に示される配信システム１００では、第二ユーザー端末４０は配信対象領域８０とは離れた場所で使用される。図１で示したように配信対象領域８０内で第二ユーザー端末４０が使用される場合には、演者７０が第二ユーザー端末４０を見ることによって視聴者数や盛り上がりについて容易に判断することができたが、図１３に示されるように演者７０とは物理的に離れた位置で演者７０とは異なる配信関係者によって第二ユーザー端末４０が使用されてもよい。

【0071】

図１４は、配信システム１００の変形例を示す図である。図１４に示される配信システム１００では、配信サーバー２０によって配信されるコンテンツには演者７０が含まれない。例えば、定点カメラ（入力機器１０）で撮影された風景や動物の画像が配信されてもよい。

【0072】

配信サーバー２０と制御装置５０とが同一の情報機器を用いて実装されてもよい。第二ユーザー端末４０は、配信関係者とは異なる者によって使用されてもよい。第一ユーザー端末３０に対して制御装置５０から表示情報が送信されてもよい。この場合は第一ユーザー端末３０の出力部３３において表示情報の画像が表示されてもよい。制御装置５０は、複数の情報機器を用いて実装されてもよい。例えば、制御装置５０はクラウドシステムを用いて実装されてもよい。

【0073】

制御装置５０は、コンテンツの配信の盛り上がりの状態（配信状態）に応じて、第一ユーザー端末３０に特定の演出を出力させるように構成されてもよい。例えば、第一ユーザー端末３０のユーザー（視聴者）の盛り上がりの状態が特定の条件を満たした場合に、条件に応じた演出（例えば、花火を打ち上げる、炎が現れる、煙が出る等）が第一ユーザー端末３０の画面に表示されるように制御装置５０が動作してもよい。第一ユーザー端末３０のユーザー（視聴者）が所属しているグループ（例えばインスタンス）の盛り上がりの状態が特定の条件を満たした場合に、条件に応じた演出が第一ユーザー端末３０の画面に表示されるように制御装置５０が動作してもよい。

【0074】

図１５は、本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。情報処理装置９０は、プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４、入出力インターフェース９５及び内部バス９６を備える。プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４及び入出力インターフェース９５は、内部バス９６を介して互いに通信可能に接続される。情報処理装置９０は、例えば配信サーバー２０、第一ユーザー端末３０、第二ユーザー端末４０及び制御装置５０に適用されてもよい。この場合、例えば各装置の通信部は通信インターフェース９３を用いて構成されてもよい。例えば各装置の記憶部は補助記憶装置９４を用いて構成されてもよい。また、各装置の制御部は、プロセッサー９１及び主記憶装置９２を用いて構成されてもよい。

【0075】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0076】

１０…入力機器、２０…配信サーバー、３０…第一ユーザー端末、３１…通信部、３２…操作部、３３…出力部、３４…記憶部、３５…制御部、４０…第二ユーザー端末、４１…通信部、４２…操作部、４３…表示部、４４…記憶部、４５…制御部、５０…制御装置、５１…通信部、５２…記憶部、５３…制御部、６０…ネットワーク、７０…演者、８０…配信対象領域、８１…単位領域、８２…シンボル画像、８３…シンボル画像、８４…波形画像、１００…配信システム、３４１…ユーザー情報記憶部、３５１…接続制御部、３５２…状態情報制御部、３５３…出力制御部、４５１…表示制御部、５２１…ユーザー情報記憶部、５２２…状態情報記憶部、５２３…配信状態情報記憶部、５３１…状態情報取得部、５３２…配信状態判定部、５３３…表示情報制御部

【要約】

【課題】ネットワークを介して行われるコンテンツの配信において、配信に関係する者が配信を受けている者の状況をより容易に確認すること。
【解決手段】ネットワークを介して配信されるコンテンツを受信する第一端末装置から受信される前記第一端末装置のユーザーの状態を示す状態情報に基づいて、前記コンテンツの配信の盛り上がりの状態を示す配信状態を判定する配信状態判定部と、前記配信状態を示す画像を表す表示情報を生成し、前記コンテンツの配信関係者の第二端末装置に前記表示情報を送信する表示情報制御部と、を備える制御装置。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】