(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-26
(45)【発行日】2024-03-05
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
H04L 67/00 20220101AFI20240227BHJP
H04L 67/02 20220101ALI20240227BHJP
G06F 3/048 20130101ALI20240227BHJP
H04N 7/15 20060101ALI20240227BHJP
【FI】
H04L67/00
H04L67/02
G06F3/048
H04N7/15
(21)【出願番号】P 2022151418
(22)【出願日】2022-09-22
(62)【分割の表示】P 2019092952の分割
【原出願日】2019-05-16
【審査請求日】2022-10-21
(73)【特許権者】
【識別番号】518126904
【氏名又は名称】SUGAR株式会社
(74)【代理人】
【識別番号】100205659
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100154748
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】松井 厚憲
【審査官】岩田 玲彦
(56)【参考文献】
【文献】特開2012-242918(JP,A)
【文献】特開2007-256310(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/00
H04L 67/02
G06F 3/048
H04N 7/15
(57)【特許請求の範囲】
【請求項1】
ユーザに提示される画像のデータを生成する第1情報処理装置と、当該画像を当該ユーザに提示する際に利用される第2情報処理装置と、を含む情報処理システムにおいて、
前記第1情報処理装置は、
複数の画像のデータを、第1データの群として取得する第1取得手段と、
前記複数の画像の夫々を区分可能に含む画像のデータを、第2データとして生成する第1生成手段と、
前記第2データの生成及び送信に係るタイムラグが許容される前記ユーザに利用されることが既知の種類である第1種類の前記第2情報処理装置に対して、前記第2データを1つのコネクションを用い
て送信する制御を実行する第1送信制御手段と、
前記タイムラグが許容されない前記ユーザに利用されることが既知の種類である第2種類の前記第2情報処理装置に対して、前記第1データの群
を構成する前記複数の画像のデータの夫々をコネクション
の夫々を用い
て送信する制御を実行する第2送信制御手段と、
を備え、
前記第1種類の
前記第2情報処理装置は、
前記第1情報処理装置から送信された前記第2データを取得する第2取得手段と、
前記第2データに基づいて、前記複数の画像の夫々を区分する区分手段と、
前記複数の画像のうち1以上の画像を表示対象として、表示対象の前記1以上の画像の夫々をどのように配置するのかを示す情報を、配置情報として取得する第3取得手段と、
前記配置情報に基づいて、表示対象の前記1以上の画像の夫々を配置させた画像のデータを、第4データとして生成する第2生成手段と、
前記第4データに対応する前記画像を前記ユーザに提示する制御を行う提示制御手段と、
を備える、
情報処理システム。
【請求項2】
前記第1取得手段は、前記第1データの群の中から、主画像のデータと副画像のデータを取得し、
前記第1生成手段は、第1の画質の前記主画像と第2の画質の前記副画像との夫々を区分可能に含む画像のデータを、前記第2データとして生成する、
請求項1に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムに関する。
【背景技術】
【0002】
従来、テレビ会議システムや動画配信サービスの中には、動画像を始めとする画像のデータを、インターネットを介して配信するものが存在する。
ここで、1台以上の画面共有端末に入力された情報のうち、他の画面共有端末(以下、「クライアント端末」と呼ぶ)に配信する情報の選択を、管理端末から受け付けることが可能な情報処理システムが提案されている(例えば、特許文献1参照)。
【0003】
特許文献1に記載の技術を含む従来技術では、複数の画像(複数のユーザから送信された画像や、単一のユーザから送信された複数の資料等の画像)を共有する場合、クライアント端末は、管理端末により選択された画像を表示することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、画像のデータをユーザに提供する手法として、ユーザにとっての利便性を向上させ、且つ、コストを低減させる手法が近年要求されているものの、特許文献1を含め従来の技術ではこのような要求に十分に応えられていない。また、ユーザにとっての利便性を向上させつつ、多量のユーザに画像を共有(配信)する場合、コストが大きくなることがあった。
即ち、特許文献1に記載の技術を含む従来技術では、ユーザは、閲覧する画面に、任意の画像を任意の配置で表示することができず、ユーザにとっての利便性が高いとは言える状況ではなかった。
【0006】
本発明は、このような状況を鑑みてなされたものであり、画像をユーザに提供する際における、ユーザにとっての利便性を向上させ、且つ、画像の送信に係るコストを低減することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の一態様の情報処理システムは、
ユーザに提示される画像のデータを生成する第1情報処理装置と、当該画像を当該ユーザに提示する際に利用される第2情報処理装置とを含む情報処理システムにおいて、
前記第1情報処理装置は、
複数の画像のデータを、第1データの群として取得する第1取得手段と、
前記複数の画像の夫々を区分可能に含む画像のデータを、第2データとして生成する第1生成手段と、
前記第2データを前記第2情報処理装置に送信する制御を実行する送信制御手段と、
を備え、
前記第2情報処理装置は、
前記第1情報処理装置から送信された前記第2データを取得する第2取得手段と、
前記第2データに基づいて、前記複数の画像の夫々を区分する区分手段と、
前記複数の画像のうち1以上の画像を表示対象として、表示対象の前記1以上の画像の夫々をどのように配置するのかを示す情報を、配置情報として取得する第3取得手段と、
前記配置情報に基づいて、表示対象の前記1以上の画像の夫々を配置させた画像のデータを、第4データとして生成する第2生成手段と、
前記第4データに対応する前記画像を前記ユーザに提示する制御を行う提示制御手段と、
を備える。
【0008】
本発明の一態様の上記情報処理システムに対応するプログラムも、本発明の一態様のプログラムとして提供される。
【発明の効果】
【0009】
本発明によれば、画像をユーザに提供する際における、ユーザにとっての利便性を向上させ、且つ、画像の送信に係るコストを低減することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。
【
図2】
図1の情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。
【
図3】
図1の情報処理システムのうちサーバ及び視聴者端末の機能的構成例の一例を示す機能ブロック図である。
【
図4】
図3のサーバにより提供される本サービスにおける、画像の提供の例を示す図である。
【
図5】
図3のサーバが送信する区分可能画像のデータにおける、メイン画像とサブ画像との配置の例を示す図である。
【
図6】
図3のサーバが送信する区分可能画像のデータにおける、メイン画像とサブ画像との配置のうち、
図5と異なる例を示す図である。
【
図7】
図3の機能的構成を有するサーバにより実行される、画像送信処理の流れの一例を説明するフローチャートである。
【
図8】
図3の機能的構成を有する視聴者端末により実行される、画像表示処理の流れの一例を説明するフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明の実施形態について説明する。
【0012】
なお、以下において、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」との両方を含むものとする。
また、「動画像」には、次の第1処理乃至第3処理の夫々により表示される画像を含むものとする。
第1処理とは、平面画像(2D画像)におけるオブジェクト(例えば自然人の像)の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、2次元アニメーション、いわゆるパラパラ漫画的な処理が第1処理に該当する。
第2処理とは、立体画像(3Dモデルの画像)におけるオブジェクト(例えば自然人の像)の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、3次元アニメーションが第2処理に該当する。
第3処理とは、オブジェクト(例えば自然人の像)の夫々の動作に対応した映像(即ち動画像)を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像(即ち動画像)」は、複数のフレームやフィールド等の画像(以下、「単位画像」と呼ぶ)から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
【0013】
本発明が適用される情報処理システムを用いたサービス(以下、「本サービス」と呼ぶ)では、配信者が、ライブ配信を行うことができる。
なお、ライブ配信とは、チャットを含む各種コンテンツについてリアルタイムで行う配信をいう。また、配信者とは、ライブ配信を行う主体であり、本実施形態では1以上の視聴者とチャットを行う者をいう。また、視聴者とは、ライブ配信された画像を含む各種コンテンツ(チャット含む)を視聴する者をいう。
即ち、本実施形態では、チャットの内容は、配信者とチャットを行う視聴者対してのみならず、そのチャットの内容が画像を含むコンテンツとして、チャットを行う視聴者に限られない全ての視聴者にも、ライブ配信される。即ち、本実施形態におけるチャットは、いわゆる公開チャットである。
【0014】
なお、本実施形態では、配信者は、n人(nは1以上の整数値)の視聴者のうち、1人の視聴者と公開チャットを行うものとする。以下、配信者と公開チャットを行う1人の視聴者を、「チャット対象者」と呼ぶ。
また、後述するようにチャット対象者の選択の手法は、特に限定されないが、本実施形態では、配信者の指示に基づいて選択する手法が採用されているものとする。即ち、配信者は、n人の視聴者のうち1以上の視聴者の中から、チャット対象者を選択するものとする。以下、チャット対象者に選択される候補である視聴者を、「チャット候補者」と呼ぶ。
【0015】
ここで、本明細書において、チャットとは、必要に応じてインターネットを含むネットワークを通じて、複数端末間でメッセージ等をリアルタイムにやり取りするコミュニケーションをいう。コミュニケーションの手段としては、文字、音声、画像(静止画像及び動画像)等を用いることができる。これらの手段の夫々を用いたチャットは、「テキストチャット」、「ボイスチャット及」び「ビデオチャット」の夫々と呼ばれている。以下の説明では、ビデオチャットを想定しているが、特にこれに限定されず、テキストチャットやボイスチャットも採用することができる。ここで、ボイスチャットには、いわゆる「電話」も含めることができる。つまり、ネットワークが、携帯電話のキャリアが管理するキャリア網である場合、いわゆる「電話」もボイスチャットと把握することができる。また、ビデオチャットとテキストチャットを組み合わせて、画像中にメッセージテキストを重畳してスクロール表示させても良い。
【0016】
図1は、本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。
【0017】
図1に示す情報処理システムは、サーバ1と、配信者端末2と、n台の視聴者端末3-1乃至3-nの夫々とが、インターネット等の所定のネットワークNを介して相互に接続されている。
【0018】
サーバ1は、配信者端末2と、視聴者端末3-1乃至3-nとに対してライブ配信をする環境を提供する。
【0019】
図1に示すように、配信者端末2は、配信者U1が操作するものとする。
また、視聴者端末3-1乃至3-nの夫々は、視聴者U2-1乃至U2-nの夫々が操作するものとする。なお、視聴者端末3-1乃至3-nの夫々を個々に区別する必要が無い場合、これらをまとめて「視聴者端末3」と呼ぶ。また、「視聴者端末3」とまとめて呼んでいる場合、視聴者U2-1乃至U2-nをまとめて「視聴者U2」と呼ぶ。
【0020】
図2は、
図1の情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。
【0021】
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
【0022】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0023】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0024】
出力部16は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部17は、キーボードやマウス等で構成され、各種情報を入力する。
【0025】
記憶部18は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(
図1の例では配信者端末2や視聴者端末3)との間で通信を行う。
【0026】
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ20によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。
また、リムーバブルメディア31は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0027】
なお、図示はしないが、
図1の情報処理システムの配信者端末2及び視聴者端末3は
図2に示すハードウェア構成と基本的に同様の構成を有している。ただし、配信者端末2、又は視聴者端末3は、入力部の1つとして、カメラ等の撮像部を有していてもよく、タッチパネルを有していてもよい。
【0028】
このような
図2のサーバ1、配信者端末2及び視聴者端末3の各種ハードウェアと各種ソフトウェアとの協働により、次のような一連の処理が実行可能となる。
【0029】
本実施形態では、サーバ1は、視聴者端末3で公開チャットを視聴する視聴者の中から、1人以上のチャット候補者を任意の方法で抽出する。サーバ1は、抽出した1人以上のチャット候補者の中から、例えば配信者端末2からの指示に基づいてチャット対象者を決定する。
サーバ1は、この様にして決定したチャット対象者の視聴者端末3と、配信者端末2との間で公開チャットを行うために必要な各種制御を実行し、そのチャット内容を含む所定のコンテンツを全ての視聴者端末3-1乃至3-nにライブ配信をする。
【0030】
ここで、チャット対象者に選択されていない1人以上のチャット候補者の視聴者端末3が撮像する画像(主に視聴者の顔画像)は、少なくとも配信者端末2に一覧表示されて、配信者U1側でいつでもチャット対象者に選択できる状態となっている。
この様にすることにより、例えば、アイドルタレント等が配信者U1となっているライブ配信において、配信者U1は、任意のファン(視聴者U2)との対話を自由に切り替えてライブ配信に載せることができる。これにより、本サービスは、視聴しているファンに「いつか選ばれるかもしれない」という期待感を醸成し、以て、より多くのファンがライブ配信の視聴者となる契機とすることができる。
【0031】
このように、情報処理システムは、ライブ配信をする一連の処理として、サーバ1が視聴者端末3へ画像を送信する段階に係る一連の処理(以下、「画像送信処理」と呼ぶ)と、視聴者端末3が実際に視聴者に画像を表示する段階に係る一連の処理(以下、「画像表示処理」と呼ぶ)と、から構成される一連の処理とを実行することができる。
このような画像送信処理及び画像表示処理を実現すべく、
図1の情報処理システムは
図3に示すような機能的構成を有している。
即ち、
図3は、
図1の情報処理システムのうちサーバ及び視聴者端末の機能的構成例の一例を示す機能ブロック図である。
【0032】
図3以降の説明において、理解を容易なものとすべく、視聴者U2のうち、チャット対象者と、1人のチャット候補者と、1人の一般視聴者についてのみ言及する。一般視聴者とは、チャット対象者でもチャット候補者でもない視聴者U2をいう。
そして、視聴者端末3-1乃至3-nのうち、チャット対象者が操作する視聴者端末3を、視聴者端末3-a(aは1からnのうちの任意の整数値)として説明する。この場合、視聴者端末3-aは、視聴者U2-aにより操作される。そこで、以下、視聴者U2-aを、「チャット対象者U2-a」と呼ぶ。
一方、視聴者端末3-1乃至3-nのうち、チャット候補者が操作する視聴者端末3を視聴者端末3-b(bはaとは異なる整数値であって、1からnのうちの任意の整数値)として説明する。この場合、視聴者端末3-bは、視聴者U2-bにより操作される。そこで、以下、視聴者U2-bを、「チャット候補者U2-b」と呼ぶ。
また、視聴者端末3-1乃至3-nのうち、一般視聴者が操作する視聴者端末3を、視聴者端末3-c(cはa、bとは異なる整数値であって、1からnのうちの任意の整数値)として説明する。そこで、以下、視聴者U2-cを、「一般視聴者U2-c」と呼ぶ。
【0033】
図3においては、説明を簡単にするため、視聴者のうち、チャット対象者U2-aと、チャット候補者U2-bとは、既に選択されているものとする。なお、配信者U1、チャット対象者U2-a、及びチャット候補者U2-bは、主に、自らを撮像した画像をチャットに用いるものとする。
また、視聴者端末3-cは
図2と同様の構成を有しているが、
図3では、CPU311と、通信部312と、入力部313と、出力部314とのみが図示されている。
【0034】
画像送信処理が実行される場合には、サーバ1のCPU11において、画像データ取得部111と、配信者提示画像制御部112と、チャット対象者提示画像制御部113と、チャット候補者提示画像制御部114と、視聴者提示画像制御部115と、が機能する。
【0035】
また、画像表示処理が実行される場合には、視聴者端末3-cのCPU311においては、区分可能画像データ取得部321と、区分可能画像データ領域区分部322と、サブ画像配置情報取得部323と、表示画像データ生成部324と、表示制御部325と、が機能する。
【0036】
配信者端末2は、配信者U1を撮像し、その結果得られる画像(配信者U1を被写体に含む画像であり、以下、「配信者画像」と呼ぶ)のデータをサーバ1に送信する。
【0037】
視聴者端末3-aは、チャット対象者U2-aを撮像し、その結果得られる画像(チャット対象者U2-aを被写体に含む画像であり、以下、「チャット対象者画像」と呼ぶ)のデータをサーバ1に送信する。
【0038】
視聴者端末3-bは、チャット候補者U2-bを撮像し、その結果得られる画像(チャット候補者U2-bを被写体に含む画像であり、以下、「チャット候補者画像」と呼ぶ)のデータをサーバ1に送信する。
【0039】
画像データ取得部111は、複数の画像のデータを、画像のデータの群(以下、「画像データの群」と呼ぶ)として取得する。
画像データ取得部111は、メイン画像データ取得部121と、サブ画像データ取得部122とを有する。
【0040】
メイン画像データ取得部121は、配信者端末2から送信されてきた配信者画像のデータを、メイン画像のデータとして取得する。
【0041】
サブ画像データ取得部122は、視聴者端末3-aから送信されてきたチャット対象者画像のデータを、サブ画像のデータとして取得する。
また、サブ画像データ取得部122は、視聴者端末3-bから送信されてきたチャット候補者画像のデータを、サブ画像のデータとして取得する。
【0042】
具体的には例えば、アイドルタレント等が配信者U1となっているライブ配信において、一般視聴者U2-cが視聴する画面には、アイドルタレントを被写体に含む画像(配信者画像)がメイン画像として大きく表示される。一般視聴者U2-cが視聴する画面には、更に、アイドルタレントとチャットを行うファンを被写体に含む画像(チャット対象者画像)がサブ画像として小さくメイン画像に重畳されて表示される。また、一般視聴者U2-cが視聴する画面には、チャット対象者に選択される候補であるファンを被写体に含む画像(チャット候補者画像)がサブ画像としてメイン画像に重畳されて小さく表示される。
つまり、メイン画像とは、視聴者端末3-cの画面において、主として表示される画像である。また、サブ画像とは、視聴者端末3-cの画面において、メイン画像に重畳されて表示される画像である。即ち、視聴者端末3-cの画面において、メイン画像である配信者画像に、サブ画像であるチャット対象者画像やチャット候補者画像が重畳されて表示される。
なお、このようなメイン画像に対するサブ画像の重畳の例は、
図4を用いて後述する。
【0043】
上述のように、画像データ取得部111は、メイン画像のデータと、1以上のサブ画像のデータを、画像データの群として取得する。
【0044】
配信者提示画像制御部112は、画像データ取得部111により取得された画像データの群に基づき、配信者U1に提示される画像のデータを送信する制御を実行する。
【0045】
即ち、例えば、配信者提示画像制御部112は、チャット対象者画像のデータを配信者端末2に送信する。配信者端末2は、サーバ1から送信されてきたチャット対象者画像のデータに基づき、チャット対象者画像を配信者U1に提示する。これにより、配信者U1は、チャット対象者U2-aとビデオチャットをすることができる。
また、例えば、配信者提示画像制御部112は、チャット候補者画像のデータを配信者端末2に送信する。配信者端末2は、サーバ1から送信されてきたチャット候補者画像のデータに基づき、チャット候補者画像を配信者U1に提示する。これにより、配信者U1は、所望のタイミングで、チャット対象者(新たなチャット対象者U2-a)を、チャット候補者U2-bに切り替える操作をすることができる。
【0046】
配信者提示画像制御部112は、画像データの群を配信者端末2に送信する場合において、画像データの群を構成する各画像のデータの夫々を、配信者端末2にストリーミングに係るコネクションの夫々を利用して、送信することができる。
【0047】
ここで、ストリーミングとは、主に音声や動画像等のコンテンツのデータを、インターネット等のネットワークを介して送受信する方式(技術)である。例えば、ストリーミングの方式でコンテンツのデータを受信する情報処理装置は、コンテンツのデータのダウンロードと再生とを並行して行う。
【0048】
また、ストリーミングの方式でコンテンツのデータを送受信する場合、一般的に、コンテンツのデータを送信する情報処理装置と、コンテンツのデータを受信する情報処理装置との間に「コネクション」を生成する必要がある。
なお、本明細書における「コネクション」の用語は、ストリーミングの方式で送受信されるデータの流れを含む広義な概念である。具体的には例えば、User Datagram Protocol(以下、「UDP」と呼ぶ)を用いたコネクションレス型通信における、ストリーミングのデータの流れは、コネクションに含まれる。
【0049】
また、コネクションは、1つの送信する装置と1つの受信する装置との組毎、且つ、1つのコンテンツ(例えば、1つの動画像)毎に、生成される。なお、詳細は後述するが、多数の端末にコネクションを生成する場合、コネクションは、Content Delivery Network(以下、「CDN」と呼ぶ)の仕組みを活用して、生成されてよい。
【0050】
例えば、配信者提示画像制御部112は、チャット対象者画像とチャット候補者画像の夫々のデータを、コネクションの夫々を利用して、配信者端末2に送信することができる。
即ち、詳細は後述するが、配信者端末2は、チャット対象者画像及びチャット候補者画像のデータの夫々を、複数のコネクションの夫々を利用して取得する。この場合、チャット対象者画像のデータのためのコネクションと、チャット候補者画像のデータのためのコネクションとは、互いに別のコネクションである。つまり、配信者端末2は、複数の画像が重畳された1つの画像のデータを1つのコネクションを利用して受信するのではない。
これにより、配信者U1は、チャット対象者画像、及びチャット候補者画像を、任意の配置で表示することができる。また、配信者U1にとっては、リアルタイム性を損なわずに、チャット対象者画像及びチャット候補者画像が提示される。
【0051】
チャット対象者提示画像制御部113は、画像データ取得部111により取得された画像データの群に基づき、チャット対象者U2-aに提示される画像のデータを送信する制御を実行する。
【0052】
即ち、例えば、チャット対象者提示画像制御部113は、配信者画像のデータを視聴者端末3-aに送信する。視聴者端末3-aは、サーバ1から送信されてきた配信者画像のデータに基づき、配信者画像をチャット対象者U2-aに提示する。これにより、チャット対象者U2-aは、配信者U1とビデオチャットをすることができる。
また、例えば、チャット対象者提示画像制御部113は、チャット候補者画像のデータを視聴者端末3-aに送信する。視聴者端末3-aは、サーバ1から送信されてきたチャット候補者画像のデータに基づき、チャット候補者画像をチャット対象者U2-aに提示する。これにより、チャット対象者U2-aは、チャット候補者U3-bの様子を把握することができる。
このとき、上述した一般視聴者U2-cが視聴する画面と同様に、チャット対象者に選択される候補であるファンを被写体に含む画像(チャット候補者画像)がサブ画像として、メイン画像(配信者画像)に重畳されて小さく表示することができる。即ち例えば、チャット対象者U2-aが視聴する視聴者端末3-aの画面は、メイン画像である配信者画像に、サブ画像であるチャット候補者画像が重畳されて表示される。
【0053】
チャット候補者提示画像制御部114は、画像データ取得部111により取得された画像データの群に基づき、チャット候補者U3-bに提示される画像のデータを送信する制御を実行する。
【0054】
即ち、例えば、チャット候補者提示画像制御部114は、配信者画像のデータ及びチャット対象者画像のデータを、視聴者端末3-bに送信する。視聴者端末3-bは、サーバ1から送信されてきた配信者画像のデータ及びチャット候補者画像のデータに基づき、配信者画像及びチャット候補者画像を、チャット候補者U3-bに提示する。これにより、チャット対象者U2-bは、配信者U1及びチャット対象者U2-aがビデオチャットをしている様子を、把握することができる。これにより、チャット候補者U3-bは、「いつか選ばれるかもしれない」という期待感を持って視聴したり、新たなチャット対象者U2-aとして選択された場合に備えてビデオチャットの内容を把握したりすることができる。
【0055】
視聴者提示画像制御部115は、画像データ取得部111により取得された画像データの群に基づき、一般視聴者U2-cに提示される画像を生成し、送信する制御を実行する。
視聴者提示画像制御部115は、区分可能画像データ生成部131と、区分可能画像データ送信制御部132とを有する。
【0056】
区分可能画像データ生成部131は、画像データ取得部111により取得された画像データの群に含まれる、複数の画像の夫々を区分可能に含む画像のデータを、区分可能画像のデータとして生成する。
【0057】
ここで、詳細は後述するが、従来のサービスにおいて、1つのストリーミングのコネクションを利用して複数の画像等を送信する場合の例について説明する。このような場合、画像を送信する情報処理装置は、予め、メインとなる画像に対してサブとなる画像を重畳して合成した画像(以下、「合成画像」と呼ぶ)を生成し、その合成画像を送信するのが一般的である。このようなサービスで送信された合成画像は、原則として、分離することはできず、合成後に元のメインとなる画像自体を復元(再現)することはできない。そのため、例えば、ユーザがサブとなる画像の配置を自由に決定するようなことは難しい。
他方、複数のコネクションを利用して、複数の画像等を配信する場合、ユーザがサブとなる画像の配置を自由に決定することができるが、多数のコネクションを利用しているため、コストがかかる。
【0058】
これに対して、本サービスでは、複数の画像の夫々を区分可能に含む画像(以下、「区分可能画像」と呼ぶ)を採用し、これを配信する。この区分可能画像とは、例えば、複数の画像の夫々が重畳しないように1つの画像として、合成された画像である。そのため、区分可能画像から元のメインとなる画像を再現することができる。
つまり、本サービスにおいて、区分可能画像のデータは、複数の画像の夫々を区分可能に含む。即ち、区分可能画像のデータは、1つの画像のデータでありながら、複数の画像のデータを含む。従って、本サービスは、極めて多数の視聴者端末3-cに対して複数の画像のデータを送信した場合であっても、コネクションの数(以下、「コネクション数」と呼ぶ)は、視聴者端末3-cの数にのみ依存する。
そのため、本サービスでは、例えば、1つのコネクションのみを利用することでコストを抑えつつ、ユーザがサブとなる画像の配置を自由に決定するといったユーザが自由度の高い操作を行うという相反する二つの作用を両立することができる。
なお、複数の画像の夫々が区分可能画像のうち何れの領域に配置されるかの情報は、後述する視聴者端末3-cの区分可能画像データ領域区分部322と、予め共有されていてよい。
【0059】
上述のように、例えば、区分可能画像データ生成部131は、配信者画像及びチャット対象者画像の夫々が区分可能に含まれる画像のデータを、区分可能画像のデータとして生成する。具体的には例えば、配信者画像(メイン画像)と、チャット対象者画像やチャット候補者画像(サブ画像)との夫々が重ならないように配置された画像のデータを、区分可能画像のデータとして生成する。
【0060】
区分可能画像データ送信制御部132は、区分可能画像データ生成部131により生成された区分可能画像のデータを、視聴者端末3-cに送信する制御を実行する。
即ち、例えば、区分可能画像データ送信制御部132は、通信部19を制御することで、区分可能画像のデータをサーバ1から視聴者端末3-cに送信する。
【0061】
また、区分可能画像データ送信制御部132は、区分可能画像のデータを、視聴者端末3-cにコネクションを利用して送信する制御を実行することができる。
【0062】
つまり、通常、画像のデータを送信する情報処理装置は、1つのコネクションを利用して、1つの画像のデータを送信する。即ち、配信者提示画像制御部112で説明したように、画像データの群を送信する場合、画像データの群を構成する複数の画像のデータの夫々は、複数のコネクションの夫々を利用して、送信される。
一方、区分可能画像のデータは、配信者画像(メイン画像)と、チャット対象者画像やチャット候補者画像(サブ画像)との夫々が重ならないように配置された1つの画像のデータである。これにより、区分可能画像データ送信制御部132は、複数の画像の夫々を区分可能に含む画像を、1つの区分可能画像として取り扱い、その1つの区分可能画像のデータを、1つのコネクションを利用して送信する制御を実行する。
【0063】
以上、画像送信処理における機能的構成について説明した。
次に、画面表示処理における機能的構成について説明する。
【0064】
視聴者端末3-cの区分可能画像データ取得部321は、サーバ1から送信されてきた区分可能画像のデータを取得する。
【0065】
区分可能画像データ領域区分部322は、区分可能画像のデータに基づいて、区分可能画像を複数の画像の夫々に区分する。
即ち、例えば、区分可能画像データ領域区分部322は、サーバ1における画像データの群に含まれる複数の画像の夫々の領域に対応するように、区分可能画像の領域を区分する。上述のように、複数の画像の夫々が区分可能画像のうちいずれの領域に配置されるかの情報は、サーバ1の区分可能画像データ生成部131と、予め共有されていていてもよい。この場合、区分可能画像データ領域区分部322は、複数の画像の夫々が区分可能画像のうちいずれの領域に配置されるかの情報に基づき、区分可能画像を、複数の画像の夫々の領域に区分する。
即ち、区分された複数の画像の領域の夫々は、配信者画像(メイン画像)及びチャット対象者画像やチャット候補者画像(サブ画像)の領域の夫々に対応する。
【0066】
サブ画像配置情報取得部323は、複数の画像のうち1以上のサブ画像の夫々を表示対象として、表示対象の夫々をどのように配置するのかを示す情報を、配置情報として取得する。
【0067】
ここで、「配置情報」とは、表示対象のサブ画像の夫々がどのように配置されるのかを示す情報である。具体的には例えば、「視聴者端末3-cの画面において、サブ画像であるチャット対象者画像は、メイン画像である配信者画像の左下の領域に、配置(重畳)される」といった情報である。例えば、配置情報には、「何れのサブ画像が、何れの位置に、何れの大きさで配置されるか」の情報が含まれてよい。
一般視聴者U2-cは、本人の好みに応じて、サブ画像が配置される位置やサブ画像が配置される大きさ等を、タッチパネルを操作することで入力する。サブ画像配置情報取得部323は、一般視聴者U2-cのタッチパネルの操作に基づき、配置情報を取得する。
【0068】
表示画像データ生成部324は、サブ画像配置情報取得部323により取得された配置情報に基づいて、表示対象のサブ画像の夫々を配置させた画像のデータを、表示画像のデータとして生成する。
即ち、例えば、表示画像データ生成部324は、メイン画像である配信者画像に、サブ画像であるチャット候補者画像が配置情報に基づいて配置(重畳)された画像のデータを、表示画像のデータとして生成する。
【0069】
表示制御部325は、表示画像データ生成部324により生成された表示画像のデータに対応する表示画像を視聴者に提示する制御を行う。
即ち、例えば、表示制御部325は、出力部314の1つであるディスプレイの制御を実行することで、表示画像のデータに対応する表示画像を、視聴者端末3-cのディスプレイに表示する。
【0070】
上述の通り、区分可能画像データ領域区分部322は、サーバ1から送信されてきた区分可能画像のデータを、サーバ1における画像データの群に含まれる複数の画像の夫々の領域に対応するように区分する。また、サブ画像配置情報取得部323は、複数の画像のうち1以上のサブ画像の夫々を表示対象として、表示対象の夫々をどのように配置するのかを示す情報を、配置情報として取得する。また、表示画像データ生成部324は、配置情報に基づいて、表示対象のサブ画像の夫々を配置させた画像のデータを、表示画像のデータとして生成する。
【0071】
つまり、区分可能画像から区分された複数の画像の領域の夫々は、配信者画像(メイン画像)及びチャット対象者画像やチャット候補者画像(サブ画像)の夫々の領域に対応する。また、一般視聴者U2-cは、本人の好みに応じて、サブ画像が配置される位置やサブ画像が配置される大きさ等を、配置情報として入力する。更に、配置情報に基づいて、表示対象のサブ画像の夫々を配置させた画像のデータが、表示画像のデータとして生成される。
【0072】
即ち、視聴者端末3-cは、メイン画像に、一般視聴者U2-cの好みに応じた配置に基づいた表示画像のデータを、生成することができる。これにより、一般視聴者3-cがサブ画像の配置を自由に決定するといったユーザが自由度の高い操作を行うことが可能となる。
つまり、本サービスにおいて、一般視聴者U3-cは、メイン画像である配信者画像に、サブ画像であるチャット候補者画像が、自信の好みに応じた配置情報に基づいて重畳された表示画像を視聴することができる。
【0073】
以上、画像表示処理における機能的構成について説明した。
【0074】
以下、本実施形態の情報処理システムが、画像送信処理及び画像表示処理から構成される一連の処理を実行することで奏する効果について説明する。
【0075】
まず、極めて多数の情報処理装置にリアルタイムに画像のデータを送信するサービスにおいて、従来、採用される技術について説明する。
【0076】
通常、多数の情報処理装置にリアルタイムに画像のデータを送信するサービスにおいて、当該サービスのサービス提供者は、CDNを活用したストリーミングの環境を構築する。
【0077】
ここで、コネクション数は、画像のデータの数と情報処理装置の数との積となる。また、CDNを活用したストリーミングの環境の構築や利用に係るコストは、コネクション数に依存する。即ち、CDNを活用したストリーミングの環境の構築又は利用に係るコストは、画像のデータの数と情報処理装置の数との両方に依存して増加する。
【0078】
このため、従来、CDNを活用したストリーミングの環境の構築又は利用したサービスにおいて、極めて多数の情報処理装置に対して複数の画像のデータを送信することは、現実的でなかった。そこで、極めて多数の情報処理装置にリアルタイムに画像のデータを送信する場合、当該サービスのサービス提供者は、メイン画像にサブ画像が予め重畳された画像のデータを、1つの画像のデータとしてサーバから送信していた。
なお、CDNに限らず、ストリーミングの環境の構築又は利用に係るコストは、画像のデータの数と情報処理装置の数との両方に依存して増加するものと考えることができる。
【0079】
次に、本実施形態における、ストリーミングの環境の構築や利用に係るコストについて説明する。
【0080】
本実施形態において、区分可能画像のデータは、複数の画像の夫々を区分可能に含む。即ち、区分可能画像のデータは、1つの画像のデータでありながら、複数の画像のデータを含む。従って、本実施形態は、極めて多数の視聴者端末3-cに対して複数の画像のデータを送信した場合であっても、コネクション数は、視聴者端末3-cの数にのみ依存する。即ち、本実施形態により、本サービスのサービス提供者は、ストリーミングの環境の構築や利用に係るコストを削減することができる。
【0081】
ここで、本サービスにおいて、一般視聴者U2-cは、すぐには新たなチャット対象者U2-aとならない。即ち、区分可能画像のデータの生成及び送信に係るタイムラグが生じた場合であっても、視聴者端末3-cにおけるデメリットは、限定的である。
【0082】
上述をまとめると、従来の技術を採用した場合、ストリーミングの環境の構築や利用がされたサービスにおいて、極めて多数の視聴者端末3-cに対して複数の画像のデータを送信することは、現実的でなかった。しかしながら、本実施形態により、本サービスのサービス提供者は、ストリーミングの環境の構築や利用に係るコストを削減することができる。
【0083】
更に言えば、本実施形態において、区分可能画像のデータの形式は、画像のデータの形式の構造となっている。つまり、データの形式が画像の形式となった区分可能画像のデータをストリーミングすることで、本実施形態の視聴者端末3-cは、区分可能画像のデータを通常の画像処理に係る処理と同様に行うことができる。具体的には例えば、本実施形態の視聴者端末3-cは、区分可能画像のデータの領域を、複数の画像の領域に区分するのみで足りる。
【0084】
一方、サービス提供者は、本実施形態と異なる設計として、複数の画像のデータを細分化したデータを連続に並べた1つのデータ(以下、「細分化連続データ」と呼ぶ)を、サーバから送信することも考えられる。即ち、細分化連続データをコネクションにより送信することで、複数の画像のデータの夫々を細切れに分割して、1つのコネクションにより順次送信することができる。この場合であっても、コネクション数は情報処理装置の数にのみ依存するため、コストは削減される。
しかしながら、細分化連続データは、所謂、画像の形式と異なるデータの形式である。即ち、細分化連続データは、通常の画像を再生(処理)する手段(プログラムやライブラリ等)で再生することができない。そのため、情報処理装置において、細分化画像データを、複数の画像のデータとして再構築する必要がある。この場合、複数の画像のデータの再構築に係るプログラムの設計や実装に係るコストが生じる。また、画像を再生する場合における、情報処理装置のCPUの処理の量が、増加する可能性がある。
【0085】
上述をまとめると、本実施形態により、本サービスのサービス提供者は、極めて多数の視聴者端末3-cに対して複数の画像のデータを送信する場合であって、コネクション数を削減したとき、視聴者端末3-cにおける画像処理に係るプログラム設計のコストを削減したりすることができる。
【0086】
なお、
図3の例では、配信者提示画像制御部112やチャット対象者提示画像制御部113、チャット候補者提示画像制御部114は、区分可能画像のデータを送信しない構成である。即ち、サーバ1は、配信者端末2や視聴者端末3-a,3-bに対して区分可能画像のデータを送信しない構成となっている。従って、配信者端末2や視聴者端末3-a,3-bは、配信者画像やチャット対象者画像等の夫々を、コネクションの夫々を利用して、受信する。
【0087】
これにより、区分可能画像のデータ生成及び送信に係るタイムラグは、存在しない。即ち、チャット候補者U2-bが新たなチャット対象者U2-aとして切り替わる際、配信者端末2や視聴者端末3-a,3-bにおいて、タイムラグにより違和感が発生することがない。
【0088】
しかしながら、区分可能画像のデータを送信する構成とすることで、ストリーミングの環境の構築や利用に係るコストを削減することができる。従って、区分可能画像のデータの生成及び送信に係る処理の時間が短い場合や、タイムラグによる違和感を許容する場合等において、サービス提供者は、配信者提示画像制御部112に限らず、区分可能画像のデータを送信する構成を採用してよい。
【0089】
以上、本実施形態の情報処理システムが、画像送信処理及び画像表示処理から構成される一連の処理を実行することで奏する効果について説明した。
【0090】
図4は、
図3のサーバにより提供される本サービスにおける、画像の提供の例を示す図である。
【0091】
以下、
図4を用いて、本サービスにおける、配信者U1により撮像された配信者画像等及び視聴者端末3-c1乃至3-c3に提示される表示画像の提供の例について説明する。c1乃至c3は、上述のcのうち、互いに異なる整数値である。即ち、c1乃至c3は、互に異なり、a、bとも異なる整数値であって、1からnのうちの任意の整数値である。
【0092】
なお、
図4の例においては、1人の配信者U1と、1人のチャット対象者U2-aと、1人のチャット候補者U2-bとが、ビデオチャットを行うものとして説明する。また、このビデオチャットは、ライブ配信をされ、一般視聴者U2-c1乃至U2-c3に視聴される。
【0093】
配信者U1は、配信者端末2を操作し、本サービスに係るアプリケーションを起動する等し、自らを撮像する。
図4の配信者端末2の画面には、配信者画像Pi1(配信者U1を被写体に含む画像)が、図示されている。
上述のように、配信者端末2は、配信者画像Pi1のデータを、サーバ1に送信する。
【0094】
チャット対象者U2-aは、視聴者端末3-aを操作し、本サービスに係るアプリケーションを起動等し、自らを撮像する。
図4の視聴者端末3-aの画面には、チャット対象者画像Pi2-a(チャット対象者U2-aを被写体に含む画像)が、図示されている。
上述のように、視聴者端末3-aは、チャット対象者画像Pi2-aのデータを、サーバ1に送信する。
【0095】
チャット候補者U2-bは、視聴者端末3-bを操作し、本サービスに係るアプリケーション等を起動し、自らを撮像する。
図4の視聴者端末3-bの画面には、チャット候補者画像Pi2-b(チャット対象者U2-bを被写体に含む画像)が、図示されている。
上述のように、視聴者端末3-bは、チャット候補者画像Pi2-bのデータを、サーバ1に送信する。
【0096】
なお、
図4において、配信者端末2や視聴者端末3-a,3-bの画面の夫々に、配信者画像Pi1、チャット対象者画像Pi2-a及びチャット候補者画像Pi2-bの夫々が図示されているのは、あくまで撮像されている様子を示す例である。即ち、例えば、配信者端末2は、ビデオチャットの相手であるチャット対象者U2-aの画像やチャット候補者U2-bの画像を表示することができる。
【0097】
サーバ1は、配信者端末2や視聴者端末3-a,3-bの夫々から、配信者画像Pi1、チャット対象者画像Pi2-a及びチャット候補者画像Pi2-bの夫々を受信する。
即ち、
図3で説明したように、サーバ1のメイン画像データ取得部121は、配信者U1を撮像した配信者画像Pi1をメイン画像として取得する。また、サーバ1のサブ画像データ取得部122は、チャット対象者U2-a及びチャット候補者U2-bの夫々を撮像した、チャット対象者画像Pi2-a及びチャット候補者画像Pi2-bの夫々を、サブ画像として取得する。
【0098】
次に、サーバ1の視聴者提示画像制御部115の区分可能画像データ生成部131は、メイン画像、及びサブ画像の夫々を、区分可能に含む画像のデータを、区分可能画像のデータとして生成する。
更に、サーバ1の視聴者提示画像制御部115の区分可能画像データ送信制御部132は、区分可能画像データ生成部131により生成された区分可能画像のデータを、視聴者端末3-c1乃至3-c3に送信する制御を実行する。
【0099】
以下、
図4において、視聴者端末3-c1乃至3-c3の夫々における表示される画像は、表示画像Po2-c1乃至Po2-c3の夫々であり、異なる表示画像の例として説明する。即ち、一般視聴者U2-c1乃至U2-c3の夫々は、異なる配置情報(サブ画像を配置する位置や大きさ)の夫々を入力したものとして説明する。
なお、以下、
図4の配信者画像Pi1のうち、配信者U1の顔や肩から上が映っている領域を「顔等の領域」と呼び、顔等の領域でない領域を「背景の領域」と呼ぶ。
【0100】
図4を見ると、視聴者端末3-c1に表示される表示画像Po2-c1は、メイン画像である配信者画像Pi1の背景の領域に、サブ画像であるチャット対象者画像Pi2-aが重畳された画像である。
【0101】
例えば、一般視聴者U2-c1は、配信者U1のファンであって、配信者U1の顔を見ることを望んでいるものとする。
この場合、一般視聴者U2-c1は、配信者画像Pi1のうち顔等の領域ではなく、背景の領域にチャット対象者画像Pi2-aを配置するよう、視聴者端末3-c1に配置情報を入力する。視聴者端末3-c1は、配信者画像Pi1のうち背景の領域にチャット対象者画像Pi2-a(サブ画像)が重畳された表示画像Po2-c1を表示する。
これにより、一般視聴者U2-c1は、一般視聴者U2-c1の嗜好に合わせた表示画像Po2-c1を視聴することができる。
【0102】
図4を見ると、視聴者端末3-c2に表示される表示画像Po2-c2は、メイン画像である配信者画像Pi1の顔等の領域に、サブ画像であるチャット対象者画像Pi2-aが重畳された画像である。
【0103】
例えば、一般視聴者U2-c2は、配信者U1がビデオチャット内で話題にしている、背景(風景)を見ることを望んでいるものとする。
この場合、一般視聴者U2-c2は、配信者画像Pi1のうち背景の領域ではなく、顔等の領域にチャット対象者画像Pi2-aを配置するよう、視聴者端末3-c2に配置情報を入力する。視聴者端末3-c2は、配信者画像Pi1のうち顔等の領域にチャット対象者画像Pi2-a(サブ画像)が重畳された表示画像Po2-c2を表示する。
これにより、一般視聴者U2-c2は、一般視聴者U2-c2の嗜好に合わせた表示画像Po2-c2を視聴することができる。
【0104】
図4を見ると、視聴者端末3-c3に表示される表示画像Po2-c3は、メイン画像である配信者画像Pi1の背景の領域に、サブ画像であるチャット対象者画像Pi2-a及びチャット候補者画像Pi2-bが重畳された画像である。
【0105】
例えば、一般視聴者U2-c3は、配信者U1が今後チャットを行う可能性のある、チャット候補者画像Pi2-bの顔を見ることを望んでいるものとする。
この場合、一般視聴者U2-c3は、配信者画像Pi1のうち顔等の領域ではなく、背景の領域にチャット対象者画像Pi2-aを配置するよう、視聴者端末3-c3に配置情報を入力する。また、一般視聴者U2-c3は、配信者画像Pi1のうち背景の領域に、更にチャット対象者画像Pi2-bを配置するよう、視聴者端末3-c3に配置情報を入力する。視聴者端末3-c3は、配信者画像Pi1のうち背景の領域にチャット対象者画像Pi2-a及びチャット候補者画像Pi2-b(サブ画像)が重畳された表示画像Po2-c1を表示する。
これにより、一般視聴者U2-c3は、一般視聴者U2-c3の嗜好に合わせた表示画像Po2-c3を視聴することができる。
【0106】
以上、
図4に示した表示画像Po2-c1乃至Po2-c3を用いて、メイン画像である配信者画像に、サブ画像であるチャット対象者画像やチャット候補者画像が重畳されて表示される表示画像の例について説明した。
【0107】
本実施形態は、画像送信処理において、サーバ1は複数の画像を1つの区分可能画像のデータとして送信し、画像表示処理において、視聴者端末3-cは一般視聴者U2-cの入力する配置情報に応じて表示画像のデータを生成することにより、以下の効果を奏する。
【0108】
例えば、一般視聴者U2-c1が配信者画像Pi1のうち背景の領域を見たい場合、視聴者端末3-c1を操作することにより、
図4の表示画像Po2-c2に示したチャット対象者画像Pi2-aの配置とすることができる。即ち、一般視聴者U2-c1乃至U2-c3の夫々は、リアルタイムに、その時々に応じた好みのサブ画像の配置に変更することができる。
【0109】
視聴者端末3-cが、
図4に図示した視聴者端末3-c1乃至3-c3の3つのみである場合における、サーバ1から視聴者端末3-c1乃至3-c3へのコネクション数は、3(視聴者端末3-cの数と同数)である。
【0110】
一方、従来技術を用いた場合、一般視聴者U2-c1に対して、少なくとも配信者画像Pi1と、チャット対象者画像Pi2-aとを送信する必要がある。更に言えば、一般視聴者U2-c1がリアルタイムにチャット候補者画像Pi2-bを配置できるようにする場合、表示しないチャット候補者画像Pi2-bも並行して送信する必要がある。即ち、一般視聴者U2-c1に対するコネクション数は、3(画像の数と同数)である。
同様に一般視聴者U2-c2及びU2-c3について考えると、
図4における合計のコネクション数は9(視聴者端末3-cの数と、画像の数との積)となる。
【0111】
上述をまとめると、
図4の例において、本実施形態におけるコネクション数は、従来技術におけるコネクション数の3分の1とすることができる。
【0112】
更に言えば、図示はしないが、本サービスにおいて、配信者U1は1人、チャット対象者U2-aは1人、チャット候補者U2-bは10人、一般視聴者U2-cは10,000人程度が想定できる。この場合、本実施形態におけるコネクション数は、10,000となる。一方、従来技術におけるコネクション数は、120,000となる。即ち、この場合におけるコネクション数は、従来技術におけるコネクション数の12分の1とすることができる。
【0113】
なお、本サービスの提供者が、チャット候補者画像をストリーミングの方式で送信しない設計とした場合であっても、従来技術におけるコネクション数は20,000となる。
即ち、本実施形態におけるコネクション数は、従来技術におけるコネクション数の2分の1とすることができる。
【0114】
ここで、上述のように、ストリーミングの環境の構築や利用に係るコストは、コネクション数に依存する。即ち、本実施形態により、コネクション数を削減することで、ストリーミングの環境の構築や利用に係るコストは、削減される。
【0115】
以下、
図5、及び
図6を用いて、区分可能画像のデータにおける、メイン画像とサブ画像との配置の例を説明する。
【0116】
図5は、
図3のサーバが送信する区分可能画像のデータにおける、メイン画像とサブ画像との配置の例を示す図である。ここで、
図5に示す画像は、実際には配信者端末2や視聴者端末3に表示される画像ではなく、区分可能画像のデータに対応する画像を概念的に示したものである。
【0117】
図5(A)及び(B)は、区分可能画像のデータD1における、メイン画像である配信者画像Pi1、サブ画像であるチャット対象者画像Pi2-a及びサブ画像であるチャット候補者画像Pi2-bの配置の例を示している。
【0118】
図5(A)を見ると、メイン画像である配信者画像Pi1は、区分可能画像のデータD1のうち左側に配置されている。また、サブ画像であるチャット対象者U2-aを撮像したチャット対象者画像Pi2-aは、区分可能画像のデータD1のうち右側上段に配置されている。また、サブ画像であるチャット候補者U2-bを撮像したチャット候補者画像Pi2-bは、区分可能画像のデータD1のうち右側中段に配置されている。
【0119】
図5の例において、区分可能画像のデータD1の各所におけるドット密度(画素の密度)は、一定である。
図5(A)を見ると、メイン画像である配信者画像Pi1は、サブ画像であるチャット対象者画像Pi2-aやチャット候補者画像Pi2-bと比較して大きい面積を占めて配置されている。つまり、サブ画像である、チャット対象者画像Pi2-a及びチャット候補者画像Pi2-bは、区分可能画像のデータD1に占める割合が小さい。即ち、サブ画像である、チャット対象者画像Pi2-a及びチャット候補者画像Pi2-bは、メイン画像と比較して画素の数が少ない(画質が低い)といえる。
これは、表示画像においてサブ画像がメイン画像の上に重畳されて表示される場合、メイン画像と比較してサブ画像の画素の数は少なくて(画質が低くて)問題がないためである。メイン画像の画質を同一とした場合、このような区分可能画像のデータD1は、単にメイン画像とサブ画像とを同じ大きさで配置した画像のデータのサイズと比較して、全体の画像のデータのサイズが小さくなる。即ち、区分可能画像のデータD1を送信するコストを低減することができる。
【0120】
また、
図5(A)をみると、サブ画像であるチャット対象者画像Pi2-aを囲う線は、チャット候補者画像Pi2-bを囲う線と比較して、太い線となっている。これは、チャット対象者画像Pi2-aが、チャット対象者U2-aの画像であることを模式的に示している。即ち、
図5(A)の例の場合、視聴者端末3-cは、メイン画像である配信者画像Pi1に、サブ画像であるチャット対象者画像Pi2-aを重畳した画像を表示する。
【0121】
次に
図5(B)をみると、区分可能画像のデータD1に、配信者画像Pi1、チャット対象者画像Pi2-a及びチャット候補者画像Pi2-bの夫々が、配置されている。夫々の画像の配置は、
図5(A)と基本的に同様であるので、説明は省略する。
ただし、
図5(B)は、
図5(A)と、以下の点で異なる。
【0122】
図5(B)をみると、サブ画像であるチャット候補者画像Pi2-bを囲う線は、チャット対象者画像Pi2-aを囲う線と比較して、太い線となっている。これは、チャット候補者画像Pi2-bが、新たなチャット対象者画像Pi2-aとなったことを模式的に示している。即ち、
図5(B)は、チャット候補者U2-bが、新たなチャット対象者U2-aとなった場合に送信される区分可能画像のデータD1の例である。即ち、
図5(B)の例の場合、視聴者端末3-cは、メイン画像である配信者画像Pi1に、サブ画像であるチャット候補者画像Pi2-b(新たなチャット対象者画像Pi2-a)を重畳した画像を表示する。
【0123】
以上の説明をまとめると、
図5(A)及び(B)の例に示した区分可能画像のデータD1を採用した場合、チャット候補者U2-bが新たなチャット対象者U2-aとなった場合であっても、区分可能画像のデータD1を変更する必要はない。即ち、区分可能画像のデータD1に配置されたサブ画像のうち、何れのサブ画像をどの配置で重畳するかを、視聴者端末3-cで変更すればよい。即ち、区分可能画像データ生成部131におけるサブ画像の配置の制御は、簡易なものとできる。
【0124】
また、
図5の区分可能画像のデータD1を採用した場合、チャット対象者U2-a以外のサブ画像(チャット候補者画像Pi2-b)も、区分可能画像のデータD1に配置されている。これにより、視聴者端末3-cにおける、サブ画像の重畳のバリエーションを増やすことができる。即ち、ユーザにとっての利便性が、向上する。
【0125】
図6は、
図3のサーバが送信する区分可能画像のデータにおける、メイン画像とサブ画像との配置のうち、
図5と異なる例を示す図である。
【0126】
図6(A)及び(B)は、区分可能画像のデータD2における、メイン画像である配信者画像Pi1、サブ画像であるチャット対象者画像Pi2-a及びチャット候補者画像Pi2-bの配置の例を示している。
【0127】
図6(A)における、メイン画像である配信者画像Pi1及びサブ画像であるチャット対象者画像Pi2-aの配置は、
図5と基本的に同様であるので、説明は省略する。
ただし、
図6(A)は、
図5(A)と、以下の点で異なる。
【0128】
図6(A)の例の区分可能画像のデータD2において、チャット対象者画像Pi2-aのみが、配置されている。即ち、
図6の(A)の例の区分可能画像のデータD2において、チャット候補者画像Pi2-bは、配置されていない。
【0129】
また、
図6(A)をみると、サブ画像であるチャット対象者画像Pi2-aを囲う線は、太い線となっている。これは、チャット対象者画像Pi2-aがチャット対象者U2-aの画像であることを模式的に示している。即ち、
図6(A)の例の場合、視聴者端末3-cは、メイン画像である配信者画像Pi1に、サブ画像であるチャット対象者画像Pi2-aを重畳した画像を表示する。
【0130】
次に
図6(B)をみると、配信者画像Pi1の配置は、
図6(A)と基本的に同様である。そこで、説明は省略する。
ただし、
図6(B)は、
図6(A)と、以下の点で異なる。
【0131】
図6(B)をみると、サブ画像であるチャット候補者画像Pi2-bは、区分可能画像のデータD2のうち右側上段に配置されている。即ち、
図6(A)においてチャット対象者画像Pi2-aが配置されていた場所に、
図6(B)においてチャット候補者画像Pi2-bが配置されている。
【0132】
また、
図6(B)において、サブ画像であるチャット候補者画像Pi2-bを囲う線は、太い線となっている。これは、チャット候補者画像Pi2-bが、新たなチャット対象者画像Pi2-aとなったことを模式的に示している。即ち、
図6(B)は、チャット候補者U2-bが、新たなチャット対象者U2-aとなった場合に送信される区分可能画像のデータD2の例である。即ち、
図6(B)の例の場合、視聴者端末3-cは、メイン画像である配信者画像Pi1に、サブ画像であるチャット候補者画像Pi2-b(新たなチャット対象者画像Pi2-a)を重畳した画像を表示する。
【0133】
以上の説明をまとめると、
図6(A)及び(B)の例に示した区分可能画像のデータD2を採用した場合、区分可能画像のデータD2の右側上段のサブ画像が、チャット対象者U2-aとして視聴者端末3-cに表示される。つまり、視聴者端末3-cは、チャット候補者U2-bが新たなチャット対象者U2-aとなった場合であっても、区分可能画像のデータD2のうち、サブ画像として重畳する領域を変更する必要はない。即ち、区分可能画像のデータD2に配置されたサブ画像のうち、何れのサブ画像をどの配置で重畳するかを、サーバ1の区分可能画像データ生成部131で変更すればよい。即ち、視聴者端末3-cにおけるサブ画像の配置の制御は、簡易なものとできる。
【0134】
また、
図6の区分可能画像のデータD2を採用した場合、区分可能画像のデータD2のうち、メイン画像もサブ画像も無い右側下部の領域が、
図5の区分可能画像のデータD1と比較して、大きくなる。一般に、画像において、単色で塗りつぶした領域(何の画像も無い領域)が広い画像の方が、当該画像のデータの容量が小さくなる。即ち、
図6の区分可能画像のデータD2を採用すると、区分可能画像のデータD2の送信に係るコストが低減する。
【0135】
以上、
図5、及び
図6を用いて、区分可能画像のデータにおける、メイン画像とサブ画像との配置の例を説明した。
【0136】
図7は、
図3の機能的構成を有するサーバにより実行される、画像送信処理の流れの一例を説明するフローチャートである。
画像送信処理は、サーバ1が区分可能画像のデータを視聴者端末3-cに送信する際に実行される。
【0137】
ステップS11の処理において、メイン画像データ取得部121は、配信者端末2から送信されてきたメイン画像のデータを取得する。
【0138】
ステップS12の処理において、サブ画像データ取得部122は、視聴者端末3-aや視聴者端末3-bから送信されてきたサブ画像のデータを取得する。
【0139】
ステップS13の処理において、区分可能画像データ生成部131は、区分可能画像のデータを生成する。即ち、ステップS13の処理において、ステップS11の処理により取得されたメイン画像のデータと、ステップS12の処理により取得されたサブ画像のデータとからなる群に含まれる、複数の画像の夫々を区分可能に含む画像のデータを、区分可能画像のデータとして生成する。
【0140】
ステップS14の処理において、区分可能画像データ送信制御部132は、ステップS13の処理により生成された区分可能画像のデータを、視聴者端末3-cに送信する制御を実行する。
【0141】
図8は、
図3の機能的構成を有する視聴者端末により実行される、画像表示処理の流れの一例を説明するフローチャートである。
画像表示処理は、視聴者端末3-cが表示画像を視聴者端末3-cに表示する際に実行される。
【0142】
ステップS21の処理において、区分可能画像データ取得部321は、サーバ1から送られてきた区分可能画像のデータを取得する。
【0143】
ステップS22の処理において、区分可能画像データ領域区分部322は、ステップS21の処理により取得された区分可能画像のデータから、メイン画像及びサブ画像の領域を区分する。
【0144】
ステップS23の処理において、サブ画像配置情報取得部323は、視聴者端末3-cが操作等された内容に基づいて、ステップS22の処理で区分したサブ画像を、メイン画像の上にどのように配置するかを示す配置情報を取得する。
【0145】
ステップS24の処理において、表示画像データ生成部324は、ステップS22の処理により取得された配置情報に基づき、メイン画像の上にサブ画像を重畳した表示画像のデータを生成する。
【0146】
ステップS25の処理において、表示制御部325は、ステップS24の処理により生成された表示画像のデータを、視聴者端末3-cに表示する制御を実行する。
【0147】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0148】
本実施形態では、配信者とチャット対象者とがビデオチャットを行う本サービスに適用されるとしたが、特にこれに限定されない。即ち例えば、本発明は、2つ以上の画像が重畳して表示される画像を提供するサービスに採用することができる。
【0149】
具体的には例えば、ゲーム配信のサービスに採用することができる。即ち例えば、サーバ1は、メイン画像としてゲームのプレイ画面の画像を取得し、サブ画像としてゲームをプレイする配信者を撮像した画像を取得してもよい。これにより、ゲーム配信の一般視聴者U2-cは、ゲームのプレイ画面の画像(メイン画像)の任意の位置に配信者U1を撮像した画像(サブ画像)を配置することができる。即ち、ゲーム配信を視聴する一般視聴者U2-cにとっての利便性が向上する。
【0150】
また、例えば、本実施形態では、一般視聴者U2-cが視聴する画面には、メイン画像と比較して小さいサブ画像が、メイン画像の上に重畳されて表示されるものとしたが、特にこれに限定されない。即ち例えば、一般視聴者U2-cが視聴する画面には、メイン画像とサブ画像とが、重畳されずに並べて表示されてよい。
具体的には例えば、視聴者端末3が十分に大きなディスプレイを備えている場合、視聴者端末3は、メイン画像の上にサブ画像を重畳させずに表示することができる。これにより、視聴者端末3は、メイン画像をサブ画像で隠すことなく、表示することができる。
この場合であっても、上述のように、コネクション数は削減されるため、複数の画像(メイン画像とサブ画像)を送信するコストが削減される。更に言えば、区分可能画像からメイン画像とサブ画像の領域を区分することで、重畳しないで表示する場合であっても、メイン画像とサブ画像の夫々を任意の配置とすることで、一般視聴者U2-cにとっての利便性が、向上する。
【0151】
また、例えば、本実施形態では、区分可能画像データD1において、メイン画像である配信者画像Pi1は、サブ画像であるチャット対象者画像Pi2-aやチャット候補者画像Pi2-bと比較して大きく配置されるものとしたが、とくにこれに限定されない。即ち、画像データ取得部111は、複数の画像のデータを、データの群として取得すれば足りる。具体的には例えば、メイン画像とサブ画像とは、同じ大きさで区分可能画像に配置されてよい。これにより、例えば、サブ画像の上にメイン画像を重畳して表示した場合であっても、視聴者は、サブ画像の画質が悪化しない状態で視聴することができる。
【0152】
また例えば、本実施形態において、
図5の区分可能画像データD1は、複数の画像のデータを重ならないように配置されているものとしたが、特にこれに限定されない。即ち、区分可能画像のデータは、複数の画像の夫々を区分可能に含めば足りる。具体的には例えば、区分可能画像のデータは、複数の画像の夫々を重畳させて配置されていてもよい。この場合であっても、通常、重畳された部分と重畳されていない部分とで、複数の画像の領域を区分(分離)することが可能である。
【0153】
また例えば、本実施形態において、
図3の区分可能画像データ送信制御部132は、視聴者端末3-cに区分可能画像のデータを直接送信する例として図示されているが、特にこれに限定されない。即ち、区分可能画像データ送信制御部132は、区分可能画像のデータを、視聴者端末3-cが受信可能に、送信する制御を実行すれば足りる。具体的には例えば、区分可能画像データ送信制御部132は、ストリーミングの環境を構築、又は利用して、視聴者端末3-cに区分可能画像のデータを送信してよい。
【0154】
また例えば、本実施形態において、
図3の区分可能画像データ領域区分部322は、予め共有された複数の画像の夫々が区分可能画像のうち何れの領域に配置されるかの情報に基づき、領域を区分するとしたが、特にこれに限定されない。即ち、区分可能画像データ領域区分部322は、区分可能画像のデータに基づいて、複数の画像の夫々を区分することができれば足りる。具体的には例えば、区分可能画像のデータを解析等することで、区分可能画像のデータに含まれる複数の画像の夫々の領域の端(例えば、
図5(A)に図示された区分可能画像のデータD1の直線部分)を検出し、領域を区分してもよい。
【0155】
また例えば、本実施形態において、表示画像データ生成部324により生成される表示画像は、メイン画像と比較して小さいサブ画像が、メイン画像の上に重畳されて表示されるものとしたが、特にこれに限定さない。即ち、サブ画像配置情報取得部323は、複数の画像のうち1以上の画像を表示対象として、表示対象の1以上の画像の夫々をどのように配置するのかを示す情報を、配置情報として取得すれば足りる。具体的には例えば、複数の画像うち、表示対象とする1つの画像の配置情報を取得し、表示画像として表示してもよい。これにより、一般視聴者U2-cは、表示対象とする1つの画像に対してサブ画像が重畳されずに視聴することができる。また、上述のように、表示画像データ生成部324は、複数の画像を重畳させずに表示画像とすることができる。
【0156】
また例えば、本実施形態において、チャット候補者U2-bは、公開チャットを視聴する一般視聴者U2-cから、サーバ1により抽出されるものとしたが、特にこれに限定されない。具体的には例えば、チャット候補者U2-bは、図示せぬ他の装置により抽出されてもよく、公開チャットのプロデューサや、ディレクタ等の自然人による入力に基づいて抽出されてもよい。
【0157】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図3の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図4の例に限定されない。また、機能ブロックの存在場所も、
図3に特に限定されず、任意でよい。即ち、サーバ1は複数台で構成され、複数のサーバにより実行されてよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0158】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0159】
また例えば、このようなプログラムを含む記録媒体は、一般視聴者U2-cにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で一般視聴者U2-cに提供される記録媒体等で構成される。
【0160】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0161】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理システム(例えば
図1の情報処理システム)は、
ユーザ(例えば、
図3の視聴者端末3-cを操作する一般視聴者U2-c)に提示される画像のデータを生成する第1情報処理装置(例えば、
図3のサーバ1)と、前記ユーザに当該画像を提示する際に利用される第2情報処理装置(例えば、
図3の視聴者端末3-c)とを含む情報処理システムにおいて、
前記第1情報処理装置は、
複数の画像のデータ(例えば、
図2の配信者画像Pi1のデータやチャット対象者画像Pi2-a,Pi2-bのデータ)を、第1データの群として取得する第1取得手段(例えば、
図3の画像データ取得部111)と、
前記複数の画像の夫々を区分可能に含む画像のデータ(例えば、
図5の区分可能画像のデータD1)を、第2データとして生成する第1生成手段(例えば、
図3の区分可能画像データ生成部131)と、
前記第2データを前記第2情報処理装置に送信する制御を実行する送信制御手段(例えば、
図3の区分可能画像データ送信制御部132)と、
を備え、
前記第2情報処理装置は、
前記第1情報処理装置から送信された前記第2データを取得する第2取得手段(例えば、
図3の区分可能画像データ取得部321)と、
前記第2データに基づいて、前記複数の画像の夫々を区分する区分手段(例えば、
図3の区分可能画像データ領域区分部322)と、
前記複数の画像のうち1以上の画像を表示対象として、表示対象の前記1以上の画像の夫々をどのように配置するのかを示す情報を、配置情報として取得する第3取得手段(例えば、
図3のサブ画像配置情報取得部323)と、
前記配置情報に基づいて、表示対象の前記1以上の画像の夫々を配置させた画像のデータを、第4データとして生成する第2生成手段(例えば、
図3の表示画像データ生成部324)と、
前記第4データに対応する前記画像を前記ユーザに提示する制御を行う提示制御手段(例えば、
図3の表示制御部325)と、
を備える、
情報処理システムであれば足りる。
このような情報処理システムにおいて、第1情報処理装置は、複数の画像の夫々を区分可能に含む画像のデータを、1つの第2データとして、第2情報処理装置に送信することができる。ここで、送信時に係るコストとして、ストリーミングの環境の構築や利用に係るコストが発生する。ストリーミングの環境の構築や利用に係るコストは、コネクション数に依存する。このような情報処理システムは、1つの第2データを送信することで、コネクション数を削減することができる。
また、このような情報処理システムにおいて、第2情報処理装置は、配置情報に基づいて、表示対象の1以上の画像の夫々を配置させた画像のデータを、第4データとして生成することができる。これにより、第2情報処理装置は、表示対象の1以上の画像の夫々を、配置情報に基づいて配置することができる。即ち、第2情報処理装置は、あらゆる配置情報に基づいて配置された第4データを生成し、更に、第4データに対応した画像をユーザに提示することができる。
即ち、このような情報処理システムは、ユーザにとっての利便性を向上させ、且つ、画像の送信に係るコストを低減することができる。
【符号の説明】
【0162】
1・・・サーバ、2・・・配信者端末、3・・・視聴者端末、11・・・CPU、19・・・通信部、111・・・画像データ取得部、112・・・配信者提示画像制御部、113・・・チャット対象者提示画像制御部、114・・・チャット候補者提示画像制御部、115・・・視聴者提示画像制御部、121・・・メイン画像データ取得部、122・・・サブ画像データ取得部、131・・・区分画像データ生成部、132・・・区分可能画像データ送信制御部、311・・・CPU、312・・・通信部、313・・・入力部、314・・・出力部、321・・・区分可能画像データ取得部、322・・・区分可能画像データ領域区分部、323・・・サブ画像配置情報取得部、324・・・表示画像データ生成部、325・・・表示制御部