IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特開2023-166792情報処理装置、および情報処理方法、並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023166792
(43)【公開日】2023-11-22
(54)【発明の名称】情報処理装置、および情報処理方法、並びにプログラム
(51)【国際特許分類】
   H04N 21/238 20110101AFI20231115BHJP
   H04N 21/2343 20110101ALI20231115BHJP
   H04N 21/854 20110101ALI20231115BHJP
   A63F 13/30 20140101ALI20231115BHJP
   A63F 13/53 20140101ALI20231115BHJP
【FI】
H04N21/238
H04N21/2343
H04N21/854
A63F13/30
A63F13/53
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022077572
(22)【出願日】2022-05-10
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】田倉 研冴
(72)【発明者】
【氏名】宗 久美子
(72)【発明者】
【氏名】黒崎 友哉
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA22
5C164FA29
5C164MC01P
5C164PA31
5C164PA41
5C164SB02P
5C164SB04S
5C164SB21P
(57)【要約】
【課題】情報処理装置における表示データと送信データ各々を制御し、送信データについてはユーザが生成した事前設定情報に従って生成して送信する装置、方法を提供する。
【解決手段】表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有する。制御部は表示データを構成する表示画像の仕様と、送信データを構成する送信画像の仕様が異なる2種類の画像を生成する。例えば送信データのアスペクト比や、解像度、フレームレートを事前に設定し、設定に従った送信データを生成して通信部を介して送信する。
【選択図】図9
【特許請求の範囲】
【請求項1】
表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記制御部は、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する情報処理装置。
【請求項2】
前記制御部は、
アスペクト比、または解像度、またはフレームレートの少なくともいずれかが異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する請求項1に記載の情報処理装置。
【請求項3】
前記表示部は、2画面型の表示部を有する構成であり、
前記制御部は、
前記表示画像として、前記2画面型の表示部全領域に表示可能なアスペクト比を有する画像を生成し、
前記送信画像として、1画面型の表示部に表示可能なアスペクト比を有する画像を生成する請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、
前記送信データの設定をデータ送信前に実行するためのデータ配信前事前設定メニューを前記表示部に表示し、
前記データ配信前事前設定メニューに対するユーザ操作に応じた設定情報を記憶部に格納し、
データ送信実行時に前記記憶部に格納した設定情報に従った送信データを生成して送信する請求項1に記載の情報処理装置。
【請求項5】
前記データ配信前事前設定メニューは、
前記送信画像を編集するための配信画像編集部を有し、
前記制御部は、
前記配信画像編集部に対するユーザ操作に応じて決定されたレイアウトを有する送信画像を生成して送信する請求項4に記載の情報処理装置。
【請求項6】
前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記情報処理装置を横向きとした場合の横型レイアウトと、
前記情報処理装置を横向きとした場合の縦型レイアウトの2種類の異なるレイアウトを編集可能とした構成であり、
前記制御部は、
前記配信画像編集部に対するユーザ操作に応じて決定された横型レイアウトと、縦型レイアウトの2種類のレイアウトを持つ送信画像を生成して送信する請求項5に記載の情報処理装置。
【請求項7】
前記制御部は、
前記情報処理装置が横向きの場合は、ユーザ操作に応じて決定された横型レイアウトを有する送信画像を生成して送信し、
前記情報処理装置が縦向きの場合は、ユーザ操作に応じて決定された縦型レイアウトを有する送信画像を生成して送信する請求項6に記載の情報処理装置。
【請求項8】
前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記送信画像を構成する複数の領域単位の編集処理を可能とした構成を有する請求項5に記載の情報処理装置。
【請求項9】
前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記送信画像を構成するテキスト領域と、画像領域と、背景領域各領域単位の編集処理を可能とした構成を有する請求項5に記載の情報処理装置。
【請求項10】
前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記送信画像に含まれるタイトルの指定、編集を可能とした構成である請求項5に記載の情報処理装置。
【請求項11】
前記データ配信前事前設定メニューは、
前記送信画像を構成するサムネイルを編集するためのサムネイル編集部を有し、
前記制御部は、
前記サムネイル編集部に対するユーザ操作に応じて決定されたレイアウトを有するサムネイルを生成して送信する請求項4に記載の情報処理装置。
【請求項12】
前記データ配信前事前設定メニューに含まれる前記サムネイル編集部は、
前記サムネイルを構成するテキスト領域と、画像領域と、背景領域各領域単位の編集処理を可能とした構成を有する請求項11に記載の情報処理装置。
【請求項13】
前記データ配信前事前設定メニューは、
前記送信データを構成する音声データを調整するための音声調整用メニューを有し、
前記音声調整用メニューは、
前記送信データに含まれる音声データを構成する音源単位の音量を調整可能とした構成である請求項4に記載の情報処理装置。
【請求項14】
前記制御部は、
前記音声調整用メニューに対するユーザ操作に応じて決定された音源単位の音量に応じて、各音源の音量を調整した音声データを生成して送信する請求項13に記載の情報処理装置。
【請求項15】
前記制御部は、
前記表示部に対する表示データを、ユーザ操作に応じて前記表示画像から、前記通信部を介して送信した送信画像に切り替える画像表示制御を実行する請求項1に記載の情報処理装置。
【請求項16】
前記制御部は、
前記送信画像を、前記通信部を介して受信して前記表示部に表示する請求項15に記載の情報処理装置。
【請求項17】
前記制御部は、
前記送信データの設定をデータ送信中に実行するためのデータ配信中設定メニューを前記表示部に表示し、
前記データ配信中設定メニューに対するユーザ操作に応じた設定情報を記憶部に格納し、
前記記憶部に格納された設定情報に従って送信データの設定を変更して送信する請求項1に記載の情報処理装置。
【請求項18】
前記データ配信中設定メニューは、
前記送信データを構成する音声データを調整するための音声調整用メニューを有し、
前記音声調整用メニューは、
前記送信データに含まれる音声データを構成する音源単位の音量を調整可能とした構成であり、
前記制御部は、
前記音声調整用メニューに対するユーザ操作に応じて変更された音源単位の音量に応じて、各音源の音量を変更した音声データを生成して送信する請求項17に記載の情報処理装置。
【請求項19】
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記制御部が、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する情報処理方法。
【請求項20】
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記プログラムは、前記制御部に、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。具体的には、スマホ(スマートフォン)によるゲームアプリケーションの実行と配信を行う情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【0002】
近年、多くのユーザが、スマホ(スマートフォン)等の情報処理装置を利用して様々なゲームアプリケーション(ゲームアプリ)を楽しんでいる。
【0003】
また、実行中のゲームを他のユーザ端末に配信するいわゆるライブ配信を行うユーザも増加している。
なお、ゲーム配信に関して開示した従来技術として、例えば特許文献1(特開2018-113514号公報)がある。
【0004】
ゲームのライブ配信を行う場合、ゲーム配信ユーザは、配信先である視聴者にゲーム配信ユーザの意図通りの画像を視聴してもらいたいが、必ずしも、配信ユーザの意図通りの画像が配信されるとは限らない。
【0005】
例えば、ライブ配信プラットフォームの規定に従って画像設定が自動的に変更されてしまい、ゲーム配信ユーザの意図と異なる画像が配信されるといったこともある。
また、ゲーム配信ユーザは、ゲーム配信中に配信画像を確認することができないという問題もある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2018-113514号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、例えば、上記の問題点に鑑みてなされたものであり、スマホを利用したゲームアプリの実行、配信を行う構成において、ユーザが意図した配信画像を視聴者側端末に表示するための事前設定や、配信画像の確認などを容易に行うことを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の第1の側面は、
表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記制御部は、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する情報処理装置にある。
【0009】
さらに、本開示の第2の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記制御部が、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する情報処理方法にある。
【0010】
さらに、本開示の第3の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記プログラムは、前記制御部に、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する処理を実行させるプログラムにある。
【0011】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0012】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0013】
本開示の一実施例の構成によれば、情報処理装置における表示データと送信データ各々を制御し、送信データについてはユーザが生成した事前設定情報に従って生成して送信する装置、方法が実現される。
具体的には、例えば、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有する。制御部は表示データを構成する表示画像の仕様と、送信データを構成する送信画像の仕様が異なる2種類の画像を生成する。例えば送信データのアスペクト比や、解像度、フレームレートを事前に設定し、設定に従った送信データを生成して通信部を介して送信する。
これらの処理により、情報処理装置における表示データと送信データ各々を制御し、送信データについてはユーザが生成した事前設定情報に従って生成して送信する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0014】
図1】情報処理装置を利用したゲームアプリケーションの実行、配信処理を行う情報処理システムの構成例について説明する図である。
図2】情報処理装置を利用したゲームアプリケーションの実行、配信処理を行う情報処理システムの構成例について説明する図である。
図3】情報処理装置におけるゲーム配信前の事前設定処理、ゲーム実行、およびゲーム配信処理の一連の処理シーケンスについて説明する図である。
図4】情報処理装置におけるゲーム配信前の事前設定処理、ゲーム実行、およびゲーム配信処理の一連の処理シーケンスについて説明する図である。
図5】情報処理装置におけるゲーム配信前の事前設定処理、ゲーム実行、およびゲーム配信処理の一連の処理シーケンスについて説明する図である。
図6】情報処理装置におけるゲーム配信前の事前設定処理、ゲーム実行、およびゲーム配信処理の一連の処理シーケンスについて説明する図である。
図7】情報処理装置におけるゲーム配信前の事前設定処理、ゲーム実行、およびゲーム配信処理の一連の処理シーケンスについて説明する図である。
図8】情報処理装置におけるゲーム配信前の事前設定処理、ゲーム実行、およびゲーム配信処理の一連の処理シーケンスについて説明する図である。
図9】配信ユーザが利用する情報処理装置(送信端末)に表示されるデータ配信前事前設定メニュー(UI)の構成例について説明する図である。
図10】配信ゲーム画像の一例について説明する図である。
図11】予め規定された複数種類の配信画像設定データの具体例について説明する図である。
図12】情報処理装置に表示されるサムネイル編集画面の具体例について説明する図である。
図13】情報処理装置に表示される配信画像編集画面の具体例について説明する図である。
図14】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図15】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図16】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図17】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図18】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図19】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図20】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図21】情報処理装置に表示される配信画像編集画面を利用した編集処理の具体例について説明する図である。
図22】事前設定した横向きレイアウト対応の配信画像と、縦向きレイアウト対応の配信画像の自動切り替えて処理の具体例について説明する図である。
図23】プライバシー設定画面の利用例について説明する図である。
図24】情報処理装置に表示される音声調整用メニュー(UI)の具体例について説明する図である。
図25】情報処理装置に表示されるデータ配信中設定メニュー(UI)の具体例について説明する図である。
図26】情報処理装置に表示される音声調整用メニュー(UI)の具体例について説明する図である。
図27】情報処理装置の表示画像を、実行中のゲーム画像とするか、モニタリング画像(視聴画像)とするかの切り替え処理について説明する図である。
図28】情報処理装置の表示画像の切り替えに応じた出力音声切り替え処理について説明する図である。
図29】本開示の情報処理装置におけるUI表示処理の一例について説明する図である。
図30】情報処理装置の表示部に出力する画像と、外部配信する画像を異なる仕様の2種類の画像として生成、配信する処理について説明する図である。
図31】2画面構成の情報処理装置を用いた場合の画像出力処理例について説明する図である。
図32】2画面構成の情報処理装置を用いた場合の画像出力処理例について説明する図である。
図33】2画面構成の情報処理装置を用いた場合の音声出力処理例について説明する図である。
図34】2画面構成の情報処理装置を用いた場合の音声出力処理例について説明する図である。
図35】2画面構成の情報処理装置を用いた場合の音声出力処理例について説明する図である。
図36】2画面構成の情報処理装置を用いた場合の音声出力処理例について説明する図である。
図37】2画面構成の情報処理装置を用いた場合の画像出力、画像配信処理例について説明する図である。
図38】2画面構成の情報処理装置を用いた場合の音声出力処理例について説明する図である。
図39】本開示の情報処理装置が実行する音声出力制御の一例について説明する図である。
図40】音声出力の設定処理を実行する場合の操作例について説明する図である。
図41】音声出力の設定処理を実行する場合の操作例について説明する図である。
図42】本開示の情報処理装置の表示部に表示される音声入出力パス設定部を利用した音声入出力パスの設定処理の具体例について説明する図である。
図43】本開示の情報処理装置の表示部に表示される音声入出力パス設定部を利用した音声入出力パスの設定処理の具体例について説明する図である。
図44】ゲームアプリを起動していない状態で出力音声設定処理を行う場合のUI表示例について説明する図である。
図45】ゲームアプリを起動していない状態で出力音声設定処理を行う場合のUI表示例について説明する図である。
図46】本開示の情報処理装置が実行する出力音声制御処理を適用した具体的な処理例について説明する図である。
図47】本開示の情報処理装置が実行する出力音声制御処理を適用した具体的な処理例について説明する図である。
図48】本開示の情報処理装置が実行する出力音声制御処理を適用した具体的な処理例について説明する図である。
図49】本開示の情報処理装置が実行する出力音声制御処理を適用した具体的な処理例について説明する図である。
図50】本開示の情報処理装置の構成例について説明する図である。
図51】本開示の情報処理装置やサーバとして利用可能な装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.情報処理装置におけるゲームアプリケーションの実行と配信処理例について
2.本開示の情報処理装置において実行するデータ配信前事前設定処理、データ配信処理、データ配信中設定処理、これら一連の処理シーケンスについて
3.データ配信前事前設定メニュー(UI)の構成と、データ配信前事前設定メニュー(UI)を利用した配信データ設定処理の詳細について
4.データ配信中設定メニュー(UI)の構成と、データ配信中設定メニュー(UI)を利用した配信データ設定処理の詳細について
5.本開示の情報処理装置のその他の機能について
5-1.(1)ゲーム実行画面以外の画面に対するUI表示機能
5-2.(2)自装置出力用画像と、配信用画像とを異なる態様の画像として生成する機能
5-3.(3)情報処理装置(送信端末)100が2画面構成を持つ場合の処理機能
6.情報処理装置の音声出力制御処理について
7.情報処理装置の構成例について
8.情報処理装置やサーバのハードウェア構成例について
9.本開示の構成のまとめ
【0016】
[1.情報処理装置におけるゲームアプリケーションの実行と配信処理例について]
まず、情報処理装置におけるゲームアプリケーションの実行と配信処理例について説明する。
【0017】
本開示の情報処理装置は、具体的には、例えばスマホ(スマートフォン)であり、インターネット等のネットワークを介した通信を行うことが可能な装置である。
【0018】
本開示の情報処理装置は、例えば、ネットワークを介した動画配信や、ゲームアプリ(アプリケーション)の実行によるゲームコンテンツや音楽コンテンツなどのコンテンツ配信を行うことが可能な装置である。
【0019】
図1には、本開示の情報処理装置を利用した情報処理システム10の一構成例を示している。
情報処理装置(送信端末)100は、配信ユーザ(例えばゲーム実行プレーヤー)20の端末である。
配信ユーザ(例えばゲーム実行プレーヤー)20は、情報処理装置(送信端末)100を利用してゲームアプリ(アプリケーション)を実行する。
【0020】
このゲームアプリ画面やゲームアプリ音声(アプリ音声)などからなるコンテンツは、インターネット等のネットワークを介して視聴ユーザ30の情報処理装置(受信端末)200に配信される。
アプリ音声とは、例えば、アプリによって生成されるBGMや、ゲームアプリ内で発生する様々な音声である。例えば図に示す例は自動車レースのゲームアプリであり、自動車のエンジン音や、観客の歓声や、クラッシュ時の衝突音など、様々な音声が含まれる。
【0021】
さらに、情報処理装置(送信端末)100を利用してゲームを実行するユーザ、すなわち配信ユーザ20は、実行中のゲームの実況を行う。すなわち情報処理装置(送信端末)100のマイクを介して、配信ユーザ20の声を入力して、ゲームの説明や状況の説明などを行う。
この配信ユーザ20の声は、上述のアプリ音声とともに、視聴ユーザ30側の情報処理装置(受信端末)200に送信され、情報処理装置(受信端末)200側で再生される。
【0022】
さらに、視聴ユーザ30は、情報処理装置(受信端末)200に、応援メッセージなどのコメントをテキスト入力することが可能であり、この入力コメントはネットワークを介して、配信ユーザ20側の情報処理装置(送信端末)100に送信される。
【0023】
配信ユーザ20側の情報処理装置(送信端末)100は、情報処理装置(受信端末)200からの受信コメントを音声データに変換してコメント音声を生成し、生成したコメント音声も、アプリ音声や、ゲーム実行ユーザの声とともに合成(ミキシング)して配信する。
【0024】
なお、視聴ユーザ30は、情報処理装置(受信端末)200のマイクを介して応援メッセージなどのコメントを、直接音声入力してもよい。この場合、この入力音声コメントがネットワークを介して、配信ユーザ20側の情報処理装置(送信端末)100に送信される。
【0025】
配信ユーザ20側の情報処理装置(送信端末)100は、情報処理装置(受信端末)200から受信した音声コメントを、アプリ音声や、ゲーム実行ユーザの声とともに合成(ミキシング)して配信する。
【0026】
なお、図1の情報処理システム10は、情報処理装置(送信端末)100と複数の情報処理装置(受信端末)200間で、直接、データ送受信を行うシステムの構成例であるが、例えば図2に示すように、ネットワーク上の管理サーバ50を介してデータ送受信を行う構成としてもよい。
【0027】
図2に示す構成において、配信ユーザ20側の情報処理装置(送信端末)100は、データを管理サーバ50に送信する。視聴ユーザ30側の情報処理装置(受信端末)200は、管理サーバ50から、このデータを受信して視聴する。
【0028】
このようなシステム構成においても、配信ユーザ20側の情報処理装置(送信端末)100は、ゲームアプリの実行画面データと、ゲームアプリのBGMなどのアプリ音声や、ゲーム実行ユーザの声、さらに視聴ユーザのコメント音声、これら複数の異なる音源の音声データを合成して管理サーバ50に送信する。視聴ユーザ30側の情報処理装置(受信端末)200は、管理サーバ50から、この合成音声データを、画像データとともに受信して視聴する。
【0029】
[2.本開示の情報処理装置において実行するデータ配信前事前設定処理、データ配信処理、データ配信中設定処理、これら一連の処理シーケンスについて]
次に、本開示の情報処理装置において実行するデータ配信前事前設定処理、データ配信処理、データ配信中設定処理、これら一連の処理シーケンスについて説明する。
【0030】
図3図8を参照して、ゲームの実行、配信を行う配信ユーザ20側の送信端末である情報処理装置100が実行するデータ配信前事前設定処理、データ配信処理、データ配信中設定処理、これら一連の処理シーケンスについて説明する。
【0031】
図3図8には、配信ユーザ20側の情報処理装置100(送信端末)が実行する処理を、以下のように時系列処理(S01~S11)として順次、示している。
(S01)ゲームアプリを起動
(S02)メインメニュー(UI:ユーザインタフェース)を表示させるためのユーザ操作を実行
(S03)メインメニュー(UI)が表示される
(S04)メインメニューの記録&ストリームアイコン(Rec&stream)を操作(タップ)
(S05)データ配信前事前設定メニュー(UI)画面が表示される
(S06)データ配信前事前設定メニュー(UI)画面で配信事前設定後、完了(Ready)アイコンを操作
【0032】
(S07)配信開始前最終チェック画面が表示される
(S08)配信開始最終チェック画面で配信開始(Go Live)アイコンを操作
(S09)ゲーム実行画面に切り替わり、配信が開始される
(S10)ゲーム実行&配信処理の間にデータ配信中設定メニュー(UI)表示操作を実行
(S11)ゲーム実行配信期間対応のデータ配信中設定メニュー(UI)が表示される
【0033】
以下、これらの各処理について、順次、説明する。
(ステップS01)
まず、配信ユーザ20は、図3に示すステップS01において、情報処理装置(送信端末)100でゲームアプリを起動する。
【0034】
(ステップS02)
次に、配信ユーザ20は、ステップS01において、情報処理装置100に対して、メインメニュー(UI:ユーザインタフェース)を表示させるためのユーザ操作を実行する。
【0035】
例えば、図3(S02)の図に示すように、情報処理装置100の画面上部から下部に向けて指をスライドさせるフリック処理を行うことで、図4(S02b)に示すように、徐々にメインメニューが上部から引き出されて表示される。
なお、フリック処理はメインメニューを表示させるためのユーザ操作の一例であり、その他のユーザ操作を用いてもよい。
【0036】
(S03)
情報処理装置100の画面上部から下部に向けて指をスライドさせるフリック処理の完了により、図4右下のステップ(S03)に示すように、情報処理装置100の表示部にメインメニュー(UI)101が表示される。
メインメニュー101には、様々な操作用アイコンが含まれる。
【0037】
なお、図4に示すメインメニュー101には、ゲームモード(Game mode)、フォーカス設定(Focus)、表示部と音声設定(Display&Sound)、マルチタスク(Multitasking)、スクリーンショット(Screen shot)、記録&ストリーム(REC&stream)、これら複数のアイコンが設定されている。
【0038】
ユーザは、これらのアイコンのいずれかを操作(タップ)することで各アイコンに対応付けられた処理の実行、あるいはアイコンに対応付けられた別メニューを表示させるといった処理が可能となる。
なお、図に示すアイコンの例は一例であり、メインメニューには、この他、様々なアイコンの表示が可能であり、例えばゲームアプリに応じた様々な操作用アイコンが表示される。
【0039】
(ステップS04)
図5に示すステップS04は、配信ユーザ20が本開示の処理を実行させるためのアイコンの操作処理ステップである。
【0040】
すなわち、配信ユーザ20がメインメニュー101に表示された記録&ストリームアイコン(Rec&stream)を選択して操作(タップ)した処理を示している。
【0041】
(ステップS05)
ステップS04において、配信ユーザ20がメインメニュー101に表示された記録&ストリームアイコン(Rec&stream)を操作(タップ)すると、図5下部に示すようなデータ配信前事前設定メニュー(UI)(ユーザインタフェース)102が表示される。
【0042】
このデータ配信前事前設定メニュー(UI)102は、配信ユーザ20がゲーム配信を行う前に、配信するゲーム画像の設定など、配信データに関する様々な設定を行うためのUIである。
このデータ配信前事前設定メニュー(UI)102の詳細や、このUIを利用した事前設定処理の詳細につていては後段で説明する。
【0043】
(ステップS06)
配信ユーザ20が、図5に示すデータ配信前事前設定メニュー(UI)102を利用して配信ゲームの画像の設定などを全て完了すると、図7の(ステップS06)に示すように、配信ユーザ20は、データ配信前事前設定メニュー(UI)102内の設定完了(Ready)アイコンを操作する。
【0044】
(ステップS07)
ステップS06において、配信ユーザ20がデータ配信前事前設定メニュー(UI)102内の設定完了(Ready)アイコンを操作すると、図6下部に示すような「配信開始前最終チェック画面」が表示される。
【0045】
「配信開始前最終チェック画面」には、配信ユーザ20が、図5に示すデータ配信前事前設定メニュー(UI)102を利用して生成した配信ゲーム画像の例が表示される。
【0046】
配信ユーザ20はこの画像を確認し、了解した場合は、画面下部にある「ライブ開始(Go Live)」操作部を操作する。
一方、表示された配信ゲーム画像に納得しない場合や、その他の修正を行いたい場合は、「バック(BACK)」操作部を操作する。この「バック(BACK)」操作部の操作により、再度、図5(S05)に示すデータ配信前事前設定メニュー(UI)102を表示させ、様々な配信データの再設定等を行うことが可能となる。
【0047】
(ステップS08)
配信ユーザ20が、「配信開始前最終チェック画面」に表示された配信ゲーム画像の例を了解すると、配信ユーザ20は図7(S08)に示すように、配信開始最終チェック画面で配信開始(Go Live)アイコンを操作する。
【0048】
(ステップS09)
配信ユーザ20が、図7(S08)に示すように、配信開始最終チェック画面で配信開始(Go Live)アイコンを操作すると、図7(S09)に示すように、情報処理装置100の表示部の表示データが、ゲーム実行画面に切り替わり、配信が開始される。
【0049】
この時、情報処理装置100から配信される画像(配信ゲーム画像)は、配信ユーザ20が、データ配信前事前設定メニュー(UI)(ユーザインタフェース)102を利用して生成した配信ゲーム画像である。すなわち、図6に示す「配信開始前最終チェック画面」に表示された配信ゲーム画像の例に従った画像が送信されることになる。
【0050】
(ステップS10)
その後、配信ユーザ20は情報処理装置100を利用してゲームアプリを実行する。このゲームアプリの実行に並列して実行しているゲームのライブ配信が実行される。
【0051】
このゲーム実行、配信期間において、配信ユーザ20は情報処理装置100を操作してデータ配信中設定メニュー(UI)を表示することができる。
図8のステップ(S10)はこのユーザ操作例を示している。
【0052】
配信ユーザ20は、例えば図8(S10)に示すように、情報処理装置100の画面上部から下部に向けて指をスライドさせるフリック処理を行う。この処理により、データ配信中設定メニュー(UI)が表示される。
なお、フリック処理はデータ配信中設定メニュー(UI)を表示させるためのユーザ操作の一例であり、その他のユーザ操作を用いてもよい。
【0053】
(ステップS11)
ステップS10において、配信ユーザ20が情報処理装置100に対してデータ配信中設定メニュー(UI)を表示させるための操作、例えばフリック処理を行うことで、図8(S11)に示すような、ゲーム実行配信期間対応のデータ配信中設定メニュー(UI)103が表示される。
【0054】
このデータ配信中設定メニュー(UI)103には、配信中のデータの変更、例えば音声調整処理などを実行するための操作部が設けられており、配信ユーザ20はこれらの操作部を利用した設定を行うことが可能となる。
【0055】
また、データ配信中設定メニュー(UI)103には、チャット出力領域が含まれ、このチャット出力領域に、配信ユーザ20や、ライブ配信ゲームを視聴している視聴ユーザ30のチャット情報が表示される。
このデータ配信中設定メニュー(UI)103の詳細構成と、利用例については後段で説明する。
【0056】
[3.データ配信前事前設定メニュー(UI)の構成と、データ配信前事前設定メニュー(UI)を利用した配信データ設定処理の詳細について]
次に、データ配信前事前設定メニュー(UI)の構成と、データ配信前事前設定メニュー(UI)を利用した配信データ設定処理の詳細について説明する。
【0057】
先に図5を参照して説明したように、図5に示すステップS04において、配信ユーザ20がメインメニュー101に表示された記録&ストリームアイコン(Rec&stream)を操作(タップ)すると、図5下部に示すようなデータ配信前事前設定メニュー(UI)(ユーザインタフェース)102が表示される。
【0058】
このデータ配信前事前設定メニュー(UI)(ユーザインタフェース)102は、配信ユーザ20がゲーム配信を行う前に、配信するゲーム画像の設定など、配信データに関する様々な設定を行うためのUIである。
【0059】
以下、データ配信前事前設定メニュー(UI)(ユーザインタフェース)102の詳細構成と、データ配信前事前設定メニュー(UI)102を利用した配信データ設定処理の詳細について説明する。
【0060】
図9には、配信ユーザ20が利用する情報処理装置(送信端末)100に表示されるデータ配信前事前設定メニュー(UI)102の一例を示している。
なお、図9に示すデータ配信前事前設定メニュー(UI)102は、例えば、左上端部にある配信事前設定メニュー(UI)選択部120を選択することで表示され、その両隣のアイコンは異なるメニュー(UI)を表示する際に選択する。
【0061】
図9に示すように、データ配信前事前設定メニュー(UI)102には、ユーザ操作可能な以下の各処理部が表示される。
(a)タイトル編集部121
(b)表示情報編集部122
(c)解像度、フレームレート設定部123
(d)視聴許可対象設定部124
(e)ストリーム遅延設定部125
(f)サムネイル編集、表示部126
(g)配信画像編集、表示部127
(h)プライバシー設定画面編集、表示部128
(i)マイク設定部129
(j)ボリューム設定部130
(k)拡張機能設定UI移行部131
【0062】
「(a)タイトル編集部121」は、配信ユーザ20が配信するゲームのタイトルを記入、編集するための領域である。
配信ユーザ20は、配信ゲームのタイトルを自由に設定することが可能となる。
なお、このタイトルは、例えばライブ配信画像に併せて配信される。配信ゲーム画像の一例を図10に示す。
【0063】
図10に示すように、配信画像には配信ユーザ20が実行中のゲームアプリの画像に併せて、タイトル141と、表示情報142が含まれる。
図10に示す表示情報142は、例えばゲーム配信を実行中の配信端末の種類、名称などからなる表示情報の例である。なお、タイトル141や表示情報142は、配信ユーザ20が自由に設定することができる。
【0064】
視聴ユーザ30側の情報処理装置(受信端末)200には、このように、配信ユーザ20が実行中のゲームアプリ画像のみではなく、配信ユーザ20が設定したタイトル141や、表示情報142を含めることができる。
【0065】
なお、図10に示す配信画像のレイアウトは一例であり、配信画像のレイアウトは、様々な異なるレイアウトに変更、編集することが可能である。このレイアウト編集については後段で説明する。
【0066】
「(b)表示情報編集部122」は、図10を参照して説明した表示情報142の表示領域に表示するデータを編集する領域である。
配信ユーザ20は、配信するゲームライブ画像に併せて表示する表示情報を自由に設定することが可能となる。
例えば、図10を参照して説明したように、例えばゲーム配信を実行中の配信端末の種類、名称などからなる表示情報を生成する。なお、前述したように表示情報は、配信ユーザ20が自由に設定することができる。
【0067】
「(c)解像度、フレームレート設定部123」は、ライブ配信ゲーム画像の解像度と、フレームレート、さらにアスペクト比を設定する領域である。
ユーザは、予め規定された複数種類の配信画像設定データから1つの設定情報を選択することができる。
【0068】
具体的には、例えば図11に示す以下の5種類((1)~(5))の設定のいずれかを選択して設定することができる。
(1)1080p60fps=アスペクト比(16:9)、解像度(1920×1080)、フレームレート(60fps)
(2)1080p30fps=アスペクト比(16:9)、解像度(1920×1080)、フレームレート(30fps)
(3)720p60fps=アスペクト比(16:9)、解像度(1280×720)、フレームレート(60fps)
(4)720p30fps=アスペクト比(16:9)、解像度(1280×720)、フレームレート(330fps)
(5)480p30fps=アスペクト比(16:9)、解像度(720×480)、フレームレート(30fps)
【0069】
情報処理装置(送信端末)100は、配信ユーザ20が、この「(c)解像度、フレームレート設定部123」に設定した情報に従ったライブ配信画像、すなわち、ユーザが設定した解像度、フレームレート、アスペクト比を有するライブ配信画像を生成して送信部を介して送信する。
【0070】
図9に戻り、データ配信前事前設定メニュー(UI)の各構成部の説明を続ける。
「(d)視聴許可対象設定部124」は、配信ライブ画像を視聴できる視聴ユーザの制限情報を記録する領域である。
具体的には、制限なしに視聴を許容する(Public)、または特定ユーザにのみ視聴を許容する(Unlisted)、または指定ユーザのみに視聴を許容する(Private)、これらのいずれかの設定が可能となる。
【0071】
「(e)ストリーム遅延設定部125」は、配信するライブ配信データストリームの遅延許容情報を記録する領域であり、通常(Normal)、低(Low)、極低(Ultra-low)の3種類の設定ができる。
【0072】
「(f)サムネイル編集、表示部126」では、例えば配信管理サーバが提供する配信ゲーム一覧データ上に表示するためのサムネイルの編集処理と、編集結果としてのサムネイルを表示する領域である。
【0073】
配信ユーザ20が、サムネイルの編集を行いたい場合は、この「(f)サムネイル編集、表示部126」を操作(例えばタップ)する。
このユーザ操作によって、サムネイル編集画面が表示される。
具体的には、例えば図12に示すようなサムネイル編集画面が表示される。
【0074】
図12には、以下の2つの図を示している。
(1)サムネイルのテキスト領域編集処理例
(2)サムネイルの画像領域編集処理例
【0075】
サムネイルのテキスト領域は、図12(1)に示すようにゲームタイトルなどが表示されるテキスト領域144である。
このテキスト領域144を編集する場合、ユーザはテキスト領域編集操作部143を操作(タップ)する。この操作により、テキスト領域144の編集が可能となる。
例えばテキスト領域144に出力する文字、サイズ、色、位置などを設定することができる。例えばカラーパレット145から好みの色を選択することでテキストの色やテキストの背景となる色等の設定、変更ができる。
【0076】
また、サムネイルの画像領域は、図12(2)に示すようにゲーム画像が表示される画像領域147である。
この画像領域147を編集する場合、ユーザは画像領域編集操作部146を操作(タップ)する。この操作により、画像領域147の編集が可能となる。
例えば画像領域147のサイズ、位置などを設定することができる。
【0077】
図9に戻り、データ配信前事前設定メニュー(UI)の各構成部の説明を続ける。
「(g)配信画像編集、表示部127」は、情報処理装置(送信端末)100から配信する配信画像のレイアウト等の編集処理、表示処理を行う領域である。
【0078】
配信ユーザ20が、配信画像の編集を行いたい場合は、この「(g)配信画像編集、表示部127」を操作(例えばタップ)する。
このユーザ操作によって、配信画像編集画面が表示される。
具体的には、例えば図13に示すような配信画像編集画面が表示される。
【0079】
配信画像の編集処理例について、図13以下を参照して説明する。
まず、配信画像のレイアウト選択処理を行う。図13に示すように、情報処理装置(送信端末)100の表示部には、複数の異なる配信画像レイアウトが表示される。
【0080】
図13に示す例では、(L1)~(L6)の6種類の配信画像レイアウトが表示されている。
なお、図13に示す配信画像レイアウトの例は、横向きレイアウト、すなわち、配信ユーザ20が情報処理装置(送信端末)100を横向き(横長)に保持してゲームを行い、配信する際の配信画像のレイアウトの例であり、図13上部の横向きレイアウト/縦向きレイアウト選択部148から左側の横向きレイアウトを選択した場合に表示される。
【0081】
横向きレイアウト/縦向きレイアウト選択部148から右側の縦向きレイアウトを選択した場合には、情報処理装置(送信端末)100を横向き(横長)に保持してゲームを行い、配信する際の配信画像のレイアウトの例が表示される。縦向きレイアウトの例については後述する。
図13に示すレイアウト(L1)~(L6)いずれも配信するゲーム画像に、先に図10を参照して説明したゲームタイトルと、表示情報を併せて出力した画像データである。
【0082】
(L1)は、ゲーム画像の上部に表示情報を配置し、下部にゲームタイトルを配置したレイアウトである。
(L2)は、ゲーム画像の上部にゲームタイトルを配置し、下部に表示情報を配置したレイアウトである。
(L3)は、ゲーム画像の上部に小サイズの表示情報を配置し、下部にゲームタイトルを配置したレイアウトである。
【0083】
(L4)は、ゲーム画像の下部左側に小サイズの表示情報を配置し、下部右側にゲームタイトルを配置したレイアウトである。
(L5)は、ゲーム画像の下部左側にゲームタイトルを配置し、下部右側に小サイズの表示情報を配置したレイアウトである。
(L6)は、ゲーム画像の下部にゲームタイトルのみを配置したレイアウトである。
【0084】
配信ユーザ20は、例えばこれらの配信画像レイアウトから1つのレイアウトを配信画像レイアウトとして選択することができる。
【0085】
例えば、配信ユーザ20は、図14に示すようにレイアウト(L1)を選択し、操作部(Next)を操作すると、選択したレイアウト(L1)の配信画像の編集画面が表示される。
【0086】
図15に選択したレイアウト(L1)の配信画像の編集画面の例を示す。
図15には、以下の2つの図を示している。
(1)配信画像のテキスト領域編集処理例
(2)配信画像の画像領域編集処理例
【0087】
配信画像のテキスト領域は、図15(1)に示すようにゲームタイトルなどが表示されるテキスト領域151である。
このテキスト領域151を編集する場合、ユーザはテキスト領域編集操作部152を操作(タップ)する。この操作により、テキスト領域151の編集が可能となる。
例えばテキスト領域151に出力する文字、サイズ、色、位置などを設定することができる。例えばカラーパレット153から好みの色を選択することでテキストの色やテキストの背景となる色等の設定、変更ができる。
【0088】
また、配信画像の画像領域は、図15(2)に示すようにゲーム画像が表示される画像領域154である。
この画像領域154を編集する場合、ユーザは画像領域編集操作部155を操作(タップ)する。この操作により、画像領域154の編集が可能となる。
例えば画像領域154サイズ、位置などを設定することができる。
【0089】
さらに、図16に示すように、配信画像の背景領域の編集も可能である。背景領域は、図16に示すようにゲーム画像が表示される画像領域を囲む領域、例えばテキストが表示される領域の背景部分からなる背景領域156である。
この背景領域156を編集する場合、ユーザは背景領域編集操作部157を操作(タップ)する。この操作により、背景領域156の編集が可能となる。
例えば背景領域156の色、位置などを設定することができる。例えばカラーパレット153から好みの色を選択することで背景色等の設定、変更ができる。
【0090】
なお、図13図16を参照して説明した配信画像の編集処理例は、配信ユーザ20が、情報処理装置(送信端末)100を横向き(横長)で保持してゲームを行い、配信する際の配信画像の設定を編集する処理例である。
【0091】
図9に示すデータ配信前事前設定メニュー(UI)の[(g)配信画像編集、表示部127」では、配信ユーザ20が、情報処理装置(送信端末)100を縦向き(縦長)に保持してゲームを行い、配信する際の配信画像の設定も編集することが可能である。
【0092】
配信ユーザ20が情報処理装置(送信端末)100を縦向き(縦長)に保持してゲームを行い、配信する際の配信画像の編集処理例について、図17以下を参照して説明する。
まず、配信画像のレイアウト選択処理を行う。図17に示すように、情報処理装置(送信端末)100の表示部には、複数の異なる配信画像レイアウトが表示される。
【0093】
図17には、右側に情報処理装置100に表示される(Lv1)~(Lv6)の6種類の配信画像レイアウトを示し、左側にレイアウト(Lv1)~(Lv3)の拡大図を示している。
また、図18には、左側に情報処理装置100に表示される(Lv1)~(Lv6)の6種類の配信画像レイアウトを示し、右側にレイアウト(Lv4)~(Lv6)の拡大図を示している。
【0094】
なお、図17図18に示す配信画像レイアウトの例は、縦向きレイアウト、すなわち、配信ユーザ20が情報処理装置(送信端末)100を縦向き(縦長)に保持してゲームを行い、配信する際の配信画像のレイアウトの例であり、図17図18上部の横向きレイアウト/縦向きレイアウト選択部148から右側の縦向きレイアウトを選択した場合に表示される。
【0095】
レイアウト(Lv1)~(Lv6)いずれも配信するゲーム画像に、先に図10を参照して説明したゲームタイトルと、表示情報を併せて出力した画像データである。
先に図10を参照して説明したように、表示情報は例えばゲーム配信を実行中の配信端末の種類、名称などからなる表示情報を利用可能である。ただし、表示情報は、配信ユーザ20が自由に設定することができる。
【0096】
図17図18に示すレイアウト(Lv1)~(Lv6)は以下のレイアウトである。
(Lv1)は、ゲーム画像の左側に表示情報を配置し、右側にゲームタイトルを配置したレイアウトである。
(Lv2)は、ゲーム画像の左側にゲームタイトルと表示情報を配置したレイアウトである。
(Lv3)は、ゲーム画像の右側にゲームタイトルと表示情報を配置したレイアウトである。
【0097】
(Lv4)は、ゲーム画像の左側にゲームタイトルを配置し、右側に表示情報を配置したレイアウトである。
(Lv5)は、ゲーム画像の左側にゲームタイトルと表示情報を配置したレイアウトである。
(Lv6)は、ゲーム画像の右側にゲームタイトルと表示情報を配置したレイアウトである。
【0098】
配信ユーザ20は、例えばこれらの配信画像レイアウトから1つのレイアウトを配信画像レイアウトとして選択することができる。
例えば、配信ユーザ20は、図19に示すようにレイアウト(Lv1)を選択し、操作部(Next)を操作すると、選択したレイアウト(Lv1)の配信画像の編集画面が表示される。
【0099】
図20に選択したレイアウト(Lv1)の配信画像の編集画面の例を示す。
図20には、以下の2つの図を示している。
(1)配信画像のテキスト領域編集処理例
(2)配信画像の画像領域編集処理例
【0100】
配信画像のテキスト領域は、図20(1)に示すようにゲームタイトルなどが表示されるテキスト領域151である。
このテキスト領域151を編集する場合、ユーザはテキスト領域編集操作部152を操作(タップ)する。この操作により、テキスト領域151の編集が可能となる。
例えばテキスト領域151に出力する文字、サイズ、色、位置などを設定することができる。例えばカラーパレット153から好みの色を選択することでテキストの色やテキストの背景となる色等の設定、変更ができる。
【0101】
また、配信画像の画像領域は、図20(2)に示すようにゲーム画像が表示される画像領域154である。
この画像領域154を編集する場合、ユーザは画像領域編集操作部155を操作(タップ)する。この操作により、画像領域154の編集が可能となる。
例えば画像領域154のサイズ、位置などを設定することができる。
【0102】
さらに、図21に示すように、配信画像の背景領域の編集も可能である。背景領域は、図21に示すようにゲーム画像が表示される画像領域を囲む領域、例えばテキストが表示される領域の背景部分からなる背景領域156である。
この背景領域156を編集する場合、ユーザは背景領域編集操作部157を操作(タップ)する。この操作により、背景領域156の編集が可能となる。
例えば背景領域156の色、位置などを設定することができる。例えばカラーパレット153から好みの色を選択することで背景色等の設定、変更ができる。
【0103】
なお、図20図21を参照して説明したキスト領域151や、背景領域156にはテキスト情報だけでなく、静止画や動画を表示する設定としてもよい。例えば、ゲームの内容を解説するため等の静止画や動画を表示する構成としてもよい。また、背景領域156にゲームを解説する複数の静止画を順次、切り替えて表示する構成としてもよい。この場合、例えばユーザが背景領域156をタップすることで次の静止画に切り替わるように設定する、あるいは所定時間が経過したら次の静止画に切り替わる構成とするなど、様々な設定が可能である。
【0104】
このように、本開示の情報処理装置(送信端末)100は、配信画像について、
横向きのレイアウト選択と編集処理、
縦向きのレイアウト選択と編集処理、
これら2種類の処理を個別に実行することを可能としている。
【0105】
これらの処理によって、配信ユーザ20が、ゲーム配信を実行中に情報処理装置(送信端末)100の向きを変更した場合、配信データのレイアウトを、事前設定した横向きレイアウト対応の配信画像、または縦向きレイアウト対応の配信画像に自動的に切り替えて配信することが可能となる。
図22を参照して、具体的な切り替え処理例について説明する。
【0106】
図22には、以下の各図を示している。
(a)配信ユーザ側端末
(b)受信ユーザ側端末
いずれも時間推移(t1~t3)に伴う各ユーザ端末における表示画像の推移を示している。
【0107】
図22(a)配信ユーザ側端末の時間推移データに示すように、配信側ユーザは、時間(t1)で情報処理装置(送信端末)100を横向きにしてゲームを実行、配信しているが、時間(t2)で情報処理装置(送信端末)100を縦向きに持ち換えてゲームを実行、配信し、その後、時間(t3)で再度、情報処理装置(送信端末)100を横向きにしてゲームを実行、配信する処理を行っている。
【0108】
一方、図22(b)受信ユーザ側端末の時間推移データに示すように、受信側ユーザは、時間(t1)~(t3)の間、継続して情報処理装置(受信端末)200を横向きにしてゲームを受信、視聴している。
【0109】
このような場合、配信側ユーザが情報処理装置(送信端末)100を横向きにしてゲームを実行、配信している時間(t1)、および時間(t3)では、図13図16を参照して説明した横向き配信画像レイアウトの設定処理によって設定された画像が配信されて受信ユーザ側端末に表示される。
これに対して、配信側ユーザが情報処理装置(送信端末)100を縦向きにしてゲームを実行、配信している時間(t2)では、図17図21を参照して説明した縦向き配信画像レイアウトの設定処理によって設定された画像が配信されて受信ユーザ側端末に表示される。
【0110】
このように、配信側ユーザは、情報処理装置(送信端末)100を横向きにした場合、縦向きにした場合、それぞれのケースにおいて、ユーザが設定したレイアウトの画像を配信することが可能となる。
【0111】
図9に戻り、データ配信前事前設定メニュー(UI)の各構成部の説明を続ける。
「(h)プライバシー設定画面編集、表示部128」は、情報処理装置(送信端末)100を利用してゲームの実行、配信を行っている配信ユーザ20が、情報処理装置(送信端末)100の表示部にゲーム画面以外のプライバシーデータを表示した際、表示されたプライバシーデータに代えて視聴ユーザ30の情報処理装置(受信端末)に配信して表示させるための代替配信画像データである「プライバシー設定画面」の編集を行う処理部である。
【0112】
例えば、配信ユーザ20が、ゲームの実行、配信中に、情報処理装置(送信端末)100を利用してクレジットカードの番号入力処理を行う場合がある。あるいは、カメラを起動して、カメラ撮影画像を表示する場合などがある。
これらのデータは、プライバシーデータであり、配信したくないデータである。
【0113】
このように、情報処理装置(送信端末)100の表示部にゲーム実行画面以外のデータが表示された場合、情報処理装置(送信端末)100のデータ処理部は配信データを、予め設定した「プライバシー設定画面」に切り替えて配信する。
この「プライバシー設定画面」の編集、表示を行うのが「(h)プライバシー設定画面編集、表示部128」である。
【0114】
例えば図9に示す「(h)プライバシー設定画面編集、表示部128」の領域に示す画面データが、「プライバシー設定画面」の一例である。
【0115】
図23を参照して、「プライバシー設定画面」の利用例について説明する。
図23には、以下の各図を示している。
(a)配信ユーザ側端末
(b)受信ユーザ側端末
いずれも時間推移(t1~t3)に伴う各ユーザ端末における表示画像の推移を示している。
【0116】
図23(a)配信ユーザ側端末の時間推移データに示すように、配信側ユーザは、時間(t1)で情報処理装置(送信端末)100を利用してゲームを実行、配信しているが、時間(t2)で情報処理装置(送信端末)100のカメラ機能による撮影画像を表示している。その後、時間(t3)で再度、情報処理装置(送信端末)100を利用してゲームを実行、配信している。
【0117】
図23(b)受信ユーザ側端末の時間推移データに示すように、受信側ユーザは、時間(t1)では、情報処理装置(送信端末)100から配信されるゲーム画面を受信して表示している。
時間(t2)では、情報処理装置(送信端末)100から配信される「プライバシー設定画面」を受信して表示する。
その後、時間(t3)では、情報処理装置(送信端末)100から配信されるゲーム画面を受信して表示する。
【0118】
このように、配信ユーザ側端末の表示部にカメラ撮影画像など、ゲーム画面以外のデータが表示された場合、情報処理装置(送信端末)100のデータ処理部は配信データを、予め設定した「プライバシー設定画面」に切り替えて配信する。
この処理により、カメラ撮影画像やクレジットカード番号、暗証番号などの様々なプライバシーデータが誤って配信され、漏洩してしまう事態を防止できる。
【0119】
図9に戻り、データ配信前事前設定メニュー(UI)の各構成部の説明を続ける。
「(i)マイク設定部129」と、「(j)ボリューム設定部130」は、配信ユーザ側端末である情報処理装置(送信端末)100から送信、または出力される音声データの調整を行う処理部である。
【0120】
「(i)マイク設定部129」、または「(j)ボリューム設定部130」を操作(タップ)することで音声調整用メニュー(UI)が表示される。
具体例を図24に示す。
【0121】
ユーザが「(i)マイク設定部129」、または「(j)ボリューム設定部130」を操作(タップ)することで例えば図24に示すような音声調整用メニュー(UI)が表示される。
図24に示す音声調整用メニュー(UI)には、
配信ユーザ20の声(voice(stream))
実行中のゲーム音(Game(stream))
メディアの出力音(Media(volume))
これらの各音量を調整するための操作部が設けられており、ユーザはこれらの操作部を操作して各音声の音量調整を行うことができる。
【0122】
図9に戻り、データ配信前事前設定メニュー(UI)の各構成部の説明を続ける。
「(k)拡張機能設定UI移行部131」は、図9に示す項目以外の拡張機能についての設定、調整を行う場合の拡張機能設定用UIを表示させるための操作部である。
【0123】
拡張機能設定用UIを利用して設定、調整する機能としては、例えば、
電力供給設定、
通知メッセージ等の表示/非表示設定、
自動輝度調整のON/OFF、
プライバシー表示画面の詳細設定、
例えばこれらの機能があり、「(k)拡張機能設定UI移行部131」を操作(タップ)することで、上記の拡張機能などを設定、調整するためのUIを表示することが
できる。
【0124】
[4.データ配信中設定メニュー(UI)の構成と、データ配信中設定メニュー(UI)を利用した配信データ設定処理の詳細について]
次に、データ配信中設定メニュー(UI)の構成と、データ配信中設定メニュー(UI)を利用した配信データ設定処理の詳細について説明する。
【0125】
先に図8を参照して説明したように、図8に示す(ステップS10)において、配信ユーザ20がゲームの実行、配信中にデータ配信中設定メニュー(UI)を表示させる処理を実行すると、図8の(ステップS11)に示すようなデータ配信中設定メニュー(UI)(ユーザインタフェース)103が表示される。
【0126】
このデータ配信中設定メニュー(UI)103は、配信ユーザ20がゲームの実行、配信中に、配信するゲーム画像の設定など、配信データに関する様々な設定を行うためのUIである。
【0127】
以下、データ配信中設定メニュー(UI)103の詳細構成と、データ配信中設定メニュー(UI)103を利用した配信データ設定処理の詳細について説明する。
【0128】
図25には、配信ユーザ20が利用する情報処理装置(送信端末)100に表示されるデータ配信中設定メニュー(UI)103の一例を示している。
【0129】
図25に示すように、データ配信中設定メニュー(UI)103には、ユーザ操作可能な以下の各処理部が表示される。
(a)音声調整部181
(b)プライバシー設定画面調整部182
(c)UI表示設定部183
(d)表示画像切り替え部184
【0130】
「(a)音声調整部181」は、配信ユーザ20がゲーム配信中に配信、または出力される音声データの調整を行う処理部である。
【0131】
「(a)音声調整部181」を操作(タップ)することで音声調整用メニュー(UI)が表示される。
具体例を図26に示す。
図26に示すUIは、先に図24を参照して説明した事前設定用のUIとほぼ同様の構成を有する。
【0132】
図26に示す音声調整用メニュー(UI)には、
配信ユーザ20の声(voice(stream))
実行中のゲーム音(Game(stream))
メディアの出力音(Media(volume))
これらの各音量を調整するための操作部が設けられており、ユーザはこれらの操作部を操作して各音声の音量調整を行うことができる。
【0133】
「(b)プライバシー設定画面調整部182」は、先に図23を参照して説明した「プライバシー設定画面」の設定や調整を行うための操作部である。
「(b)プライバシー設定画面調整部182」を操作(タップ)することで「プライバシー設定画面」の設定や調整を行うためのUI(プライバシー設定画面調整UI)が表示される。
【0134】
ユーザは、プライバシー設定画面調整UIを利用して例えば以下の処理を行うことができる。
「プライバシー設定画面」の利用/非利用の切り替え
「プライバシー設定画面」の配信処理の自動実行と、マニュアル実行との切り替え
【0135】
「(c)UI表示設定部183」は、ゲーム実行中にUIを表示させておくか、非表示とするかの切り替えを行うための操作部である。
【0136】
「(d)表示画像切り替え部184」は、配信ユーザ20がゲームを実行、配信中に、情報処理装置(送信端末)100の表示部に表示する画像を、情報処理装置(送信端末)100で実行中のゲーム画像とするか、あるいは視聴ユーザ30が情報処理装置(受信端末)200で視聴中のモニタリング画像(視聴画像)とするかの切り替え処理を行うための操作部である。
【0137】
図27を参照して「(d)表示画像切り替え部184」を利用した表示画像切り替え処理の具体例について説明する。
【0138】
図27には、以下の各図を示している。
(p)ゲーム実行画面表示例
(q)データ配信中設定メニュー(UI)表示例
(r)モニタリング画面(視聴画面)表示例
【0139】
「(p)ゲーム実行画面表示例」は、配信ユーザ20がゲームを実行、配信中に情報処理装置(送信端末)100の表示部に配信ユーザ20が実行中のゲーム画面を表示している例である。
【0140】
「(q)データ配信中設定メニュー(UI)表示例」は、「(p)ゲーム実行画面表示例」として示すゲーム実行画面に対して、配信ユーザ20が、データ配信中設定メニュー(UI)を表示させるための操作(例えば指をスライドさせるフリック処理など)を行うことによってデータ配信中設定メニュー(UI)を表示した例である。
【0141】
配信ユーザ20が、このデータ配信中設定メニュー(UI)に表示された「(d)表示画像切り替え部184」を操作(タップ)することで、情報処理装置(送信端末)100の表示部に、モニタリング画面(視聴画面)が表示される。
【0142】
「(r)モニタリング画面(視聴画面)表示例」は、視聴ユーザ30が情報処理装置(受信端末)200で視聴しているゲーム画面に相当する。
なお、このモニタリング画面(視聴画面)は、通信遅延等により、(p)ゲーム実行画面より、やや遅れた画像となる。
【0143】
配信ユーザ20の情報処理装置(送信端末)100は、例えば図2に示す管理サーバ50から、情報処理装置(送信端末)100の送信データ、すなわち配信画像等の配信データを再取得して、情報処理装置(送信端末)100の表示部に出力する。
【0144】
配信ユーザ20は、図27の[「(r)モニタリング画面(視聴画面)表示例」に示す左側のアイコンを操作(タップ)することで、図27に示す「(p)ゲーム実行画面表示例」の表示画面、すなわち、配信ユーザ20が実行中のゲーム画面に戻して表示することが可能となる。
【0145】
なお、上述したように、モニタリング画面(視聴画面)は、通信遅延等により、(p)ゲーム実行画面より、やや遅れた画像となり、ゲーム音声も遅延した音声となる。
従って、モニタリング画面(視聴画面)の表示中に配信ユーザ20が実行中のゲーム画面対応の音声を出力してしまうと、画像と音声にずれが発生し、違和感を抱くことになる。
【0146】
このような事態を防止するため、配信ユーザ20の情報処理装置(送信端末)100は、情報処理装置(送信端末)100のスピーカからの出力音についても、表示データ対応の音声を出力する出力音声切り替え処理を実行する。
【0147】
すなわち、図28に示すような音声切り替え処理を実行する。
(p)ゲーム実行画面表示例に相当するゲーム実行画面を表示している間は、ゲーム実行画面対応の音声を情報処理装置(送信端末)100のスピーカから出力する。
一方、(r)モニタリング画面(視聴画面)表示例に相当するモニタリング画面を表示している間は、モニタリング画面対応の音声を情報処理装置(送信端末)100のスピーカから出力する。
【0148】
[5.本開示の情報処理装置のその他の機能について]
次に、本開示の情報処理装置のその他の機能について説明する。
【0149】
以下では、配信ユーザ20が利用する情報処理装置(送信端末)100の以下の機能について、順次、説明する。
(1)ゲーム実行画面以外の画面に対するUI表示機能
(2)自装置出力用画像と、配信用画像とを異なる態様の画像として生成する機能
(3)情報処理装置(送信端末)100が2画面構成を持つ場合の処理機能
【0150】
(5-1.(1)ゲーム実行画面以外の画面に対するUI表示機能)
まず、ゲーム実行画面以外の画面に対するUI表示機能について説明する。
【0151】
先に説明したように、配信ユーザ20が利用する情報処理装置(送信端末)100は、図4を参照して説明したメインルニュー(UI)や、図5図9図24を参照して説明したデータ配信前事前設定メニュー(UI)102、さらに図8図25図28を参照して説明したデータ配信中設定メニュー(UI)103等、様々なメニュー(UI)を出力する。
これらのメニュー(UI)は、基本的にゲームアプリを起動した後、表示され、利用可能となる。
【0152】
しかし、配信ユーザ20は、ゲームを実行していない期間であっても、ゲームの設定や配信設定などの設定処理、変更処理などを行いたい場合がある。
例えば、チャットアプリを起動してゲーム仲間とのチャット中や、ライブストリミング処理などを実行中に、ゲームの設定や配信設定などの設定処理、変更処理などを行いたいといった場合がある。
本開示の情報処理装置(送信端末)100は、このような場合でも、配信ユーザ20がUIを表示して操作することを可能としている。
【0153】
図29に具体的なメニュー(UI)表示処理例を示す。
図29(1)はメニュー(UI)表示処理例を示している。
例えば、配信ユーザ20が、チャットアプリを起動してゲーム仲間とのチャット中や、ライブストリミング処理などを実行中に、図29(1)に示すように、情報処理装置100の画面上部から下部に向けて指をスライドさせるフリック処理を行う。
【0154】
この処理によって、図29(2)UI表示例に示すようなメニュー(UI)が表示される。メニュー(UI)上に表示されたアイコンを操作(タップ)することで、様々なゲーム設定、配信設定などを行うことができる。
【0155】
(5-2.(2)自装置出力用画像と、配信用画像とを異なる態様の画像として生成する機能)
次に、配信ユーザ20が利用する情報処理装置(送信端末)100の機能である「(2)自装置出力用画像と、配信用画像とを異なる態様の画像として生成する機能」について説明する。
【0156】
本開示の情報処理装置(送信端末)100は、自装置出力用画像、すなわち、情報処理装置(送信端末)100の表示部に出力する画像と、外部配信する画像を異なる仕様の2種類の画像を生成して、出力、配信することができる。
【0157】
図30を参照して、具体的処理例について説明する。
図30には、
(1)自装置(送信端末)表示用画像データ、
(2)配信用画像データ、
これら2つの画像データの設定例を示している。
【0158】
例えば、「(1)自装置(送信端末)表示用画像データ」は、
(a)アスペクト比=21:9
(b)解像度=4K(3840×1644画素)
(c)フレームレート=120bps
この仕様を有する画像である。
【0159】
一方、「(2)配信用画像データ」は、例えば、
(a)アスペクト比=16:9
(b)解像度=1920×1080画素)
(c)フレームレート=60bps
この仕様を有する画像である。
【0160】
なお、「(2)配信用画像データ」は、この他、様々な設定が可能である。
図に示すように、
(a)アスペクト比=16:9
(b)解像度=1920×1080画素)
(c)フレームレート=60bps
上記仕様の画像や、
【0161】
(a)アスペクト比=16:9
(b)解像度=1920×1080画素)
(c)フレームレート=60bps
上記仕様の画像などの設定が可能である。
【0162】
なお、配信画像の設定は、先に図9を参照して説明したデータ配信前事前設定メニュー(UI)102の「(c)解像度、フレームレート設定部」の操作によって設定可能であり、例えば、先に図11を参照して説明した様々な仕様(アスペクト比、解像度、フレームレート)の画像とすることができる。
【0163】
このように、本開示の情報処理装置(送信端末)100は、自装置出力用画像、すなわち、情報処理装置(送信端末)100の表示部に出力する画像と、外部配信かる画像を異なる仕様の2種類の画像を生成して、出力、配信することができる。
【0164】
(5-3.(3)情報処理装置(送信端末)100が2画面構成を持つ場合の処理機能)
次に、情報処理装置(送信端末)100が2画面構成を持つ場合の処理機能について説明する。
【0165】
図31に2画面構成の情報処理装置(送信端末)100の構成例を示す。例えば折り畳み型のスマホであり、上部と下部の2か所に個別の表示部を有している。
【0166】
配信ユーザ20が利用する情報処理装置(送信端末)100を、このような2画面構成のスマホとすることで、例えば図31に示すような表示処理を行うことができる。
図31には、以下の2つの画像表示例、すなわち、
(A)画像表示例a
(B)画像表示例b
これらの2つの画像表示例を示している。
【0167】
「(A)画像表示例a」は、上部の表示部に「(a1)ゲーム実行画面」を表示し、下部の表示部に「(a2)モニタリング画面」を表示している。
一方、「(B)画像表示例b」は、上部の表示部に「(b1)モニタリング画面」を表示し、下部の表示部に「(b2)ゲーム実行画面」を表示している。
【0168】
ゲーム実行画面、モニタリング画面は、先に図27を参照して説明した画面と同様の画面である。すなわち、ゲーム実行画面は、配信ユーザ20が実行中のゲーム画面である。モニタリング画面は、視聴ユーザ30が情報処理装置(受信端末)200で視聴しているゲーム画面に相当する。
【0169】
モニタリング画面は、例えば図2に示す管理サーバ50から、情報処理装置(送信端末)100が送信した配信データを再取得して表示される。
【0170】
図31に示すような2画面構成の情報処理装置(送信端末)100を有する配信ユーザ20は、図31に示すように、上部の表示部に「(a1)ゲーム実行画面」を表示し、下部の表示部に「(a2)モニタリング画面」を表示する「(A)画像表示例a」と、上部の表示部に「(b1)モニタリング画面」を表示し、下部の表示部に「(b2)ゲーム実行画面」を表示する「(B)画像表示例b」とを自在に切り替えて表示することができる。
【0171】
なお、この「(A)画像表示例a」と、「(B)画像表示例b」との切り替え処理は、例えば、図32に示すように、ユーザによるピンチ処理(上下の各画面に2本の指をタッチさせてつまむ、または広げる処理)や、ユーザによるスワイプ処理(画面に指をタッチしてスライドさせる処理)などを行うことで実行することが可能である。
【0172】
なお、前述したように、モニタリング画面(視聴画面)は、通信遅延等により、ゲーム実行画面より、やや遅れた画像となり、ゲーム音声も遅延した音声となる。
従って、モニタリング画面(視聴画面)の表示中に配信ユーザ20が実行中のゲーム画面対応の音声を出力してしまうと、画像と音声にずれが発生し、違和感を抱くことになる。
【0173】
このような事態を防止するため、配信ユーザ20は、スピーカからの出力音の切り替えを行うことができる。
すなわち、図33図34に示すような音声切り替え処理を実行する。
図33は、ゲーム実行画面対応の音声を情報処理装置(送信端末)100のスピーカから出力し、モニタリング画面対応の音声出力を停止した設定である。
一方、図34は、モニタリング画面対応の音声を情報処理装置(送信端末)100のスピーカから出力し、ゲーム実行画面対応の音声出力をと停止した設定である。
【0174】
なお、情報処理装置(送信端末)100のスピーカ出力切り替え制御は、例えば以下のような態様で実行される。
例えば各画面に対するユーザの操作(タップ)、あるいは図示していないが各画面に個別に表示されるスピーカアイコンに対する操作(タップ)などの操作を情報処理装置(送信端末)100が検出し、検出情報に従ってスピーカの出力音声切り替え処理を実行する。
【0175】
あるいは、例えば2画面中の一方の画面、例えば下側の画面に出力された画像に対応する音声をスピーカから出力する設定としてもよい。
例えば、図35に示すように、2画面構成の情報処理装置(送信端末)100の下側の画面に表示されている画像に対応する音を出力する。
図35の(C1)画像表示例c1は、2画面構成の情報処理装置(送信端末)100の下側の画面に表示されている画像がゲーム実行画面であるのでゲーム実行音を出力する。
一方、図35の(C2)画像表示例c2は、2画面構成の情報処理装置(送信端末)100の下側の画面に表示されている画像がモニタリング画面であるのモニタリング画面対応音を出力する。
【0176】
さらに、図35に示す設定とは逆の設定として、上側の画面に出力された画像に対応する音声をスピーカから出力する設定としてもよい。
例えば、図36に示すように、2画面構成の情報処理装置(送信端末)100の上側の画面に表示されている画像に対応する音を出力する。
図36の(D1)画像表示例d1は、2画面構成の情報処理装置(送信端末)100の上側の画面に表示されている画像がモニタリング画面であるのでモニタリング画面対応音を出力する。
一方、図36の(D2)画像表示例d2は、2画面構成の情報処理装置(送信端末)100の上側の画面に表示されている画像がゲーム実行画面であるのでゲーム実行音を出力する。
【0177】
さらに、図37を参照して2画面構成の情報処理装置(送信端末)100の別の利用例について説明する。
【0178】
図37の「(A)自端末表示画像」には、2画面構成の情報処理装置(送信端末)100の2画面全ての表示領域を利用して1つのゲームアプリのゲーム実行画面を表示した例を示している。
このゲームアプリは、例えば管理サーバ(ゲームアプリ配信サーバ)50が提供するアプリであり、アスペクト比=21:18の画像によって構成されるゲームアプリである。
【0179】
情報処理装置(送信端末)100は、アスペクト比=21:18の画像によって構成されるゲームアプリを管理サーバ(ゲームアプリ配信サーバ)50から受信して、情報処理装置(送信端末)100の2画面全ての表示領域に表示してゲームを実行する。
【0180】
さらに、情報処理装置(送信端末)100は、ライブ配信用のゲームアプリ画像として、例えばアスペクト比=21:9等の1画面スマホ表示用のゲームアプリも受信する。
【0181】
情報処理装置(送信端末)100は、これら2つのアプリ画像データを受信し、1つは自端末表示用として使用し、他方をライブ配信用として利用する。
なお、ライブ配信用画像の画像仕様(アスペクト比、解像度、フレームレート)については、例えば先に図11を参照して説明したような様々な仕様から選択可能である。
【0182】
ただし、図37を参照して説明した処理では、情報処理装置(送信端末)100は、管理サーバ(ゲームアプリ配信サーバ)50から、2つの異なるアスペクト比のアプリ画像データを受信することが必要となる。
このように2つの異なるアスペクト比のアプリ画像データを受信することなく、2画面対応のアスペクト比=21:18の画像によって構成される1つのゲームアプリのみを管理サーバ(ゲームアプリ配信サーバ)50から受信して、異なるアスペクト比の配信用画像を生成して配信する処理を行ってもよい。
【0183】
図38を参照して、この処理を行う際の具体的処理例について説明する。
図38の(A)自端末表示画像は、2画面構成の情報処理装置(送信端末)100の2画面全ての表示領域を利用して1つのゲームアプリのゲーム実行画面を表示した例を示している。
このゲームアプリは、例えば管理サーバ(ゲームアプリ配信サーバ)50が提供するアプリであり、アスペクト比=21:18の画像によって構成されるゲームアプリである。
【0184】
配信ユーザ20は、この2画面構成の情報処理装置(送信端末)100の2画面全ての表示領域に表示されたゲーム実行画面から任意の領域を選択する。例えば図に示す点線領域をクロップする。このクロップ処理によって、配信用の画像、例えば21:9のアスペクト比を有する配信用画像を切り取り、配信する。
【0185】
なお、クロップ処理のためのユーザ操作は、例えば、クロップ領域を大まかに規定する枠(図に示す点線枠)を指でトラックする処理、あるいは、配信したい画像領域の中心部をタップする処理などによって行われる。
情報処理装置は、これらのユーザ操作に応じて、予め設定された配信画像のアスペクト比に従った画像の切り取り処理(クロップ処理)を実行して配信画像を生成して配信する。
【0186】
[6.情報処理装置の音声出力制御処理について]
次に、情報処理装置の音声出力制御処理について説明する。
【0187】
図39を参照して、本開示の情報処理装置(送信端末)100が実行する音声出力制御の一例について説明する。
【0188】
図39に示す情報処理装置(送信端末)100の表示部には、配信ユーザ20が実行しているゲームのゲーム実行画面が表示されている。
【0189】
配信ユーザ20は、情報処理装置(送信端末)100で実行中のゲームのゲーム音声を、ヘッドセット201を介して聞いている。
ヘッドセット201はマイクとスピーカを備えている。
【0190】
ヘッドセット201は、情報処理装置(送信端末)100の例えば3.5mmオーディオジャック等のアナログ音声入出力部に接続されている。
情報処理装置(送信端末)100からは、ゲーム音のアナログ音声データがヘッドセット201に出力され、配信ユーザ20は、ヘッドセット201のスピーカを介してゲーム音を聞くことができる。
また、配信ユーザ20の音声、例えばゲーム実況音声は、ヘッドセット201のマイクから、情報処理装置(送信端末)100のアナログ音声入出力部を介して情報処理装置(送信端末)100に入力される。
【0191】
さらに、情報処理装置(送信端末)100のデジタルデータ出力部、例えばType-C USB出力部等のデジタルデータ出力部とPC203がキャプチャカード202を介して接続されている。キャプチャカード202の入力は例えばHDMI(登録商標)入力部である。
【0192】
すなわち、情報処理装置(送信端末)100のデジタルデータ出力部(キャプチャカード接続部)から、
(a)ゲーム画像
(b)ゲームの音声データ
(c)配信ユーザのゲーム実況音声
これらのデータが出力され、キャプチャカード202を介してPC203に入力される。
【0193】
PC203はこれらの入力データに基づいて、ゲーム配信処理の実行、あるいはゲーム画面、音声、実況音を含むデータの記録処理などを行うことができる。
【0194】
このように、本開示の情報処理装置(送信端末)100は、
例えば3.5mmオーディオジャック等のアナログ音声入出力部を介した音声入出力処理と、例えばType-C USB等のデジタルデータ出力部を介した音声データを含むデジタルデータ出力処理を並列に実行可能とした構成を有する。
【0195】
この構成により、配信ユーザ20は、ゲームアプリの音声を、ベッドセット201を介して聞きながら、ゲームの画像、音声、さらに配信ユーザ20の音声をPC203に出力して、PC203を介したゲームのライブ配信やゲーム記録処理などを行うことが可能となる。
【0196】
図40以下を参照して、このような音声出力の設定処理を実行する場合の操作例について説明する。
【0197】
まず、図40(ステップS11)に示すように、情報処理装置100の表示部にメインメニュー(UI)101を表示する。
【0198】
メインメニュー(UI)101は、先に図3図4を参照して説明したように、例えば、情報処理装置100の画面上部から下部に向けて指をスライドさせるフリック処理を行うことで表示される。
【0199】
次に、(ステップS12)において、メインメニュー101に表示された記録&ストリームアイコン(Rec&stream)を選択して操作(タップ)する。
【0200】
次に、図41の右下の(ステップS13)に示すように、、左上端部にある外部出力設定メニュー(UI)選択部220を操作(タップ)する。このアイコン選択処理により、外部出力設定メニュー(UI)104が表示される。
【0201】
図41に示すように、外部出力設定メニュー(UI)104には、
(a)画像入出力パス設定部221
(b)音声入出力パス設定部222
これらの2種類の設定部が表示される。
【0202】
ここでは、「(b)音声入出力パス設定部222」を利用した処理について説明する。
なお、配信ユーザ20が情報処理装置100の画面をスクロールすることで、「(b)音声入出力パス設定部222」に、様々な設定項目を順次、表示することができる。
「(b)音声入出力パス設定部222」を利用した音声入出力パスの設定処理の具体例について図42図43を参照して説明する。
【0203】
まず、配信ユーザ20が図41に示す「(b)音声入出力パス設定部222」の画面をスクロールすると、図42に示す設定項目が表示される。
図42に示す「(b)音声入出力パス設定部222」の画面には、以下の各設定部が表示されている。
(b1)外部デバイスへの音声出力設定部231
(b2)外部デバイスへのマイク出力設定部232
【0204】
「(b1)外部デバイスへの音声出力設定部(Output audio external device)231」は、例えば、図39を参照して説明したヘッドセット201やPC203等の外部デバイスへの音声出力を実行するか否かを選択するための設定部である。
選択肢としてDP、3.5mm、UAの3種類が選択可能な構成であり、図に示す例ではDPと3.5mmの2つが選択されている。
【0205】
DPとは、ディスプレイポートであり、図39に示す例ではキャプチャカード202に接続されるデジタル出力ポートである。
3.5mmは、3.5mmジャックであり、図39に示す例ではヘッドセット201に接続されるアナログ入出力部である。
UAは、USBオーディオ出力部である。
【0206】
図42の「(b1)外部デバイスへの音声出力設定部231」の設定状態は、DPと3.5mmの2つが選択された状態である。この設定とすることで、先に図39を参照して説明した2つの音声出力部を介した音声出力が可能となる。
すなわち、3.5mmオーディオジャック等のアナログ音声入出力部を介した音声入出力処理と、例えばType-C USB等のデジタルデータ出力部を介した音声データを含むデジタルデータ出力処理を並列に実行することが可能となる。
【0207】
「(b2)外部デバイスへのマイク出力設定部(Output mic external device)232」は、例えば図39を参照して説明したPC203等の外部デバイスに対してマイク音声を出力するか否かを設定する設定部であり、さらにマイクの入力(source)を選択することができる。
【0208】
マイク入力(source)の選択肢として3.5mmと、UAが選択可能であり、これら各々のマイク入力(source)について個別に出力するか否かを設定できる。
3.5mmは、3.5mmジャックであり、図39に示す例ではヘッドセット201に接続されるアナログ入出力部である。
UAは、USBオーディオ出力部である。
【0209】
図42に示す例では、3.5mmが選択された状態である。この設定とすることで、先に図39を参照して説明したように、情報処理装置100はヘッドセット201から入力するマイク音声をPC203等の外部装置に出力することが可能となる。
【0210】
図42に示す「(b)音声入出力パス設定部222」の画面を、さらにスクロールすることで、図43に示す設定画面が表示される。
【0211】
図43に示す「(b)音声入出力パス設定部222」の画面上には、図39に示すPC203等の外部装置に対してする出力する各音声の音量バランスを調整するボリューム設定部が表示されている。具体的には、以下の設定部である。
(b3)外部デバイスへのマイク出力ボリューム設定部233
(b4)メディア出力ボリューム設定部234
(b5)受話音声ボリューム設定部235
【0212】
例えば、図39を参照して説明した構成において情報処理装置100からPC203に出力される音声は、複数の音声がミックスされた音声となる。従って、どれか1つの音声ボリュームが大きすぎると他の音声が聞き取れなくなるといった問題が発生する。
【0213】
このような問題を解決するため、各音声(各音源)の音量(ボリューム)を調整可能として、各音声の音量バランスを調整する。図43に示すUIは、このような各音声(各音源)の音量調整処理のためのUIであり、各音源の出力音量を個別に調整することができる。
【0214】
なお、本開示の情報処理装置100における出力音声設定処理は、ゲームアプリの起動画面から立ち上げるUIを利用して実行するのみならず、ゲームアプリを起動していない状態でも行うことができる。
【0215】
具体的には、例えば、図44図45に示すような処理を行うことで、外部装置に対する出力音声の設定用UIを表示して設定することができる。
【0216】
具体的処理シーケンスは、例えば以下の通りである。
(ステップS51)設定(Setting)メニューから、デバイス接続(Device Connection)を選択
(ステップS52)デバイス接続(Device Connection)メニューから、接続設定(Connection Preference)を選択
(ステップS53)接続設定(Connection Preference)メニューから、音声(Audio)を選択
(ステップS54)音声(Audio)メニューにおいて、各音声の設定を実行
【0217】
図45の(ステップS54)に示す音声(Audio)メニューは、先に図42図43を参照して説明したキャプトャカード対応メニュー104と同様の音声設定が可能なUIである。
【0218】
このように、本開示の情報処理装置100における出力音声設定処理は、ゲームアプリの起動画面から立ち上げるUIを利用して実行するのみならず、ゲームアプリを起動していない状態でも出力音声設定処理を行うことができる。
【0219】
本開示の情報処理装置100は、上述したように、音源各々についての出力音量(ボリューム)を調整してPC等の外部装置に出力することができる。
この出力音声制御処理を適用した具体的な処理例について、図46以下を参照して説明する。
【0220】
図46には、情報処理装置100の他、先に図39を参照して説明した外部装置としてのヘッドセット201と、PC203を示している。
【0221】
図46に示す構成において、配信ユーザ20は、PC203でゲームアプリを実行し、さらに、スマホ等の情報処理装置100を利用して通話アプリを利用した通話(テレビ電話)を実行している。
【0222】
PC203から情報処理装置100に対してゲーム音が入力される。さらに、情報処理装置100を利用して通話アプリを実行中の配信ユーザ20の発話音声がヘッドセット201のマイクから情報処理装置100に入力される。
【0223】
この状態で、情報処理装置100は、以下の2つの異なる音声、すなわち、
(a)PC203からの入力音(ゲーム音)、
(b)情報処理装置100で実行中の通話アプリが受信する通話相手の音声である通話アプリの受話音声、
これらの2つの異なる音声データを、配信ユーザ20が装着しているヘッドセット201に出力する。
【0224】
このような処理を行う場合に、先に図43等を参照して説明した外部出力設定メニュー(UI)を利用して各音源の出力音量(ボリューム)調整を行うことで、最適なバランスの音声データを情報処理装置100からヘッドセット201に出力することが可能となる。
【0225】
図46の右上部に示す「情報処理装置出力音声調整処理」は、この出力音声調整処理の一例を示している。
図に示す「(a)情報処理装置入力」は、2つの音源の音量を高さとして示している。上側がPC203から入力するゲーム音の音量に相当する。下側が通話アプリの受話音声の音量に相当する。
【0226】
情報処理装置100において、先に図43等を参照して説明した外部出力設定メニュー(UI)を利用して各音源の出力音量(ボリューム)調整を行うことで、図に示す「(b)情報出力装置出力」のように、最適なバランスの音声データを生成することができ、このデータを情報処理装置100からヘッドセット201に出力することが可能となる。
【0227】
さらに、情報処理装置100は、図47に示すように、PC203に対して出力する音声データの制御を行うことも可能である。
【0228】
図47の左下部に示す「(2)情報処理装置出力音声調整処理」は、この出力音声調整処理の一例を示している。
情報処理装置100からPC203に対して出力される音声データは、
(1)ゲーム音
(2)通話アプリの受話音声、
(3)マイク入力音声
これらの3種類の音声データによって構成される。
【0229】
図47の左下部に示す「(2)情報処理装置出力音声調整処理」内の「(a)情報処理装置入力」は、上記3つの音源の音量を高さとして示している。最上部がゲーム音、中段が通話アプリの受話音声、最下部がマイク入力音声の音量に相当する。
【0230】
情報処理装置100において、先に図43等を参照して説明した外部出力設定メニュー(UI)を利用して各音源の出力音量(ボリューム)調整を行うことで、図47の左下部に示す「(2)情報処理装置出力音声調整処理」内の「(b)情報出力装置出力」に示すように、最適なバランスの音声データを生成することができ、このデータを情報処理装置100からPC203へ出力し、PC203のスピーカから出力、あるいはPC203の記憶部に記録することが可能となる。
【0231】
さらに、本開示の情報処理装置100において実行される出力音声制御処理を適用した別の具体的な処理例について、図48以下を参照して説明する。
図48は、2つの遠隔地であるライブ会場310と、自宅330で音楽セッションを行う例である。
【0232】
ライブ会場310ではギター1、ギター2が演奏される。一方、自宅330には、ギター演奏に併せて歌うユーザ331がいる。
ライブ会場310には情報処理装置a,311、自宅330には情報処理装置b,312が置かれている。これらの情報処理装置は、先に説明した情報処理装置(送信端末)100と同様の音声制御処理が可能である。すなわち、図40図45を参照して説明したUIを用いた音声制御処理が可能な装置である。
【0233】
ライブ会場310の情報処理装置a,311と、自宅330の情報処理装置b,312は、それぞれ音楽セッションサービスサーバ320が提供する音楽セッションアプリを実行しており、音楽セッションサービスサーバ320を介して相互に通信可能な状態に設定されている。
【0234】
ライブ会場310のギター1のギター音1と、ギター2のギター音2は、情報処理装置a,311に入力され、情報処理装置a,311から音楽セッションサービスサーバ320を介して自宅330の情報処理装置b,312に送信される。
このギター音は、情報処理装置b,312から歌を歌っているユーザ331が装着したヘッドセットに出力され、ユーザ331は、ヘッドセットからギター音を聞きながら歌うことができる。
【0235】
また、ユーザ321の歌であるボーカル音V1は、ヘッドセットのマイクから情報処理装置b,312に入力され、情報処理装置b,312から音楽セッションサービスサーバ320を介して、ライブ会場310の情報処理装置a,311に送信される。
情報処理装置a,311は、音楽セッションサービスサーバ320から受信したボーカル音V1をギター演奏者の近くのスピーカを介して出力する。
この処理により、ギター演奏者は、ユーザ331のボーカル音V1に併せて演奏を行うことができる。
【0236】
このような音楽セッションにおいて、例えば、自宅330の情報処理装置b,312は、ライブ会場310のギター1のギター音1と、ギター2のギター音2を、音楽セッションサービスサーバ320を介して入力し、入力したギター音をユーザ331が装着したヘッドセットに出力する。
【0237】
情報処理装置b,312は、このギター音の出力音声調整処理を実行する。
図48の右上に示す「情報処理装置出力音声調整処理」は、この出力音声調整処理の一例を示している。
図に示す「(a)情報処理装置入力」は、2つの音源の音量を高さとして示している。上側がギター1の音声であるギター1音G1の音量に相当する。下側がギター2の音声であるギター2音G2の音量に相当する。
【0238】
情報処理装置b,312において、先に図43等を参照して説明した外部出力設定メニュー(UI)を利用して各音源の出力音量(ボリューム)調整を行うことで、図48の右上に示す「情報処理装置出力音声調整処理」内の「(b)情報出力装置出力」のように、最適なバランスの音声データを生成することができ、このデータを情報処理装置b,312からユーザ331が装着したヘッドセットに出力することが可能となる。
【0239】
さらに、情報処理装置b,312は、図49に示すように、情報処理装置b,312において、ボーカル音V1と、ギター1の音声であるギター1音G1と、ギター2の音声であるギター2音G2との3つの音声データの音量調整処理を実行し、実行した結果として生成した出力音声データを例えば音楽セッションサービスサーバ320に送信することができる。音楽セッションサービスサーバ320は、受信した音楽セッションデータを多数の端末に配信する処理や、あるいは記憶部に記録するといった処理を行うことが可能となる。
【0240】
図49に示す「(2)情報処理装置出力音声調整処理」は、上記処理に際して、情報処理装置b,312が実行する出力音声調整処理の一例である。
情報処理装置b,312から音楽セッションサービスサーバ320に対して出力される音声データは、
(1)ギター1の音声であるギター1音G1
(2)ギター2の音声であるギター2音G2
(3)ボーカル音V1
これらの3種類の音声データによって構成される。
【0241】
図49に示す「(2)情報処理装置出力音声調整処理」内の「(a)情報処理装置入力」は、上記3つの音源の音量を高さとして示している。最上部がギター1音G1、中段がギター2音G2、最下部がボーカル音V1の音量に相当する。
【0242】
情報処理装置b,312において、先に図43等を参照して説明した外部出力設定メニュー(UI)を利用して各音源の出力音量(ボリューム)調整を行うことで、図49に示す「(2)情報処理装置出力音声調整処理」内の「(b)情報出力装置出力」に示すように、最適なバランスの音声データを生成することができる。
情報処理装置b,312は、このデータを音楽セッションサービスサーバ320に送信する。
【0243】
音楽セッションサービスサーバ320は、情報処理装置b,312から受信した音楽セッションデータを多数の端末に配信する処理や、あるいは記憶部に記録するといった処理を行うことが可能となる。
【0244】
[7.情報処理装置の構成例について]
次に情報処理装置の構成例について説明する。
【0245】
図50は、本開示の情報処理装置400、すなわちスマホ等のユーザ端末である情報処理装置の機能構成を示すブロック図である。
なお、図50に示す情報処理装置400は、先に図1他を参照して説明した情報処理装置(送信端末)100や、情報処理装置(受信端末)200、さらに図48等を参照して説明した情報処理装置a,311や、情報処理装置b,312に相当する。
【0246】
図50に示すように、情報処理装置400は、操作部401、記憶部402、撮像部403、センサ部404、表示部405、マイク406、スピーカ407、通信部408、外部装置接続部1~n,409-1~n、および制御部410を備える。
【0247】
操作部401は、アプリケーションに対する機器操作など、ユーザによる各種の操作を検知する。
上記の機器操作には、例えばタッチ操作や情報処理装置100に対する外部装置の接続処理などが含まれる。
ここでタッチ操作とは、表示部405に対する種々の接触動作、例えばタップ、ダブルタップ、スワイプ、ピンチなどをいう。
また、タッチ操作には、表示部405に対し、例えば指などの物体を近づける動作を含む。
このために、操作部401は、例えば、タッチパネル、ボタン、キーボード、マウス、近接センサなどを備える。また、操作部401は、検知したユーザの操作に係る情報を制御部410に入力する。
【0248】
記憶部402は、各種プログラムやデータを一時的または恒常的に記憶するための記憶領域である。
例えば、記憶部402には、情報処理装置100が各種機能を実行するためのプログラムやデータが記憶される。具体的な一例として、記憶部402には、各種アプリケーションを実行するためのプログラムや、各種設定等を管理するための管理データ等が記憶される。
【0249】
例えば、先に説明したデータ配信前事前設定メニュー(UI)102や、データ配信中設定メニュー(UI)103、外部出力設定メニュー(UI)104等、様々なメニュー(UI)に対してユーザが設定したが設定情報が記録される。
ただし、上記はあくまで一例であり、記憶部402に記憶されるデータの種別は特に限定されない。
【0250】
撮像部403は、制御部410による制御に基づいて、例えば、情報処理装置100を操作するユーザの顔などを撮影する。
撮像部403は、撮像素子を備える。情報処理装置100の一例であるスマートフォンは、表示部405側にユーザの顔などを撮影するためのフロントカメラを、表示部405の背面側に風景などを撮影するためのメインカメラを備え、本実施の形態では、一例としてフロントカメラでの撮影を制御する。
【0251】
センサ部404は、ユーザの行動に係るセンサ情報を、各種センサを用いて収集する機能を有する。センサ部404は、例えば加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、GNSS(Global Navigation Satellite System)信号受信装置などを備える。
【0252】
センサ部404は、例えば、ユーザが情報処理装置100を横向きに構えたことをジャイロセンサによって検知し、検知した情報を制御部410に入力する。
【0253】
表示部405は、制御部410による制御に基づいて各種の視覚情報を表示する。表示部405は、例えば、アプリケーションに係る画像や文字などを表示してよい。
表示部405は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)ディスプレイ装置など、各種のディスプレイ装置を備え得る。
【0254】
また、表示部405には、制御部410の制御の下、表示アプリケーションの画面よりも上位のレイヤに、様々なメニュ(UI)を重畳表示する。
【0255】
マイク406は、制御部410による制御に基づいてユーザが発する音声などを収集するマイクロホンなどを備える。
スピーカ407は、各種の音声を出力する。例えば、制御部410による制御に基づいてアプリケーションの状況に応じた音声や音を出力する。
【0256】
通信部408は、例えばWi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
例えばゲーム等、様々なデータを外部に配信する処理等を実行する。
【0257】
外部装置接続部-1~n,409-1~nは、先に図39等を参照して説明したヘッドセット201や、PC203、キャプチャカード202等との接続に利用する接続部であり、具体的には、例えば3.5mmオーディオジャック等のアナログ音声入出力部や、Type-C USB出力部等のデジタルデータ出力部等が含まれる。
【0258】
制御部410は、例えば表示部405に出力する表示データの制御や、通信部408を介して送信する送信データの制御を行う。
また、制御部410は、操作部401に対するユーザ操作に基づいて、様々なメニュー(UI)を表示部405に表示する処理や、表示したメニュー(UI)に対するユーザ操作に応じた配信データの設定を記憶部402に記録する処理を実行する。
【0259】
制御部410は、さらに、通信部408を介したデータ配信を行う際、記憶部402に記録された設定情報に従って配信データ(画像、音声)の仕様を決定し、配信する。
【0260】
なお、制御部410の制御によって表示部405に表示されるメニューは、例えば、先に説明したデータ配信前事前設定メニュー(UI)102や、データ配信中設定メニュー(UI)103、外部出力設定メニュー(UI)104等のメニューである。
制御部410は、これら様々なメニュー(UI)に対してユーザが設定したが設定情報を記憶部402に記録する。
通信部408を介したデータ配信を行う際には、記憶部402に記録された設定情報に従って配信データ(画像、音声)の仕様を決定し、配信する。
【0261】
制御部110が制御する具体的な処理としては、例えば、以下の処理(a)~(d)などがある。
(a)表示部405に出力する表示画像と、送信画像を異なる2種類の画像として生成する。例えばアスペクト比、または解像度、またはフレームレートの少なくともいずれかが異なる2種類の画像を生成し、生成した2種類の画像の一方を表示部405に表示し、他方を通信部408を介して送信する。
【0262】
(b)情報処理装置100が横向きの場合は、ユーザ操作に応じて決定された横型レイアウトを有する送信画像を生成して送信し、情報処理装置100が縦向きの場合は、ユーザ操作に応じて決定された縦型レイアウトを有する送信画像を生成して送信する。
【0263】
(c)表示部105に表示した音声調整用メニューに対するユーザ操作に応じて決定された音源単位の音量に応じて、各音源の音量を調整した音声データを生成して送信する。なお、データ配信中設定メニューに対するユーザ操作に応じて、設定が変更された場合には、新たな設定に応じて各音源の音量を変更して送信する。
【0264】
(d)表示部105に対する表示データを、ユーザ操作に応じて予め設定した仕様の表示画像から、通信部408を介して送信した送信画像に切り替える画像表示制御を実行する。
【0265】
ここまで情報処理装置400の機能構成例を述べたが、図50を用いて説明した上記の機能構成はあくまで一例であり、本実施の形態に係る情報処理装置100の機能構成は係る例に限定されない。
例えば、情報処理装置400は、必ずしも図50に示す構成のすべてを備えなくてもよいし、一部構成を情報処理装置400とは異なる別の装置に備えることも可能である。
本実施の形態に係る情報処理装置400の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【0266】
また、各構成要素の機能を、CPU(Central Processing Unit)などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したROM(Read Only Memory)やRAM(Random Access Memory)などの8記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより行ってもよい。
従って、本実施の形態を実施する時々の技術レベルに応じて、適宜利用する構成を変更することが可能である。
【0267】
[8.情報処理装置やサーバのハードウェア構成例について]
次に、図51を参照して情報処理装置や管理サーバとして利用可能な装置のハードウェア構成例について説明する。
【0268】
なお、図51に示す情報処理装置のハードウェアは、先に図1他を参照して説明した情報処理装置(送信端末)100や、情報処理装置(受信端末)200、さらに図48等を参照して説明した情報処理装置a,311や、情報処理装置b,312のハードウェアに相当する。また、図1他を参照して説明した管理サーバ50や、図48等を参照して説明した音楽セッションサービスサーバ320のハードウェアに相当する。
以下、図51に示す情報処理装置のハードウェアを構成する各構成部について説明する。
【0269】
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
【0270】
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部506、表示部やスピーカなどに対するデータ出力を実行する出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
【0271】
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0272】
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
【0273】
[9.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0274】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記制御部は、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する情報処理装置。
【0275】
(2) 前記制御部は、
アスペクト比、または解像度、またはフレームレートの少なくともいずれかが異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する(1)に記載の情報処理装置。
【0276】
(3) 前記表示部は、2画面型の表示部を有する構成であり、
前記制御部は、
前記表示画像として、前記2画面型の表示部全領域に表示可能なアスペクト比を有する画像を生成し、
前記送信画像として、1画面型の表示部に表示可能なアスペクト比を有する画像を生成する(2)に記載の情報処理装置。
【0277】
(4) 前記制御部は、
前記送信データの設定をデータ送信前に実行するためのデータ配信前事前設定メニューを前記表示部に表示し、
前記データ配信前事前設定メニューに対するユーザ操作に応じた設定情報を記憶部に格納し、
データ送信実行時に前記記憶部に格納した設定情報に従った送信データを生成して送信する(1)~(3)いずれかに記載の情報処理装置。
【0278】
(5) 前記データ配信前事前設定メニューは、
前記送信画像を編集するための配信画像編集部を有し、
前記制御部は、
前記配信画像編集部に対するユーザ操作に応じて決定されたレイアウトを有する送信画像を生成して送信する(4)に記載の情報処理装置。
【0279】
(6) 前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記情報処理装置を横向きとした場合の横型レイアウトと、
前記情報処理装置を横向きとした場合の縦型レイアウトの2種類の異なるレイアウトを編集可能とした構成であり、
前記制御部は、
前記配信画像編集部に対するユーザ操作に応じて決定された横型レイアウトと、縦型レイアウトの2種類のレイアウトを持つ送信画像を生成して送信する(5)に記載の情報処理装置。
【0280】
(7) 前記制御部は、
前記情報処理装置が横向きの場合は、ユーザ操作に応じて決定された横型レイアウトを有する送信画像を生成して送信し、
前記情報処理装置が縦向きの場合は、ユーザ操作に応じて決定された縦型レイアウトを有する送信画像を生成して送信する(6)に記載の情報処理装置。
【0281】
(8) 前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記送信画像を構成する複数の領域単位の編集処理を可能とした構成を有する(5)~(7)いずれかに記載の情報処理装置。
【0282】
(9) 前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記送信画像を構成するテキスト領域と、画像領域と、背景領域各領域単位の編集処理を可能とした構成を有する(5)~(8)いずれかに記載の情報処理装置。
【0283】
(10) 前記データ配信前事前設定メニューに含まれる前記配信画像編集部は、
前記送信画像に含まれるタイトルの指定、編集を可能とした構成である(5)~(9)いずれかに記載の情報処理装置。
【0284】
(11) 前記データ配信前事前設定メニューは、
前記送信画像を構成するサムネイルを編集するためのサムネイル編集部を有し、
前記制御部は、
前記サムネイル編集部に対するユーザ操作に応じて決定されたレイアウトを有するサムネイルを生成して送信する(4)~(10)いずれかに記載の情報処理装置。
【0285】
(12) 前記データ配信前事前設定メニューに含まれる前記サムネイル編集部は、
前記サムネイルを構成するテキスト領域と、画像領域と、背景領域各領域単位の編集処理を可能とした構成を有する(11)に記載の情報処理装置。
【0286】
(13) 前記データ配信前事前設定メニューは、
前記送信データを構成する音声データを調整するための音声調整用メニューを有し、
前記音声調整用メニューは、
前記送信データに含まれる音声データを構成する音源単位の音量を調整可能とした構成である(4)~(12)いずれかに記載の情報処理装置。
【0287】
(14) 前記制御部は、
前記音声調整用メニューに対するユーザ操作に応じて決定された音源単位の音量に応じて、各音源の音量を調整した音声データを生成して送信する(13)に記載の情報処理装置。
【0288】
(15) 前記制御部は、
前記表示部に対する表示データを、ユーザ操作に応じて前記表示画像から、前記通信部を介して送信した送信画像に切り替える画像表示制御を実行する(1)~(14)いずれかに記載の情報処理装置。
【0289】
(16) 前記制御部は、
前記送信画像を、前記通信部を介して受信して前記表示部に表示する(15)に記載の情報処理装置。
【0290】
(17) 前記制御部は、
前記送信データの設定をデータ送信中に実行するためのデータ配信中設定メニューを前記表示部に表示し、
前記データ配信中設定メニューに対するユーザ操作に応じた設定情報を記憶部に格納し、
前記記憶部に格納された設定情報に従って送信データの設定を変更して送信する(1)~(16)いずれかに記載の情報処理装置。
【0291】
(18) 前記データ配信中設定メニューは、
前記送信データを構成する音声データを調整するための音声調整用メニューを有し、
前記音声調整用メニューは、
前記送信データに含まれる音声データを構成する音源単位の音量を調整可能とした構成であり、
前記制御部は、
前記音声調整用メニューに対するユーザ操作に応じて変更された音源単位の音量に応じて、各音源の音量を変更した音声データを生成して送信する(17)に記載の情報処理装置。
【0292】
(19) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記制御部が、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する情報処理方法。
【0293】
(20) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有し、
前記プログラムは、前記制御部に、
前記表示データを構成する表示画像の仕様と、前記送信データを構成する送信画像の仕様が異なる2種類の画像を生成し、生成した2種類の画像の一方を前記表示部に表示し、他方を前記通信部を介して送信する処理を実行させるプログラム。
【0294】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0295】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0296】
以上、説明したように、本開示の一実施例の構成によれば、情報処理装置における表示データと送信データ各々を制御し、送信データについてはユーザが生成した事前設定情報に従って生成して送信する装置、方法が実現される。
具体的には、例えば、表示部に出力する表示データの制御、および通信部を介して送信する送信データの制御を行う制御部を有する。制御部は表示データを構成する表示画像の仕様と、送信データを構成する送信画像の仕様が異なる2種類の画像を生成する。例えば送信データのアスペクト比や、解像度、フレームレートを事前に設定し、設定に従った送信データを生成して通信部を介して送信する。
【0297】
これらの処理により、情報処理装置における表示データと送信データ各々を制御し、送信データについてはユーザが生成した事前設定情報に従って生成して送信する装置、方法が実現される。
【符号の説明】
【0298】
10 情報処理システム
50 管理サーバ
100 情報処理装置(送信端末)
101 メインメニュー
102 データ配信前事前設定メニュー(UI)
103 データ配信中設定メニュー(UI)
104 外部出力設定メニュー(UI)
120 配信事前設定メニュー(UI)選択部
121 タイトル編集部
122 表示情報編集部
123 解像度、フレームレート設定部
124 視聴許可対象設定部
125 ストリーム遅延設定部
126 サムネイル編集、表示部
127 配信画像編集、表示部
128 プライバシー設定画面編集、表示部
129 マイク設定部
130 ボリューム設定部
131 拡張機能設定UI移行部
181 音声調整部
182 プライバシー設定画面調整部
183 UI表示設定部
184 表示画像切り替え部
200 情報処理装置(受信端末)
201 ヘッドセット
202 キャプチャカード
203 PC
222 音声入出力パス設定部
311,312, 情報処理装置
400 情報処理装置
401 操作部
402 記憶部
403 撮像部
404 センサ部
405 表示部
406 マイク
407 スピーカ
408 通信部
409 外部装置接続部
410 制御部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45
図46
図47
図48
図49
図50
図51