7853366 情報処理システム、情報処理装置、配信方法、および、配信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2026-04-20

(45)【発行日】2026-04-28

(54)【発明の名称】情報処理システム、情報処理装置、配信方法、および、配信プログラム

(51)【国際特許分類】

   G09G 5/377 20060101AFI20260421BHJP

   A63F 13/86 20140101ALI20260421BHJP

   G09G 5/00 20060101ALI20260421BHJP

   G09G 5/37 20060101ALI20260421BHJP

   H04N 21/431 20110101ALI20260421BHJP

   H04N 7/18 20060101ALI20260421BHJP

   H04L 67/131 20220101ALI20260421BHJP

【ＦＩ】

G09G5/377 100

A63F13/86

G09G5/00 550C

G09G5/00 555D

G09G5/37 320

G09G5/00 555A

G09G5/37 200

G09G5/377 110

H04N21/431

H04N7/18 U

H04L67/131

【請求項の数】 11

(21)【出願番号】P 2024108751

(22)【出願日】2024-07-05

(65)【公開番号】P2025162493

(43)【公開日】2025-10-27

【審査請求日】2025-10-15

【早期審査対象出願】

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】藤田 晃史

【審査官】佐藤 嘉純

(56)【参考文献】

【文献】特開２０２３－１５６１１２（ＪＰ，Ａ）

【文献】特開２０１７－０３３２５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／００１４８１９（ＵＳ，Ａ１）

【文献】特開２０１８－１５６２１０（ＪＰ，Ａ）

【文献】特開２０１７－０９８９２１（ＪＰ，Ａ）

【文献】特開２０１７－２０４７６７（ＪＰ，Ａ）

【文献】特表２０１４－５０５４２５（ＪＰ，Ａ）

【文献】特開２０１８－０９３４１２（ＪＰ，Ａ）

【文献】特表２０１９－５１７２１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００１４３９２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１４８４５１５８（ＣＮ，Ａ）

【文献】特開２０１０－２１２９９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／３７７

Ａ６３Ｆ １３／８６

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７

Ｈ０４Ｎ ２１／４３１

Ｈ０４Ｎ ７／１８

Ｈ０４Ｌ ６７／１３１

(57)【特許請求の範囲】

【請求項1】

情報処理システムであって、
配信端末および受信端末を備え、
前記配信端末は、前記配信端末で実行中のゲームの画像データを含む第１データと、前記配信端末が取得するカメラで撮像された撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとをそれぞれ配信し、
前記受信端末は、前記配信端末から前記第１データおよび前記第２データを受信し、前記領域データに基づいて、前記撮像画像データのうちの前記人物の領域が前記配信端末で実行中のゲームの画像に重畳して表示される配信表示画像を生成する、情報処理システム。

【請求項2】

前記第２データにおいて、前記撮像画像データは第１圧縮方法によりデータ圧縮され、前記領域データは第１圧縮方法とは異なる第２圧縮方法によりデータ圧縮される、請求項１に記載の情報処理システム。

【請求項3】

前記第２圧縮方法は、前記第１圧縮方法に比較して、データの損失が少ない、請求項２に記載の情報処理システム。

【請求項4】

前記第１圧縮方法は、非可逆圧縮であり、
前記第２圧縮方法は、可逆圧縮である、請求項２に記載の情報処理システム。

【請求項5】

前記第２データは、Ｈ．２６４規格に従うストリームデータであり、
前記第２データは、前記撮像画像データを含む画像ストリームデータと、前記領域データを含む非画像ストリームデータとを含む、請求項１に記載の情報処理システム。

【請求項6】

前記画像ストリームデータの各々は、画像データが含まれることを示す制御情報と、１フレーム分の前記撮像画像データとを含むＮＡＬユニットであり、
前記非画像ストリームデータの各々は、非画像データが含まれることを示す制御情報と、１フレーム分の前記領域データとを含むＮＡＬユニットである、請求項５に記載の情報処理システム。

【請求項7】

前記受信端末は、前記第１データに含まれる前記領域データに基づいて、前記第１データに含まれる前記撮像画像データのうち前記人物の領域以外の領域を、重畳先の前記実行中のゲームの画像が優先して表示されるように設定する、請求項１～６のいずれか１項に記載の情報処理システム。

【請求項8】

前記領域データは、前記撮像画像データに含まれる人物の輪郭に基づいて生成される、請求項１～６のいずれか１項に記載の情報処理システム。

【請求項9】

１または複数の配信端末とネットワーク接続された情報処理装置であって、
前記配信端末は、前記配信端末で実行中のゲームの画像データを含む第１データと、前記配信端末が取得するカメラで撮像された撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとをそれぞれ配信し、
前記情報処理装置は、
前記配信端末から前記第１データおよび前記第２データを受信する受信部と、
前記領域データに基づいて、前記撮像画像データのうちの前記人物の領域が前記配信端末で実行中のゲームの画像に重畳して表示される配信表示画像を生成する生成部とを備える、情報処理装置。

【請求項10】

配信端末が、前記配信端末で実行中のゲームの画像データを含む第１データと、前記配信端末が取得するカメラで撮像された撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとをそれぞれ配信するステップと、
受信端末が、前記配信端末から前記第１データおよび前記第２データを受信するステップと、
前記受信端末が、前記第１データおよび前記第２データを受信し、前記領域データに基づいて、前記撮像画像データのうちの前記人物の領域が前記配信端末で実行中のゲームの画像に重畳して表示される配信表示画像を生成するステップとを備える、配信方法。

【請求項11】

配信プログラムであって、ネットワーク接続されたコンピュータに、
前記コンピュータで実行中のゲームの画像データを含む第１データと、前記コンピュータが取得するカメラで撮像された撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとをそれぞれ配信するステップと、
他のコンピュータから、前記他のコンピュータで実行中のゲームの画像データを含む第３データと、前記他のコンピュータが取得するカメラで撮像された撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第４データとをそれぞれ受信し、前記第３データに含まれる領域データに基づいて、前記第４データに含まれる撮像画像データのうちの前記人物の領域が前記他のコンピュータで実行中のゲームの画像に重畳して表示される配信表示画像を生成するステップとを実行させる、配信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理装置、配信方法、および、配信プログラムに関する。

【背景技術】

【0002】

カメラを備えたゲームシステムが公知である（例えば、特開２０１６－１２６０４２号公報（特許文献１））。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１２６０４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、カメラから取得される人物の画像を配信先においてフレキシブルに利用できる仕組みを提供する。

【課題を解決するための手段】

【0005】

（構成１）ある実施の形態に従う情報処理システムは、実行中のゲームの画像データを含む第１データと、カメラから取得される撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとを配信する配信端末と、配信端末から受信される第１データおよび第２データに基づいて、配信端末から第１データおよび第２データを受信し、領域データに基づいて、撮像画像データのうちの人物の領域が配信端末で実行中のゲームの画像に重畳して表示される配信表示画像を生成する受信端末とを含む。

【0006】

構成１によれば、例えば、受信端末において、配信端末で実行中のゲームの画像に、配信端末のカメラが撮像した画像のうちの人物の画像を重畳して表示することで、受信端末を利用するユーザは、画像を配信しているゲームのプレイヤを容易に認識できる。画像データを含む第１データ、ならびに、撮像画像データおよび領域データを含む第２データがそれぞれ独立して配信されるので、受信端末においては、画像データに基づくゲームの画像の生成処理、ならびに、撮像画像データおよび領域データに基づく人物の画像の生成処理などの取扱いを簡素化できる。

【0007】

（構成２）構成１において、第２データにおいて、撮像画像データは第１圧縮方法によりデータ圧縮され、領域データは第１圧縮方法とは異なる第２圧縮方法によりデータ圧縮されてもよい。構成２によれば、撮像画像データおよび領域データのそれぞれに適した圧縮方法が採用されることで、違和感のない人物の画像を生成できる。

【0008】

（構成３）構成１または２において、第２圧縮方法は、第１圧縮方法に比較して、データの損失が少なくてもよい。領域データは、データの損失による品質の影響が相対的に大きいが、撮像画像データは、データの損失による品質の影響が相対的に小さい。そのため、構成３によれば、生成される人物の画像の品質を維持しつつ、第２データのデータ量を効率的に低減できる。

【0009】

（構成４）構成２または３において、第１圧縮方法は、非可逆圧縮であってもよい。第２圧縮方法は、可逆圧縮であってもよい。領域データは、撮像画像データに比較してデータ量が少ない。領域データの圧縮方式として可逆圧縮を採用することで、人物の領域の誤差などによる違和感を生じさせることを抑制できる。

【0010】

（構成５）構成１～４のいずれかにおいて、第２データは、Ｈ．２６４規格に従うストリームデータであってもよい。第２データは、撮像画像データを含む画像ストリームデータと、領域データを含む非画像ストリームデータとを含んでもよい。構成５によれば、画像データを含む画像ストリームデータおよび領域データを含む非画像ストリームデータが同一のストリームデータに含まれるので、画像データと領域データとの間の時間的なズレを低減できる。

【0011】

（構成６）構成５において、画像ストリームデータの各々は、画像データが含まれることを示す制御情報と、１フレーム分の撮像画像データとを含むＮＡＬユニットであってもよい。非画像ストリームデータの各々は、非画像データが含まれることを示す制御情報と、１フレーム分の領域データとを含むＮＡＬユニットであってもよい。構成６によれば、Ｈ．２６４規格に定められたＮＡＬユニットの構造を用いて、同じストリームデータを用いて、画像データおよび領域データを配信できる。

【0012】

（構成７）構成１～６のいずれかにおいて、受信端末は、第２データに含まれる領域データに基づいて、第１データに含まれる撮像画像データのうち人物の領域以外の領域を、重畳先の実行中のゲームの画像が優先して表示されるように設定してもよい。構成７によれば、領域データに基づいて優先して表示される画像を決定することで、人物の画像を生成できるので、受信端末における画像の生成処理を簡素化できる。

【0013】

（構成８）構成１～７のいずれかにおいて、領域データは、撮像画像データに含まれる人物の輪郭に基づいて生成されてもよい。構成８によれば、撮像画像データに含まれる人物だけをゲームの画像に重畳できる。

【0014】

（構成９）ある実施の形態に従えば、１または複数の配信端末とネットワーク接続された情報処理装置が提供される。配信端末は、配信端末で実行中のゲームの画像データを含む第１データと、カメラから取得される撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとを配信する。情報処理装置は、配信端末から第１データおよび第２データを受信する受信部と、領域データに基づいて、撮像画像データのうちの人物の領域が配信端末で実行中のゲームの画像に重畳して表示される配信表示画像を生成する生成部とを含む。

【0015】

（構成１０）ある実施の形態に従う配信方法は、配信端末が、配信端末で実行中のゲームの画像データを含む第１データと、カメラから取得される撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとを配信するステップと、受信端末が、配信端末から第１データおよび第２データを受信するステップと、受信端末が、第１データおよび第２データを受信し、領域データに基づいて、撮像画像データのうちの人物の領域が配信端末で実行中のゲームの画像に重畳して表示される配信表示画像を生成するステップとを含む。

【0016】

（構成１１）ある実施の形態に従う配信プログラムは、ネットワーク接続されたコンピュータに、コンピュータで実行中のゲームの画像データを含む第１データと、カメラから取得される撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第２データとを配信するステップと、他のコンピュータから、他のコンピュータで実行中のゲームの画像データを含む第３データと、カメラから取得される撮像画像データおよび当該撮像画像データに含まれる人物の領域を示す領域データを含む第４データとを受信し、第３データに含まれる領域データに基づいて、第４データに含まれる撮像画像データのうちの人物の領域が他のコンピュータで実行中のゲームの画像に重畳して表示される配信表示画像を生成するステップとを実行させる。

【図面の簡単な説明】

【0017】

【図1】本実施の形態に従うゲームシステムの構成例を示す模式図である。

【図2】本実施の形態に従うゲーム装置のハードウェア構成例を示す模式図である。

【図3】本実施の形態に従う配信サーバのハードウェア構成例を示す模式図である。

【図4】本実施の形態に従うゲーム装置のディスプレイに表示されるスクリーン画像の一例を示す模式図である。

【図5】本実施の形態に従うゲーム装置のディスプレイに表示されるカメラ画像の表示モードの一例を示す模式図である。

【図6】本実施の形態に従うゲームシステムにおける配信データのデータ構造の一例を示す模式図である。

【図7】本実施の形態に従うゲームシステムにおけるマスクデータの一例を説明するための図である。

【図8】本実施の形態に従うゲームシステムにおける受信データのデータ構造の一例を示す模式図である。

【図9】本実施の形態に従うゲームシステムの配信端末におけるソフトウェア構成例を示す模式図である。

【図10】本実施の形態に従うゲームシステムの配信端末における処理手順を示すフローチャートである。

【図11】本実施の形態に従うゲームシステムの受信端末におけるソフトウェア構成例を示す模式図である。

【図12】本実施の形態に従うゲームシステムの受信端末における処理手順を示すフローチャートである。

【図13】本実施の形態に従うゲームシステムの受信端末における処理手順を示すフローチャートである。

【発明を実施するための形態】

【0018】

本実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

【0019】

［Ａ．システム構成例］
まず、本実施の形態に従う情報処理システムの構成例について説明する。以下では、本開示に従う情報処理システムの一例として、ゲームシステムの構成例について説明する。

【0020】

図１は、本実施の形態に従うゲームシステム１の構成例を示す模式図である。ゲームシステム１は、１または複数のゲーム装置１００を含む。ゲーム装置１００は、情報処理装置の一例である。図１には、４つのゲーム装置１００を含むゲームシステム１の構成例を示す。以下の説明において、複数のゲーム装置１００の各々を特定する必要がある場合には、枝番号を付して区別する（例えば、図１に示す、ゲーム装置１００－１，１００－２，１００－３，１００－４）。

【0021】

ゲーム装置１００の各々は、自装置において実行されるゲームプログラムなどが生成する画像データを他のゲーム装置１００に配信できる。また、ゲーム装置１００の各々は、他のゲーム装置１００から配信される画像データを受信できるとともに、受信する画像データに基づく画像を自装置のディスプレイ１２０に表示できる。

【0022】

本明細書において、「配信」という用語は、少なくとも１つのゲーム装置１００（情報処理装置の一例）がデータを他の１または複数のゲーム装置１００に送信する処理を含む。あるゲーム装置１００が他のゲーム装置１００にデータを配信する方式は、１または複数の中継主体（例えば、配信サーバ２００）を介してデータを送信する方式、および、受信端末にデータを直接送信する方式（例えば、Ｐ２Ｐ方式など）を含む。配信されるデータは、画像データに加えて、さまざまなデータを含んでもよい。

【0023】

配信に関係する処理は、少なくとも１つのゲーム装置１００が他の少なくとも１つのゲーム装置１００からデータを受信する処理を含む。

【0024】

以下では、説明の便宜上、他のゲーム装置１００に画像データを配信するゲーム装置１００を「配信端末」とも称し、他のゲーム装置１００から画像データを受信するゲーム装置１００を「受信端末」とも称す。１つのゲーム装置１００が配信端末および受信端末の両方に該当することもある。また、ゲームシステム１は、配信システムと称することもできる。

【0025】

本明細書において、「画像データ」という用語は、動画像データ、および、１または複数の静止画データを含む。

【0026】

図１に示す構成例においては、ゲーム装置１００－１は、自装置が生成する画像データを含む配信データ１０－１を、１または複数の他のゲーム装置１００に配信するとともに、１または複数の他のゲーム装置１００が配信する受信データ２０を受信する。ゲーム装置１００は、受信データ２０に基づいて再生される画像を含む画像をディスプレイ１２０に表示する。ゲーム装置１００－２～１００－４は、ゲーム装置１００－１と同様の処理を実行する。

【0027】

図１において、ゲーム装置１００－１～１００－４のディスプレイ１２０にそれぞれ表示される画像中の数字「１」～「４」は、ゲーム装置１００－１～１００－４において実行中のゲームプログラムが生成するそれぞれの画像を意味する。なお、後述の通り、例えばゲーム装置１００―１のディスプレイ１２０に表示される画像のうち、上方の「１」が表す画像と下方の「１」が表す画像とは、全く同じである必要はなく、画質が異なっていたり、異なる画像が重畳されていたりしてもよい。

【0028】

１または複数のゲーム装置１００のうち少なくとも一部は、カメラ１１８を利用可能である。図１に示す構成例において、ゲーム装置１００－１～１００－４の各々は、カメラ１１８を利用可能である。ゲーム装置１００が配信する配信データ１０は、カメラ１１８から取得される撮像画像データを含んでもよい。

【0029】

ゲームシステム１は、配信サーバ２００および管理サーバ３００をさらに含む。１または複数のゲーム装置１００、配信サーバ２００、および、管理サーバ３００は、ネットワーク４に接続されている。

【0030】

配信サーバ２００は、ゲーム装置１００が配信するデータを中継する。より具体的には、配信サーバ２００は、１または複数のゲーム装置１００から配信データ１０を受信するとともに、受信する１または複数の配信データ１０を含む、１または複数の受信データ２０を１または複数のゲーム装置１００に送信する。

【0031】

管理サーバ３００は、１または複数のゲーム装置１００が配信を行うために必要な管理を担当する。例えば、管理サーバ３００は、ある配信に参加する１または複数のゲーム装置１００を決定してもよい。管理サーバ３００は、配信に参加可能なユーザアカウントを決定してもよいし、配信に参加可能なゲーム装置１００の識別番号を決定してもよい。前者においては、決定されるユーザアカウントに関連付けられたユーザが配信に参加できる。後者においては、決定される識別番号をもつゲーム装置１００が配信に参加できる。

【0032】

配信サーバ２００および管理サーバ３００は、単一の物理サーバに実装されてもよい。ゲームシステム１は、複数の配信サーバ２００を含んでもよいし、複数の管理サーバ３００を含んでもよい。配信サーバ２００および管理サーバ３００は、機能が分かれていなくてもよい。配信サーバ２００および管理サーバ３００は、仮想サーバであってもよい。

【0033】

以下の説明においては、ある配信に参加する１または複数のゲーム装置１００（またはユーザ）の全体を「配信グループ」と称す。配信グループは、いずれかのゲーム装置１００からの要求に応じて動的に生成されてもよいし、予め生成されてもよい。ある配信グループに属するゲーム装置１００の各々は、他のゲーム装置１００から画像を受信できる（すなわち、受信端末であり得る）。また、当該配信グループに属するゲーム装置１００のうち少なくとも一部は、他のゲーム装置１００に画像データを配信できる（すなわち、配信端末であり得る）。

【0034】

同一の配信グループに属するゲーム装置１００の数には、上限（以下「参加上限数」とも称す。）が定められてもよい。参加上限数は、例えば、１２台であってもよい。同一の配信グループにおいて、他のゲーム装置１００に画像データを配信できるゲーム装置１００（配信端末）の数にも上限（以下「配信上限数」とも称す。）が定められてもよい。配信上限数は、例えば、４台であってもよい。

【0035】

［Ｂ．ハードウェア構成例］
次に、本実施の形態に従うゲームシステム１に含まれる各装置のハードウェア構成例について説明する。

【0036】

（ｂ１：ゲーム装置１００）
図２は、本実施の形態に従うゲーム装置１００のハードウェア構成例を示す模式図である。ゲーム装置１００は、一種のコンピュータである。図２を参照して、ゲーム装置１００は、例えば、１または複数のプロセッサ１０２と、１または複数のメモリ１０４と、通信部１０６と、カメラインターフェイス１０８と、ストレージ１１０と、入力部１１６と、ディスプレイ１２０と、マイク１２２と、スピーカ１２４とを含む。

【0037】

プロセッサ１０２は、ゲーム装置１００における処理を実行するための処理主体である。プロセッサ１０２は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などを含む。プロセッサ１０２は、ストレージ１１０に格納されているプログラムをメモリ１０４に展開して実行する。

【0038】

メモリ１０４は、プロセッサ１０２がアクセス可能な揮発性記憶媒体であり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などを含む。

【0039】

ストレージ１１０は、プロセッサ１０２がアクセス可能な不揮発性記憶媒体であり、例えば、フラッシュメモリやハードディスクなどを含む。ストレージ１１０は、例えば、カートリッジや光ディスクなどのゲーム装置１００に着脱可能な記憶媒体を含んでもよい。

【0040】

ストレージ１１０は、例えば、システムプログラム１１２と、配信プログラム１１４と、ゲームプログラム１８０とを格納する。

【0041】

システムプログラム１１２は、ゲーム装置１００のハードウェア制御やプログラム実行環境の提供などのためのコンピュータ読取可能命令を含む。

【0042】

配信プログラム１１４は、配信のための通信処理やカメラ１１８での撮像に必要な処理などのためのコンピュータ読取可能命令を含む。

【0043】

ゲームプログラム１８０は、アプリケーションプログラムの一例であり、ゲームを実行するためのコンピュータ読取可能命令を含む。

【0044】

本明細書において、「プロセッサ」という用語は、少なくとも、ＣＰＵやＧＰＵなどのコンピュータ読取可能命令に従って処理を実行する処理回路と、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤード回路とを包含する。

【0045】

本明細書において、「メモリ」という用語は、少なくとも、メモリ１０４およびストレージ１１０を包含する。

【0046】

ゲーム装置１００において、プロセッサやメモリなどの機能が集約されたＳｏＣ（System on Chip）が採用されてもよい。この場合において、プロセッサおよびメモリは、同一のＳｏＣ（集積回路）に存在する。そのため、本明細書において、「プロセッサ」および「メモリ」という用語は、互いに独立した構成、および、互いに一体化した構成を包含する。

【0047】

通信部１０６は、ネットワーク４を介して、他のゲーム装置１００、配信サーバ２００、管理サーバ３００などとデータを送受信する。通信部１０６は、有線でネットワーク４と接続されてもよいし、無線でネットワーク４と接続されてもよい。

【0048】

カメラインターフェイス１０８は、カメラ１１８とデータを送受信する。カメラインターフェイス１０８は、有線でカメラ１１８と接続されてもよいし、無線でカメラ１１８と接続されてもよい。

【0049】

通信部１０６およびカメラインターフェイス１０８において、有線接続としては、例えば、ＵＳＢ（Universal Serial Bus）接続やパラレル接続などが用いられてもよい。無線接続としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、無線ＬＡＮ（ＩＥＥＥ ８０２．１１規格）などが用いられてもよい。

【0050】

入力部１１６は、ユーザ操作を受け付ける。入力部１１６は、例えば、キーボード、マウス、ゲームコントローラ、ボタン、十字キーなどを含む。入力部１１６は、ユーザ操作を受け付ける装置（例えば、ゲームコントローラ）とのインターフェイスであってもよい。すなわち、ユーザ操作を受け付ける装置は、ゲーム装置１００の外部に存在してもよい。

【0051】

ディスプレイ１２０は、プロセッサ１０２による処理によって生成される画像または映像を表示する。ディスプレイ１２０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイなどを含む。なお、ディスプレイ１２０は、ゲーム装置１００の外部に存在してもよい。この場合には、ゲーム装置１００は、ディスプレイ１２０とのインターフェイス回路を含んでもよい。

【0052】

マイク１２２は、ゲーム装置１００の筐体などに配置されており、音声を収集して音声信号を生成する。スピーカ１２４は、ゲーム装置１００の筐体などに配置されており、音声信号から音声を生成する。マイク１２２およびスピーカ１２４のうち少なくとも一方は、ゲーム装置１００の外部に存在してもよい。

【0053】

カメラ１１８は、ゲーム装置１００からの指令に従って、または、所定条件に従って、被写体を撮像したカメラデータ（動画像データまたは静止画データ）を生成する。

【0054】

カメラ１１８は、例えば、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を含む。撮像素子の前段には、レンズが配置されてもよい。

【0055】

カメラ１１８は、例えば、ビデオ通話用のカメラであってもよい。カメラ１１８は、特定のデバイスにのみ接続可能な専用カメラであってもよいし、任意のデバイスに接続可能な汎用カメラであってもよい。

【0056】

カメラ１１８は、有線または無線によりゲーム装置１００に接続可能であってもよいし、ゲーム装置１００に組み込まれてもよい。ゲーム装置１００には、複数のカメラ１１８が接続可能であってもよい。

【0057】

情報処理装置の一例として、ゲーム装置１００を例示したが、情報処理装置は、例えば、パーソナルコンピュータ、テレビ、スマートフォン、タブレットなどであってもよい。

【0058】

（ｂ２：配信サーバ２００）
図３は、本実施の形態に従う配信サーバ２００のハードウェア構成例を示す模式図である。図３を参照して、配信サーバ２００は、例えば、１または複数のプロセッサ２０２と、１または複数のメモリ２０４と、１または複数の通信部２０６と、ストレージ２１０と、入力部２１６とを含む。

【0059】

プロセッサ２０２は、配信サーバ２００における処理を実行するための処理主体である。プロセッサ２０２は、例えば、ＣＰＵやＧＰＵなどを含む。プロセッサ２０２は、ストレージ２１０に格納されているプログラムをメモリ２０４に展開して実行する。

【0060】

メモリ２０４は、プロセッサ２０２がアクセス可能な揮発性記憶媒体であり、例えば、ＤＲＡＭやＳＲＡＭなどを含む。

【0061】

ストレージ２１０は、プロセッサ２０２がアクセス可能な不揮発性記憶媒体であり、例えば、ハードディスクやフラッシュメモリなどを含む。ストレージ２１０は、例えば、システムプログラム２１２および配信プログラム２１４などを格納する。

【0062】

システムプログラム２１２は、配信サーバ２００のハードウェア制御やプログラム実行環境の提供などのためのコンピュータ読取可能命令を含む。

【0063】

配信プログラム２１４は、後述するような配信に必要な中継処理などを実行するためのコンピュータ読取可能命令を含む。

【0064】

通信部２０６は、ネットワーク４を介して、ゲーム装置１００や管理サーバ３００などとデータを送受信する。通信部２０６は、有線でネットワーク４と接続されてもよいし、無線でネットワーク４と接続されてもよい。

【0065】

入力部２１６は、ユーザ操作を受け付ける。入力部２１６は、例えば、キーボードやマウスなどを含む。

【0066】

（ｂ３：管理サーバ３００）
管理サーバ３００のハードウェア構成例は、図３に示す配信サーバ２００のハードウェア構成例と同様であるので、詳細な説明は繰り返さない。

【0067】

管理サーバ３００のストレージに格納される配信プログラムは、後述するような配信の管理に必要な処理を実行するためのコンピュータ読取可能命令を含んでもよい。

【0068】

［Ｃ．スクリーン画像例］
次に、本実施の形態に従うゲームシステム１の配信におけるスクリーン画像例について説明する。

【0069】

図４は、本実施の形態に従うゲーム装置１００－１のディスプレイ１２０に表示されるスクリーン画像１２６の一例を示す模式図である。図４には、図１に示す配信グループに属するゲーム装置１００－１のスクリーン画像１２６の一例を示す。ゲーム装置１００－１は、少なくとも受信端末として動作する。

【0070】

図４を参照して、スクリーン画像１２６は、主画像１３０と、配信表示画像１４０－１～１４０－４（以下「配信表示画像１４０」と総称することもある。）とを含む。

【0071】

配信表示画像１４０－２～１４０－４の各々は、配信グループに属する配信端末が配信する画像データに基づいて出力される。本実施の形態においては、ゲーム装置１００－１自身が配信端末である。そのため、１つの配信表示画像１４０－１は、自装置において生成される画像データに基づいて出力される。他のゲーム装置１００－２～１００－４の各々は、ゲーム装置１００－１が配信する配信データ１０に基づいて、配信表示画像１４０－１と同じ配信表示画像１４０を表示する。なお、配信表示画像１４０の表示位置は、各ゲーム装置１００によって異なってもよい。ゲーム装置１００－１が配信端末ではない場合には、配信表示画像１４０－１～１４０－４のすべてが他の配信端末が配信する画像データに基づいて出力される。

【0072】

配信表示画像１４０－１～１４０－４の各々は、ゲーム画像１４２と、配信端末のユーザのユーザアイコン１４４と、配信端末のユーザのユーザ名１４６と、カメラ画像１４８とを含む。なお、ユーザアイコン１４４およびユーザ名１４６の少なくとも一方は、表示されなくてもよい。また、ゲーム画像１４２およびカメラ画像１４８の少なくとも一方は、表示されない場合があってもよい。また、これらの画像に加えて、または代えて、別の画像が表示されてもよい。

【0073】

ゲーム画像１４２は、配信端末において実行中のゲームプログラム１８０により生成されるゲーム画像データに基づいて出力される。配信端末のユーザは、ゲーム画像データを配信するか否かを設定できてもよい。ゲーム画像１４２は、実行中のゲームプログラムが生成する画像に限定されず、配信端末で生成される任意の画像であってもよい。例えば、ゲーム画像１４２は、配信端末のディスプレイ１２０に表示されるメニュー画面を示す画像であってもよいし、配信端末の配信プログラム１１４が生成する画像であってもよい。

【0074】

ユーザアイコン１４４は、配信端末のユーザによって、予め設定または生成されてもよい。ユーザ名１４６は、配信端末のユーザの情報（例えば、ユーザアカウント名）に基づいて表示される。ユーザアイコン１４４として表示すべき画像、および、ユーザ名１４６として表示すべきテキストは、ゲーム装置１００が受信してもよいし、管理サーバ３００から提供される、配信グループに参加しているユーザアカウントの属性情報など（図１１に示すグループ情報１７０に含まれる）に基づいてゲーム装置１００が生成してもよい。

【0075】

カメラ画像１４８は、配信端末に接続されたカメラ１１８での撮像により生成される撮像画像データに基づく。配信端末のユーザは、撮像画像データを配信するか否かを設定できてもよい。例えば、配信端末のユーザが撮像画像データの配信を許可していない場合には、カメラ画像１４８として、所定のデフォルト画像（例えば、黒画像）が表示されてもよい。配信端末における撮像画像データの配信の許可は、配信端末を使用中のユーザによって設定されてもよいし、他のユーザ（例えば、保護者）によって設定されてもよいし、配信端末や実行中のアプリケーションによって設定されてもよい。なお、配信端末にカメラ１１８が接続されていない場合には、カメラ画像１４８が表示される領域には何も表示されず、背景であるゲーム画像１４２が表示されてもよい。カメラ画像１４８を表示するための処理などについては、後述する。

【0076】

主画像１３０は、ゲーム画像１３２を含む。ゲーム画像１３２は、ゲーム装置１００－１（自装置）において実行されるゲームプログラム１８０により生成されるゲーム画像データ（後述の出力画像データ１２８）に基づいて出力されてもよい。この場合、ゲーム装置１００－１のユーザは、配信端末における（他のプレイヤの）ゲーム状況（ゲーム画像１４２）を見ながら、自身もゲームを楽しむことができる。また、ゲーム画像１３２は、自装置以外の配信端末から受信するゲーム画像データに基づいて出力されてもよい。

【0077】

配信表示画像１４０に含まれるゲーム画像１４２に比較して、主画像１３０に含まれるゲーム画像１３２の解像度（または、画素数）またはフレームレートは、高くてもよい。

【0078】

［Ｄ．カメラ画像１４８］
次に、配信表示画像１４０におけるカメラ画像１４８について説明する。

【0079】

図５は、本実施の形態に従うゲーム装置１００のディスプレイ１２０に表示されるカメラ画像１４８の表示モードの一例を示す模式図である。なお、図５において、カメラ画像１４８の表示態様が明確化するように、ゲーム画像１４２を示す領域をハッチングで示している。なお、本実施の形態においては、カメラ画像１４８の表示モードは配信端末側で設定されるが、受信端末側で設定できてもよい。

【0080】

図５（Ａ）～図５（Ｄ）に示すように、配信表示画像１４０において、カメラ画像１４８は、配信端末で実行中のゲームの画像（ゲーム画像１４２）に重畳して表示される。

【0081】

図５（Ａ）には、輪郭切抜きモード表示１４８Ａの一例を示す。輪郭切抜きモード表示１４８Ａは、配信端末で撮像される画像のうち人物の部分を含む。このように、配信端末で撮像される画像のうちの人物の領域が、配信端末で実行中のゲーム画像１４２に重畳して表示される。重畳される人物の領域は、領域データに基づく。ゲーム画像１４２に重畳されたカメラ画像のうち、人物の領域以外の領域にはゲーム画像１４２が表示されることによって、人物の領域が切り抜かれてゲーム画像１４２に重畳されたように見える。

【0082】

輪郭切抜きモード表示１４８Ａによれば、ゲームの画像とユーザの画像とが別々に表示される場合に比較して、受信端末のユーザは、ゲームの画像を配信している人物（例えばプレイヤ）を容易に認識できる。また、配信端末のユーザは、部屋の様子などを隠すことができる。また、重畳表示を採用することで、ディスプレイ面積を有効活用できる。また、ゲーム画像１４２がカメラ画像１４８によって隠れてしまう範囲を少なくした配信表示画像１４０を生成できる。なお、図５（Ａ）に示す例では人物の胸から上の領域が表示されているが、例えば、撮像される画像に含まれる人物の全身の領域が表示されてもよい。

【0083】

図５（Ｂ）には、顔モード表示１４８Ｂの一例を示す。顔モード表示１４８Ｂは、配信端末で撮像される画像のうち、人物の顔を包含する所定形状の画像を含む。受信端末のユーザは、ゲーム中のプレイヤの表情などを確認しやすい。所定形状は限定されず、例えば、円、楕円、多角形のいずれであってもよい。このように、配信端末で撮像される画像のうちの人物の顔を包含する所定形状の領域が配信端末で実行中のゲーム画像１４２に重畳して表示される。顔モード表示１４８Ｂにおいて、受信端末は、配信端末から配信される撮像画像データのうちの所定形状の領域を切り抜く。そのため、配信端末は、切り抜かれる所定形状に対応する位置に人物の顔が存在するように、撮像画像データを生成して配信する。

【0084】

図５（Ｃ）には、無加工モード表示１４８Ｃの一例を示す。無加工モード表示１４８Ｃは、配信端末のカメラ１１８により撮像される画像をそのまま含む。そのため、無加工モード表示１４８Ｃ（カメラ画像１４８）は、被写体として、ユーザに加えて、当該ユーザの背景に存在する物を含み得る。

【0085】

図５（Ｄ）には、背景ぼかしモード表示１４８Ｄの一例を示す。背景ぼかしモード表示１４８Ｄ（カメラ画像１４８）は、配信端末のカメラ１１８により撮像される画像のうち、人物以外の部分をぼかした画像を含む。

【0086】

［Ｅ．配信データ１０および受信データ２０］
次に、本実施の形態に従うゲームシステム１の配信における配信データ１０および受信データ２０について説明する。

【0087】

図６は、本実施の形態に従うゲームシステム１における配信データ１０のデータ構造の一例を示す模式図である。

【0088】

図６を参照して、配信データ１０は、例えば、ストリーミングに適したデータ形式であってもよい。配信データ１０は、例えば、第１ストリームデータ１１と、第２ストリームデータ１３とを含む。

【0089】

第１ストリームデータ１１は、配信表示画像１４０のゲーム画像１４２の生成に必要な画像データを含む。第２ストリームデータ１３は、配信表示画像１４０のカメラ画像１４８の出力に必要な画像データを含む。

【0090】

第１ストリームデータ１１は、例えば、制御情報１１１と、ゲーム画像データ１１３とを含む。制御情報１１１は、例えば、ストリームデータの開始を示すビット列と、ストリームデータに含まれるデータの種類を示す識別情報と、データサイズを示す情報とを含む。ゲーム画像データ１１３は、配信端末で実行中のゲームの画像データを含む。

【0091】

ゲーム画像データ１１３は、キーフレーム（フレーム間圧縮が行われていないフレーム）および差分フレーム（デルタフレーム）のいずれかを含んでもよい。

【0092】

第２ストリームデータ１３は、マスクストリームデータ１５と、画像ストリームデータ１４とを含んでもよい。マスクストリームデータ１５は、輪郭切抜きモード表示１４８Ａ（図５（Ａ）参照）を行うために必要なマスクデータを含む。画像ストリームデータ１４は、カメラ画像１４８の出力に必要な画像データを含む。

【0093】

マスクストリームデータ１５は、例えば、制御情報１５１と、マスクデータ１５３とを含む。制御情報１５１は、第１ストリームデータ１１の制御情報１１１と同様であってもよい。

【0094】

マスクデータ１５３は、撮像画像データ１４３のうち、配信表示画像１４０のカメラ画像１４８として表示すべき領域を特定する領域データである。マスクデータ１５３は、撮像画像データ１４３に含まれる人物の領域を示す。

【0095】

画像ストリームデータ１４は、例えば、制御情報１４１と、撮像画像データ１４３とを含む。制御情報１４１は、第１ストリームデータ１１の制御情報１１１と同様であってもよい。

【0096】

撮像画像データ１４３は、配信端末のカメラ１１８から取得される画像データである。より具体的には、撮像画像データ１４３は、配信端末のカメラ１１８での撮像により生成されるカメラデータに基づいて生成される。カメラ１１８が出力するカメラデータがそのまま撮像画像データ１４３として使用されてもよいし、カメラ１１８が出力するカメラデータが画像処理されて撮像画像データ１４３として使用されてもよい。画像処理は、例えば、カメラデータの一部領域の抽出、画像サイズ調整（縮小／拡大）、画質調整（明るさ、コントラスト、色調など）などを含む。

【0097】

図７は、本実施の形態に従うゲームシステム１におけるマスクデータ１５３の一例を視覚的に説明するための図である。

【0098】

図７（Ａ）には、カメラ１１８が出力するカメラデータの一部を抽出した部分画像を撮像画像データ１４３とする例を示す。図７（Ｂ）には、カメラ１１８が出力するカメラデータの全体画像を撮像画像データ１４３とする例を示す。なお、図７（Ｂ）の例では、人物の上半身が最終的に表示されるように生成されたマスクデータ１５３が示されているが、マスクデータ１５３は、例えば人物の全身が最終的に表示されるように生成されてもよい。図７に示す例では、いずれの撮像画像データ１４３も、被写体として、背景に存在する物を含む。

【0099】

マスクデータ１５３は、撮像画像データ１４３に対応付けて生成される。例えば、マスクデータ１５３は、撮像画像データ１４３に含まれる人物の輪郭に基づいて生成されてもよい。このとき、マスクデータ１５３が示す人物の領域は、人物の輪郭に沿う線に囲まれる領域とも言える。

【0100】

人物の輪郭に沿う線は、人物の輪郭に対して多少外側に位置してもよいし、人物の輪郭に厳密に沿ったものでなくてもよい。例えば、マスクデータ１５３が示す人物の領域は、人物の輪郭から所定距離だけ外側の領域を含むものであってもよい。そのため、マスクデータ１５３が示す人物の領域は、カメラデータに含まれる人物の背景を含んでもよい。

【0101】

人物の輪郭を特定する処理には、任意の画像処理アルゴリズムを用いることができる。マスクデータ１５３が示す人物の領域は、人物の輪郭に基づいて生成されるだけではなく、任意の方法で決定されてもよい。

【0102】

図７に示す例では、マスクデータ１５３は、撮像画像データ１４３において人物が存在する領域と、それ以外の領域とを特定するための情報を含む。例えば、マスクデータ１５３は、画素ごとに、人物の領域であるか否かを示す２値（例えば、「０」と「１」）が設定されたデータである。マスクデータ１５３は、図７に示す例のように２色の画像データであってもよい。

【0103】

受信端末は、第２ストリームデータ１３に含まれる、マスクデータ１５３と撮像画像データ１４３とを用いて、輪郭切抜きモード表示１４８Ａのようなカメラ画像１４８が表示される配信画像を出力する。受信端末は、撮像画像データ１４３のうち人物が存在する領域は有効に表示されないように処理してもよい。例えば、人物が存在しない領域は、透明化されてもよい。また、受信端末は、撮像画像データ１４３のうち人物が存在する領域を切り抜いた画像データを生成してもよい。

【0104】

図５（Ａ）に示す輪郭切抜きモード表示１４８Ａによれば、マスクデータ１５３によって人物の領域が特定されるので、人物の領域をゲーム画像１４２に重畳した表示を実現できる。

【0105】

マスクデータ１５３の各画素には、２値の画素値が設定される例を示したが、多値を設定できるようにしてもよい。例えば、人物が存在しない領域に対して、表示を無効化すべきことを示す「０」、または、ぼかすべきことを示す「２」を設定してもよい。

【0106】

また、人物が存在する領域を「１」に割り当てる例を説明したが、人物が存在する領域と、それ以外の領域とが区別できれば、どのような値の割当てを採用してもよい。

【0107】

第２ストリームデータ１３は、撮像画像データ１４３に対応する表示モードを示す情報を含んでもよい。第２ストリームデータ１３が表示モードを示す情報を含むことで、受信端末における配信表示画像１４０の生成処理を簡素化または高速化できる。一例として、第２ストリームデータ１３は、人物の輪郭を切り抜いて表示するモードであることを示す情報を含んでもよい。

【0108】

第２ストリームデータ１３において、マスクデータ１５３のデータ圧縮方法と、撮像画像データ１４３のデータ圧縮方法とは、異なるものであってもよい。例えば、マスクデータ１５３は、２値の画像データであるので、ＰＮＧ（Portable Network Graphics）形式などの可逆圧縮の画像フォーマットで出力されてもよい。また、マスクデータ１５３は、例えば、可逆圧縮の一例であるランレングス圧縮法やハフマン圧縮などを用いてデータ圧縮がなされてもよい。これに対して、撮像画像データ１４３は、非可逆圧縮の一例であるフレーム間差分法を用いてデータ圧縮がなされてもよい。この場合、撮像画像データ１４３は、キーフレーム（フレーム間圧縮が行われていないフレーム）および差分フレームのいずれかを含む。いずれの場合においても、マスクデータ１５３のデータ圧縮方法は、撮像画像データ１４３のデータ圧縮方法に比較して、データの損失が少なくなる。

【0109】

配信表示画像１４０におけるカメラ画像１４８の表示モードは、配信端末のユーザによって選択されてもよい。顔モード、無加工モード、および背景ぼかしモードのいずれかが選択される場合には、マスクデータ１５３のすべての画素値が「１」であってもよい。あるいは、マスクデータ１５３は実質的に不要となるので、第２ストリームデータ１３にマスクデータ１５３（または、マスクストリームデータ１５自体）を含めないようにしてもよい。

【0110】

第１ストリームデータ１１および第２ストリームデータ１３は、任意の動画圧縮規格に従って生成されてもよい。例えば、第１ストリームデータ１１および第２ストリームデータ１３は、Ｈ．２６４（ＭＰＥＧ－４ ＡＶＣ）規格に従って生成されてもよい。すなわち、第１ストリームデータ１１および第２ストリームデータ１３のうち少なくとも一部は、Ｈ．２６４規格に従うストリームデータであってもよい。

【0111】

Ｈ．２６４規格に従って生成される場合において、第２ストリームデータ１３に含まれる、マスクストリームデータ１５および画像ストリームデータ１４の各々は、ＮＡＬ（Network Abstraction Layer）ユニットに相当する。すなわち、第２ストリームデータ１３は、ＮＡＬユニットで区切られた、マスクストリームデータ１５および画像ストリームデータ１４を含む。

【0112】

例えば、マスクストリームデータ１５は、領域データの一例であるマスクデータ１５３を含む、非ＶＣＬ－ＮＡＬユニットに相当する。マスクストリームデータ１５の制御情報１５１は、非ＶＣＬ－ＮＡＬユニットであることを示す情報を含んでもよい。このように、マスクストリームデータ１５は、マスクストリームデータ１５に非画像データが含まれることを示す制御情報１５１と、１フレーム分のマスクデータ１５３とを含むＮＡＬユニットである。

【0113】

画像ストリームデータ１４は、撮像画像データ１４３を含む、ＶＣＬ（Video Coding Layer）－ＮＡＬユニットに相当する。画像ストリームデータ１４の制御情報１４１は、ＶＣＬ－ＮＡＬユニットであることを示す情報、および、キーフレームまたは差分フレームを示す情報を含んでもよい。このように、画像ストリームデータ１４は、画像ストリームデータ１４に画像データが含まれることを示す制御情報１４１と、１フレーム分の撮像画像データ１４３とを含むＮＡＬユニットである。

【0114】

例えば、画像ストリームデータ１４を処理する際には、直前に受信したマスクストリームデータ１５が用いられる。第２ストリームデータ１３において、マスクストリームデータ１５と、画像ストリームデータ１４との配置順序は、いずれであってもよい。また、第２ストリームデータ１３において、画像ストリームデータ１４とマスクストリームデータ１５とは、厳密に交互に配置されなくてもよい。

【0115】

第１ストリームデータ１１および第２ストリームデータ１３のフレームレートは、互いに異なってもよい。例えば、第１ストリームデータ１１および第２ストリームデータ１３のフレームレートは、通信情報、配信端末の処理負荷、配信グループに属するゲーム装置１００の数、配信サーバ２００の負荷などに応じて、動的に変化させてもよい。

【0116】

図８は、本実施の形態に従うゲームシステム１における受信データ２０のデータ構造の一例を示す模式図である。

【0117】

図８を参照して、受信データ２０は、例えば、１または複数の配信端末の各々から配信される配信データ１０（第１ストリームデータ１１および第２ストリームデータ１３）を含む。

【0118】

第１ストリームデータ１１および第２ストリームデータ１３のフレームレートは、配信端末ごとに異なってもよい。

【0119】

配信サーバ２００が１または複数の配信端末の各々から配信される配信データ１０を中継する場合には、配信サーバ２００が配信データ１０の一部または全部を加工した後に、受信端末に転送してもよい。

【0120】

［Ｆ．配信のための処理例］
次に、ゲーム装置１００における配信のための処理例について説明する。

【0121】

（ｆ１：配信端末）
図９は、本実施の形態に従うゲームシステム１の配信端末におけるソフトウェア構成例を示す模式図である。図９には、ゲーム装置１００が配信端末として動作する場合に着目したソフトウェア構成例が示されており、説明の便宜上、その他の処理モジュールは図示されていない。

【0122】

図９を参照して、配信端末として動作するゲーム装置１００は、カメラデータ取得部１５０と、カメラ画像処理部１５２と、データ配信部１５４と、ゲームプログラム実行部１５６と、ゲーム画像処理部１５８とを含む。

【0123】

例えば、カメラデータ取得部１５０、カメラ画像処理部１５２、データ配信部１５４、および、ゲーム画像処理部１５８は、ゲーム装置１００のプロセッサ１０２が、システムプログラム１１２を実行している環境において、配信プログラム１１４を実行することで実現される。ゲームプログラム実行部１５６は、ゲーム装置１００のプロセッサ１０２が、システムプログラム１１２を実行している環境において、ゲームプログラム１８０を実行することで実現される。

【0124】

カメラデータ取得部１５０は、カメラ１１８が出力するカメラデータ１１９を取得する。カメラデータ取得部１５０は、撮像画像データの配信が許可されている場合に限って、カメラデータ１１９を取得してもよい。

【0125】

カメラ画像処理部１５２は、カメラデータ１１９に基づいて、撮像画像データ１４３を生成する。カメラ画像処理部１５２は、必要に応じて、マスクデータ１５３を生成する。以下に例示するように、カメラ画像処理部１５２は、表示モードに応じて、撮像画像データ１４３およびマスクデータ１５３の生成処理を異ならせる。

【0126】

カメラ画像処理部１５２は、輪郭切抜きモードが選択されると、カメラデータ１１９の被写体として含まれる人物の位置および輪郭を特定する。カメラ画像処理部１５２は、カメラデータ１１９に基づいて撮像画像データ１４３を生成する。撮像画像データ１４３は、カメラデータ１１９と同じであってもよいし、人物が含まれる領域の位置およびサイズに基づいてカメラデータ１１９の画像サイズを調整した画像データであってもよい。

【0127】

カメラ画像処理部１５２は、顔モードが選択されると、カメラデータ１１９の被写体として含まれる人物の顔の位置を特定する。カメラ画像処理部１５２は、特定した位置を基準とする領域（例えば、矩形）を抽出し、抽出した領域の画像サイズを調整して、撮像画像データ１４３を生成する。顔モードが選択されると、受信端末は、受信する撮像画像データ１４３から、位置および大きさが予め設定された所定形状を切り抜くため、カメラ画像処理部１５２は、受信端末において切り抜かれる所定形状の領域内に人物の顔が存在するように、カメラデータ１１９から抽出する領域を決定する。

【0128】

カメラ画像処理部１５２は、無加工モードが選択されると、カメラデータ１１９をそのまま撮像画像データ１４３として出力する。

【0129】

カメラ画像処理部１５２は、背景ぼかしモードが選択されると、カメラデータ１１９の被写体として含まれる人物の輪郭を特定する。カメラ画像処理部１５２は、カメラデータ１１９のうち、特定した人物の輪郭以外の領域をぼかして、撮像画像データ１４３を生成する。

【0130】

カメラ画像処理部１５２は、輪郭切抜きモードまたは顔モードが選択された場合に、人物または人物の顔を特定できない場合には、所定のデフォルト画像データ（例えば、黒画像データ）を撮像画像データ１４３として出力してもよい。

【0131】

カメラ画像処理部１５２は、顔モード、無加工モード、および背景ぼかしモードのいずれかが選択されると、すべての画素値が「１」であるマスクデータ１５３を生成してもよいし、マスクデータ１５３を生成しなくてもよい。

【0132】

ゲームプログラム実行部１５６は、ゲームプログラム１８０に含まれるコンピュータ読取可能命令に従って、ユーザ操作に応じてゲームを進行する。ゲームプログラム実行部１５６は、実行中のゲームの画像データとして、出力画像データ１２８を出力する。出力画像データ１２８は、ユーザがゲーム装置１００においてゲームをプレイする際に表示される解像度（または、画素数）およびフレームレートを有している。

【0133】

ゲーム画像処理部１５８は、出力画像データ１２８からゲーム画像データ１１３を生成する。ゲーム画像処理部１５８は、例えば、出力画像データ１２８をダウンサンプリングやダウンコンバートすることで、ゲーム画像データ１１３を生成する。

【0134】

データ配信部１５４は、ゲーム画像データ１１３に基づいて、第１ストリームデータ１１を生成および配信する。

【0135】

データ配信部１５４は、撮像画像データ１４３およびマスクデータ１５３に基づいて、第２ストリームデータ１３を生成および配信する。

【0136】

図１０は、本実施の形態に従うゲームシステム１の配信端末における処理手順を示すフローチャートである。図１０に示す各ステップは、例えば、ゲーム装置１００のプロセッサ１０２がシステムプログラム１１２および配信プログラム１１４を実行することで実現される。なお、ゲーム装置１００のプロセッサ１０２は、ゲームプログラム１８０も実行しているとする。

【0137】

ゲーム装置１００は、配信グループに参加するための処理を予め実行して、ある配信グループに属するとともに、当該配信グループにおいて配信端末として動作しているとする。

【0138】

図１０を参照して、ゲーム装置１００は、実行中のゲームプログラム１８０が出力する出力画像データ１２８を取得する（ステップＳ１００）。ゲーム装置１００は、出力画像データ１２８からゲーム画像データ１１３を生成する（ステップＳ１０２）。

【0139】

ゲーム装置１００は、ゲーム画像データ１１３に基づいて、第１ストリームデータ１１を生成し（ステップＳ１０４）、生成した第１ストリームデータ１１を配信する（ステップＳ１０６）。

【0140】

ゲーム装置１００は、撮像画像データの配信が許可されているか否かを判断する（ステップＳ１０８）。

【0141】

撮像画像データの配信が許可されていなければ（ステップＳ１０８においてＮＯ）、ゲーム装置１００は、予め定められた画像データ（例えば、すべての画素値が「０」である黒画像データ）を撮像画像データ１４３として出力し（ステップＳ１１０）、すべての画素値が「０」であるマスクデータ１５３を生成する（ステップＳ１１２）。

【0142】

撮像画像データの配信が許可されていれば（ステップＳ１０８においてＹＥＳ）、ゲーム装置１００は、ユーザが設定している表示モードを取得する（ステップＳ１１４）。ゲーム装置１００は、カメラ１１８からカメラデータ１１９を取得し（ステップＳ１１６）、表示モードに従って、カメラデータ１１９を画像処理して、撮像画像データ１４３およびマスクデータ１５３を生成する（ステップＳ１１８）。ステップＳ１１８の処理は、図９に示すカメラ画像処理部１５２について説明した処理と同様である。

【0143】

ゲーム装置１００は、マスクデータ１５３および撮像画像データ１４３に基づいて、第２ストリームデータ１３を生成し（ステップＳ１２０）、生成した第２ストリームデータ１３を配信する（ステップＳ１２２）。

【0144】

ゲーム装置１００は、配信端末として動作する状態が維持されているか否かを判断する（ステップＳ１２４）。配信端末として動作する状態が維持されていれば（ステップＳ１２４においてＹＥＳ）、ステップＳ１００以下の処理が繰り返される。配信端末として動作する状態が維持されていなければ（ステップＳ１２４においてＮＯ）、処理は終了する。

【0145】

なお、ステップＳ１１８において、マスクデータ１５３が生成されなくてもよい。また、ステップＳ１２０において、第２ストリームデータ１３の生成にマスクデータ１５３が用いられない場合があってもよい。また、ステップＳ１１２の処理は省略されてもよい。

【0146】

（ｆ２：受信端末）
図１１は、本実施の形態に従うゲームシステム１の受信端末におけるソフトウェア構成例を示す模式図である。図１１には、ゲーム装置１００が受信端末として動作する場合に着目したソフトウェア構成例が示されており、説明の便宜上、その他の処理モジュールは図示されていない。

【0147】

図１１を参照して、受信端末として動作するゲーム装置１００は、カメラデータ取得部１５０と、カメラ画像処理部１５２と、ゲームプログラム実行部１５６と、ゲーム画像処理部１５８と、データ受信部１６０と、カメラ画像生成部１６２と、配信表示画像生成部１６４と、スクリーン画像生成部１６６とを含む。

【0148】

例えば、カメラデータ取得部１５０、カメラ画像処理部１５２、ゲーム画像処理部１５８、データ受信部１６０、カメラ画像生成部１６２、配信表示画像生成部１６４、および、スクリーン画像生成部１６６は、ゲーム装置１００のプロセッサ１０２が、システムプログラム１１２を実行している環境において、配信プログラム１１４を実行することで実現される。ゲームプログラム実行部１５６は、ゲーム装置１００のプロセッサ１０２が、システムプログラム１１２を実行している環境において、ゲームプログラム１８０を実行することで実現される。

【0149】

カメラデータ取得部１５０、カメラ画像処理部１５２、ゲームプログラム実行部１５６、および、ゲーム画像処理部１５８は、受信端末が配信端末でもある場合に有効化される。これらの処理は、図９に示す配信端末における処理と同様であるので、詳細な説明は繰り返さない。ただし、カメラ画像処理部１５２は、撮像画像データ１４３およびマスクデータ１５３を生成するのではなく、自装置についての配信表示画像１４０のカメラ画像１４８を表示するために用いられるカメラ画像データ１７３を生成する。カメラ画像データ１７３は、例えば、人物の領域以外には重畳先の画像（例えばゲーム画像）が優先して表示される画像データである。配信端末は、カメラ画像データ１７３を生成する際に利用したデータに基づいてマスクデータ１５３を生成してもよい。

【0150】

ゲームプログラム実行部１５６は、実行中のゲームの画像データとして、出力画像データ１２８を出力する。

【0151】

データ受信部１６０は、１または複数の配信端末の各々から、第１ストリームデータ１１および第２ストリームデータ１３を受信する。

【0152】

カメラ画像生成部１６２は、第２ストリームデータ１３に含まれる撮像画像データ１４３およびマスクデータ１５３に基づいて、カメラ画像データ１７１を生成する。カメラ画像データ１７１は、例えば、人物の領域以外には重畳先の画像（例えばゲーム画像）が優先して表示される画像データである。

【0153】

カメラ画像生成部１６２は、マスクデータ１５３に基づいて、撮像画像データ１４３のうち人物の領域以外をマスキングする。マスキングの処理は、第２ストリームデータ１３に含まれるマスクデータ１５３に基づいて、第２ストリームデータ１３に含まれる撮像画像データ１４３のうち人物の領域以外の領域を、重畳先のゲーム画像データ１１３（実行中のゲームの画像）が優先して表示されるように設定することを含む。

【0154】

より具体的には、カメラ画像生成部１６２は、撮像画像データ１４３を構成する画素のうち、人物の領域以外の領域（例えば、マスクデータ１５３において「０」が設定される画素）に対応する画素の画素値を透明であることを示す値に変更してもよい。あるいは、カメラ画像生成部１６２は、マスクデータ１５３の各画素が示す値（「０」または「１」）に応じて、対応する画素の画素値として、ゲーム画像データ１１３および撮像画像データ１４３のうちいずれの画素を採用するのかを決定してもよい。

【0155】

配信表示画像生成部１６４は、第１ストリームデータ１１に含まれるゲーム画像データ１１３と、カメラ画像データ１７１とに基づいて、配信表示画像データ１７５を生成する。より具体的には、配信表示画像生成部１６４は、ゲーム画像データ１１３にカメラ画像データ１７１を重畳する。配信表示画像生成部１６４は、管理サーバ３００などから受信するグループ情報１７０に基づいて、ユーザアイコン１４４およびユーザ名１４６（図４参照）を表現するための画像データを生成してもよい。

【0156】

配信表示画像生成部１６４は、配信端末ごとに、配信表示画像データ１７５を生成する。

【0157】

スクリーン画像生成部１６６は、出力画像データ１２８と、配信端末ごとの配信表示画像データ１７５とに基づいて、スクリーン画像１２６をディスプレイ１２０に表示する。出力画像データ１２８は、スクリーン画像１２６の主画像１３０として表示されてもよい。

【0158】

このように、受信端末として動作するゲーム装置１００は、配信端末から受信される第１ストリームデータ１１および第２ストリームデータ１３に基づいて、配信端末で実行中のゲームの画像と撮像画像とを含む配信表示画像１４０を生成する。

【0159】

上述したように、ゲームシステム１において、配信端末は、実行中のゲームの画像データであるゲーム画像データ１１３と、カメラ１１８から取得される撮像画像データ１４３とをそれぞれ独立して配信する。受信端末は、それぞれのデータを独立して受信し、配信端末で実行中のゲームの画像に、配信端末のユーザの画像を重畳して表示する。２種類の画像を独立して送信することで、配信端末のカメラ１１８から取得される人物の画像を受信端末においてフレキシブルに利用できる。

【0160】

なお、配信端末が、撮像される画像をゲームの画像に重畳した上で配信する方法も想定され得る。この方法では、例えば、何らかの理由によって送信端末が撮像される画像を取得できない場合や、配信者が撮像される画像を配信したくない場合などにおいて、ゲームの画像も含めた画像データ自体を受信端末で受信できない、および、撮像される画像の部分が不自然に切り抜かれたゲームの画像が表示されてしまう、などのおそれがある。本実施の形態に従うゲームシステム１は、上述したような事態の発生を抑制する。

【0161】

図１２および図１３は、本実施の形態に従うゲームシステム１の受信端末における処理手順を示すフローチャートである。図１２および図１３に示す各ステップは、例えば、ゲーム装置１００のプロセッサ１０２がシステムプログラム１１２および配信プログラム１１４を実行することで実現される。なお、ゲーム装置１００のプロセッサ１０２は、ゲームプログラム１８０も実行しているとする。

【0162】

ゲーム装置１００は、配信グループに参加するための処理を予め実行して、ある配信グループに属することで、当該配信グループにおいて受信端末として動作しているとする。

【0163】

図１２および図１３を参照して、ゲーム装置１００は、実行中のゲームプログラム１８０が出力する出力画像データ１２８に基づいて、ディスプレイ１２０に表示される主画像１３０を更新する（ステップＳ２００）。

【0164】

ゲーム装置１００は、自装置が配信端末であるか否かを判断する（ステップＳ２０２）。自装置が配信端末でなければ（ステップＳ２０２においてＮＯ）、ステップＳ２０４～Ｓ２１６の処理はスキップされる。

【0165】

自装置が配信端末であれば（ステップＳ２０２においてＹＥＳ）、ゲーム装置１００は、出力画像データ１２８からゲーム画像データ１１３を生成する（ステップＳ２０４）。

【0166】

ゲーム装置１００は、撮像画像データの配信が許可されているか否かを判断する（ステップＳ２０６）。

【0167】

撮像画像データの配信が許可されていなければ（ステップＳ２０６においてＮＯ）、ゲーム装置１００は、予め定められた画像データ（例えば、デフォルトアイコン）をカメラ画像データ１７３として出力する（ステップＳ２０８）。

【0168】

撮像画像データの配信が許可されていれば（ステップＳ２０６においてＹＥＳ）、ゲーム装置１００は、ユーザが設定している表示モードを取得する（ステップＳ２１０）。ゲーム装置１００は、カメラ１１８からカメラデータ１１９を取得し（ステップＳ２１２）、表示モードに従って、カメラデータ１１９を画像処理して、カメラ画像データ１７３を生成する（ステップＳ２１４）。ステップＳ２１４の処理は、図９に示すカメラ画像処理部１５２について説明した処理と同様である。ただし、ステップＳ２１４において、マスクデータを生成する必要はない。

【0169】

ゲーム装置１００は、ゲーム画像データ１１３およびカメラ画像データ１７３に基づいて、ディスプレイ１２０に表示される、自装置についての配信表示画像１４０を更新する（ステップＳ２１６）。

【0170】

ゲーム装置１００は、配信端末のうち１つに着目し（ステップＳ２１８）、着目する配信端末から配信された第１ストリームデータ１１および第２ストリームデータ１３を受信する（ステップＳ２２０）。なお、第１ストリームデータ１１の受信、および、第２ストリームデータ１３の受信は、互いに独立して実行されてもよい。

【0171】

ゲーム装置１００は、着目する配信端末からの第１ストリームデータ１１に含まれるゲーム画像データ１１３を取得する（ステップＳ２２２）。ゲーム装置１００は、着目する配信端末からの第２ストリームデータ１３に含まれる撮像画像データ１４３およびマスクデータ１５３を取得する（ステップＳ２２４）。なお、第２ストリームデータ１３にマスクデータ１５３が含まれない場合もある。ゲーム装置１００は、撮像画像データ１４３およびマスクデータ１５３に基づいて、カメラ画像データ１７１を生成する（ステップＳ２２６）。

【0172】

ゲーム装置１００は、ゲーム画像データ１１３およびカメラ画像データ１７１に基づいて、ディスプレイ１２０に表示される、注目する配信端末についての配信表示画像１４０を更新する（ステップＳ２２８）。

【0173】

ゲーム装置１００は、すべての配信端末について、配信表示画像１４０を更新する処理が完了したか否かを判断する（ステップＳ２３０）。配信表示画像１４０を更新する処理が完了していない配信端末が存在していれば（ステップＳ２３０においてＮＯ）、ステップＳ２１８以下の処理が繰り返される。

【0174】

すべての配信端末について、配信表示画像１４０を更新する処理が完了していれば（ステップＳ２３０においてＹＥＳ）、ゲーム装置１００は、配信グループへの係属が継続しているか否かを判断する（ステップＳ２３２）。配信グループへの係属が継続していれば（ステップＳ２３２においてＹＥＳ）、ステップＳ２００以下の処理が繰り返される。配信グループへの係属が終了していれば（ステップＳ２３２においてＮＯ）、処理は終了する。

【0175】

［Ｇ．変形例］
上述において、輪郭切抜きモードが選択された場合に、マスクデータ１５３が利用される処理例を説明した。輪郭切抜きモードに加えて、または代えて、他のモードにおいてもマスクデータ１５３を利用して人物の領域がゲーム画像に重畳されてもよい。例えば、顔モードにおいてマスクデータ１５３が利用されてもよい。顔モードにおいては、所定形状の領域が切り抜かれるので、当該切り抜かれる領域を示すマスクデータ１５３が配信される。この変形例においては、マスクデータ１５３は、人物の領域を示す情報であってもよいし、配信される撮像画像データのうちの切り抜く領域を示す情報であってもよい。

【0176】

上述の図１１～図１３において、配信端末および受信端末の両方に該当するゲーム装置１００においては、自装置のカメラ１１８が出力するカメラデータ、および、自装置において実行されるゲームプログラム１８０により生成されるゲーム画像データ１１３に基づいて、自装置の配信表示画像１４０が生成される。このような処理に代えて、自装置が配信する第１ストリームデータ１１および第２ストリームデータ１３を自装置が受信し、この受信したデータに基づいて、自装置の配信表示画像１４０が生成されてもよい。

【0177】

上述において、配信端末から配信される撮像画像データ１４３を配信端末から配信されるゲーム画像データ１１３（配信表示画像１４０）に重畳する処理例を説明したが、撮像画像データ１４３は、どのように使用されてもよい。例えば、撮像画像データ１４３およびマスクデータ１５３に基づいて生成されるカメラ画像は、受信端末において実行されるゲームプログラム１８０が出力する任意の画像に重畳されてもよいし、主画像１３０に重畳されてもよい。さらに、カメラ画像は、受信端末において出力される任意の画像（例えば、背景の静止画像など）に重畳されてもよい。

【0178】

上述において、配信端末において、撮像画像データの配信が許可されていない場合には、第２ストリームデータ１３は、撮像画像データ１４３に代えて、所定のデフォルト画像を含む例を説明した。このとき、すべての画素値が「０」であるマスクデータ１５３も同時に配信されるのであれば、受信端末においては、第２ストリームデータ１３が撮像画像データ１４３を含んでいるか否かにかかわらず、カメラ画像１４８は表示されない。そこで、カメラデータから生成される撮像画像データ１４３を配信端末から常に配信する一方で、マスクデータ１５３の画素値を適宜変更することで、受信端末におけるカメラ画像１４８の表示の有無などを制御してもよい。

【0179】

本実施の形態に従うゲームシステム１において、配信端末は、自装置の画像だけではなく、ユーザが発話する音声を配信してもよい。音声は、画像と併せて配信されてもよいし、別のストリームデータで配信されてもよい。

【0180】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0181】

１ ゲームシステム、４ ネットワーク、１０ 配信データ、１１ 第１ストリームデータ、１３ 第２ストリームデータ、１４ 画像ストリームデータ、１５ マスクストリームデータ、２０ 受信データ、１００ ゲーム装置、１０２，２０２ プロセッサ、１０４，２０４ メモリ、１０６，２０６ 通信部、１０８ カメラインターフェイス、１１０，２１０ ストレージ、１１１，１４１，１５１ 制御情報、１１２，２１２ システムプログラム、１１３ ゲーム画像データ、１１４，２１４ 配信プログラム、１１６，２１６ 入力部、１１８ カメラ、１１９ カメラデータ、１２０ ディスプレイ、１２２ マイク、１２４ スピーカ、１２６ スクリーン画像、１２８ 出力画像データ、１３０ 主画像、１３２，１４２ ゲーム画像、１４０ 配信表示画像、１４３ 撮像画像データ、１４４ ユーザアイコン、１４６ ユーザ名、１４８ カメラ画像、１４８Ａ 輪郭切抜きモード表示、１４８Ｂ 顔モード表示、１４８Ｃ 無加工モード表示、１４８Ｄ 背景ぼかしモード表示、１５０ カメラデータ取得部、１５２ カメラ画像処理部、１５３ マスクデータ、１５４ データ配信部、１５６ ゲームプログラム実行部、１５８ ゲーム画像処理部、１６０ データ受信部、１６２ カメラ画像生成部、１６４ 配信表示画像生成部、１６６ スクリーン画像生成部、１７０ グループ情報、１７１，１７３ カメラ画像データ、１７５ 配信表示画像データ、１８０ ゲームプログラム、２００ 配信サーバ、３００ 管理サーバ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】