特開 2024-53873 画面編集装置、画面編集方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024053873

(43)【公開日】2024-04-16

(54)【発明の名称】画面編集装置、画面編集方法及びプログラム

(51)【国際特許分類】

   A63F 13/85 20140101AFI20240409BHJP

   A63F 13/533 20140101ALI20240409BHJP

   A63F 13/5255 20140101ALI20240409BHJP

   A63F 13/49 20140101ALI20240409BHJP

   A63F 13/86 20140101ALI20240409BHJP

【ＦＩ】

A63F13/85

A63F13/533

A63F13/5255

A63F13/49

A63F13/86

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022160343

(22)【出願日】2022-10-04

(71)【出願人】

【識別番号】516155654

【氏名又は名称】株式会社グルーブシンク

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】坂本 敏

(57)【要約】

【課題】映像コンテンツの配信に際して、映像コンテンツ自体に手を加えることなく、リアルタイムで視聴者のニーズに応えるような情報を自動的に実況画面に付加することを可能とすること。
【解決手段】
画面編集装置１は、画面編集装置１は、映像コンテンツの表示画面を構成する画面データを取得する処理と、前記表示画面上に設定された所定の編集領域に適用されるべく用意されている編集用画面データを記憶する処理と、前記表示画面上に設定された所定の判定領域における表示内容を解析する処理と、前記解析処理の結果に基づいて、前記編集領域に適用する前記編集用画面データを読み出して、前記編集領域に適用する処理と、前記編集用画面データが適用された編集済み画面データを出力する処理とを実行する処理部１０を備えている。
【選択図】図５

【特許請求の範囲】

【請求項1】

映像コンテンツの表示画面を構成する画面データを取得する処理と、
前記表示画面上に設定された所定の編集領域に適用されるべく用意されている編集用画面データを記憶する処理と、
前記表示画面上に設定された所定の判定領域における表示内容を解析する処理と、
前記解析処理の結果に基づいて、前記編集領域に適用する前記編集用画面データを読み出して、前記編集領域に適用する処理と、
前記編集用画面データが適用された編集済み画面データを出力する処理と、
を実行する処理部を備えている画面編集装置。

【請求項2】

前記映像コンテンツが、複数の選手が参加するビデオゲームであり、前記表示画面が、前記ビデオゲームをプレイしているいずれかの選手の視点から見た映像を示している、請求項１に記載の画面編集装置。

【請求項3】

前記ビデオゲームが、複数の選手から構成されるチーム同士による対戦型ビデオゲームであり、前記表示画面上の前記判定領域が、前記表示画面の視点を提供している選手の名前、対戦している各チームのチームカラー、各チームに所属する選手の名前、各選手の状態を示すアイコンのうちのいずれかを表示する領域である、請求項２に記載の画面編集装置。

【請求項4】

前記編集用画面データが、視点を提供している選手を示すアイコン、各チームに所属する選手を示すアイコン、及び各チームを示すロゴのうちのいずれかを含んでいる、請求項３に記載の画面編集装置。

【請求項5】

前記処理部が、前記編集用画面データを、当該編集用画面データが適用される前記編集領域の属性に応じて加工する、
請求項４に記載の画面編集装置。

【請求項6】

前記処理部が、前記選手の状態を示すアイコンの表示内容に応じて、対応する選手のアイコンの表示態様を変更する、
請求項４に記載の画面編集装置。

【請求項7】

前記処理部が出力した編集済み画面データが、動画配信システムに入力されてゲーム実況配信に利用される、請求項２～６のいずれか一項に記載の画面編集装置。

【請求項8】

前記ビデオゲームの画面表示内容に基づいて表示画面の視点の変化を検出する画面編集処理を実行し、前記画面表示内容には、少なくとも前記視点を提供している選手に関する情報が含まれている、
請求項２～６のいずれか一項に記載の画面編集装置。

【請求項9】

情報処理装置が、
映像コンテンツの表示画面を構成する画面データを取得する処理と、
前記表示画面上に設定された所定の編集領域に適用されるべく用意されている編集用画面データを記憶する処理と、
前記表示画面上に設定された所定の判定領域における表示内容を解析する処理と、
前記解析処理の結果に基づいて、前記編集領域に適用する前記編集用画面データを読み出して、前記編集領域に適用する処理と、
前記編集用画面データが適用された編集済み画面データを出力する処理と、
を実行する画面編集方法。

【請求項10】

情報処理装置に、
映像コンテンツの表示画面を構成する画面データを取得する処理と、
前記表示画面上に設定された所定の編集領域に適用されるべく用意されている編集用画面データを記憶する処理と、
前記表示画面上に設定された所定の判定領域における表示内容を解析する処理と、
前記解析処理の結果に基づいて、前記編集領域に適用する前記編集用画面データを読み出して、前記編集領域に適用する処理と、
前記編集用画面データが適用された編集済み画面データを出力する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画面編集装置、画面編集方法及びプログラムに関する。

【背景技術】

【0002】

様々な映像コンテンツが、様々な動画配信プラットフォームからインターネットを通じて配信され、モバイル端末等によって手軽に楽しめるようになってきている。人気の高い映像コンテンツとして、各種のビデオゲームのプレイ実況番組がある。これは、各種のビデオゲームのプレイの状況を配信しながら、プレイヤーやコメンテーターがプレイ内容の解説を行う形態をとることが多い。このようなビデオゲームのプレイ実況においては、視聴者が楽しめるように様々な工夫が施されるようになっている。例えば特許文献１では、プレイヤーの操作内容を含むログデータに基づいてプレイの状況に対応する実況解説情報を付加したり、リプレイ動画の視聴者がコメント情報を付加したりすることを可能とする技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許６９４７９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、ビデオゲームの種類によっては、実況画面からだけでは視聴者がゲームの進行状況を適切に把握することが難しいものもある。例えば、複数のプレイヤーがチームを組んで対戦する対戦型のビデオゲームである。対戦型ビデオゲームでは、ゲーム内の各チームのメンバーとしてプレイヤーが参加し、戦闘を繰り返しながらゲームを進行させていく。その際、実況画面としては、いずれかのチームのいずれかのメンバーの視点から見た状景が表示されることが多く、付帯情報として、各チームのメンバーリスト、視点を提供しているメンバーの情報、各メンバーの状態、獲得ポイント、チームとしての獲得ポイント等が表示される。

【0005】

このような対戦型ビデオゲームのライブ実況を行う場合、次のような問題が生じる。すなわち、実況画面に表示されるゲームの表示画面には、ゲームプログラムにおいてあらかじめ設定されているチーム名やそのメンバー名が表示されるので、視聴者には実際に各メンバーとなってプレイしているのがどの参加者であるのかわからないという問題がある。このような問題を解消するために、実況画面において表示されているメンバーリストやチーム名等を、実際に参加しているプレイヤーの名前や顔写真等によって上書きする（オーバーレイする）処理が実行される。しかし、このような処理は従来実況画面を見ながら人手で行っていたため、例えば多くのチームが参加してリアルタイムで実施されるゲームイベント等の場合、複数の対戦が並行して行われることもあって上記した画面のオーバーレイといった編集作業に多大のマンパワーが必要であった。実況画面の視点を提供するプレイヤーは、ゲーム進行状況に応じて実況ディレクターがスイッチングしていくため、そのプレイヤーの情報は実況画面を注視しながら適時に画面に挿入する必要があり、注意力が要求される一方、ミスも生じやすい。また参加するプレイヤーのデータもイベント直前に変更になる場合があるなど、管理が煩雑で実況画面表示のミスにつながりやすかった。このように、実況画面を人手に頼ってリアルタイムで編集する作業には、強く改善が求められていた。

【0006】

本発明の目的の一つは、映像コンテンツの配信に際して、映像コンテンツ自体に手を加えることなく、リアルタイムで視聴者のニーズに応えるような情報を自動的に実況画面に付加することを可能とする画面編集装置、画面編集方法及びプログラムを提供することである。

【課題を解決するための手段】

【0007】

本発明の一つの態様による画面編集装置は、映像コンテンツの表示画面を構成する画面データを取得する処理と、前記表示画面上に設定された所定の編集領域に適用されるべく用意されている編集用画面データを記憶する処理と、前記表示画面上に設定された所定の判定領域における表示内容を解析する処理と、前記解析処理の結果に基づいて、前記編集領域に適用する前記編集用画面データを読み出して、前記編集領域に適用する処理と、前記編集用画面データが適用された編集済み画面データを出力する処理とを実行する処理部を備えている。

【0008】

本発明の他の態様は、情報処理装置が、映像コンテンツの表示画面を構成する画面データを取得する処理と、前記表示画面上に設定された所定の編集領域に適用されるべく用意されている編集用画面データを記憶する処理と、前記表示画面上に設定された所定の判定領域における表示内容を解析する処理と、前記解析処理の結果に基づいて、前記編集領域に適用する前記編集用画面データを読み出して、前記編集領域に適用する処理と、前記編集用画面データが適用された編集済み画面データを出力する処理とを実行する画面編集方法である。この画面編集方法を情報処理装置に実行させるプログラムもまた本発明の一つの態様である。

【発明の効果】

【0009】

本発明によれば、映像コンテンツの配信に際して、映像コンテンツ自体に手を加えることなく、リアルタイムで視聴者のニーズに応えるような情報を自動的に実況画面に付加することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態における画面編集装置の機能を例示する模式図である。

【図2】本実施形態における画面編集の対象となるゲームの表示画面例を示す図である。

【図3】本実施形態における画面編集を実行した後のゲームの表示画面例を示す図である。

【図4】本発明の一実施形態における画面編集装置のハードウェア構成を例示するブロック図である。

【図5】本発明の一実施形態における画面編集装置の処理部の構成を例示するブロック図である。

【図6】本発明の一実施形態における判定領域記憶部の構成例を示す図である。

【図7】本発明の一実施形態における選手状態判定データ記憶部の構成例を示す図である。

【図8】本発明の一実施形態における編集領域記憶部の構成例を示す図である。

【図9】本発明の一実施形態におけるチームデータ記憶部の構成例を示す図である。

【図10】本発明の一実施形態におけるチームカラー記憶部の構成例を示す図である。

【図11】本発明の一実施形態における選手データ記憶部の構成例を示す図である。

【図12】本発明の一実施形態における画面編集処理を例示するフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明について、その実施形態に即して添付図面を参照しながら説明する。

【0012】

＜画面編集装置の機能＞
まず、本発明の一実施形態による画面編集装置の主要な機能について説明する。図１は、本実施形態における画面編集装置１の機能を説明するブロック図である。図１に示すように、画面編集装置１には、画面データ編集機能Ｆ１と編集済み画面データ出力機能Ｆ２とが備えられている。画面編集装置１には、ゲーム機２、及び動画配信システム３が接続されている。ゲーム機２は、本実施形態の画面編集装置１を利用しながらゲーム実況の配信を行うために、プレイヤーがゲームを行うのに使用されるハードウェアである。ゲーム機２は、様々な種類のゲーム専用機、あるいは各種ゲームプログラムがインストールされたパーソナルコンピュータ、を含む。ゲーム機２から出力される映像信号が、画面編集装置１に入力される。ゲーム機２からの映像出力信号は、ゲーム機２の出力仕様、ゲームプログラムの仕様に従った解像度となり、画面編集装置１ではそれに適合するようにキャプチャすればよい。なお、後述するように、画面編集装置１では、ゲームの進行状況、例えばゲーム画面の視点の切り替え等を、ゲーム機２から取得する画面に基づいて判断する。

【0013】

画面編集装置１では、画面データ編集機能Ｆ１が、画面解析用データＤ１及び画面編集用データＤ２を用いて入力されたゲームの表示画面を編集する。画面解析用データＤ１は、ゲーム機２から入力された画面データにおいて、画面編集に当たり、画面の表示内容を解析するのに必要なデータである。具体的には、画面解析用データＤ１は、表示画面内における所定領域を特定するための座標情報を含む。画面編集用データＤ２は、画面解析用データＤ１を用いて表示画面を解析した結果に基づいて、表示画面に対して所定の編集を実行するために用いられるデータである。具体的には、画面編集用データＤ２は、ゲームに参加しているプレイヤーを表す顔写真等のアイコンなど、表示画面にオーバーレイするための情報を含む。画面解析用データＤ１、画面編集用データＤ２を用いた画面データ編集機能Ｆ１による画面編集処理については、画面編集装置１の構成に基づいて後述する。

【0014】

編集済み画面データ出力機能Ｆ２は、画面データ編集機能Ｆ１によって編集されたゲーム画面データを、動画配信システム３に所定の仕様で送出する機能を有する。動画配信システム３は、画面編集装置１からのゲーム表示画面データを受けて、これをストリーミング配信する機能を提供する。動画配信システム３としては、特に限定されることなく既存の動画配信プラットフォームを利用することができる。動画配信システム３としては、テレビ放送システム等を想定することもできる。

【0015】

＜画面編集装置１による画面編集例＞
ここで、本実施形態の画面編集装置１によるゲームの表示画面の編集処理例について説明する。図２に、画面編集装置１に入力されるゲーム画面の例を、図３に、画面編集装置１による入力画面の編集処理例を示している。

【0016】

まず、図２を参照してゲームの表示画面例を説明する。図２に示す画面例は、画面編集の対象と想定する対戦型ビデオゲームにおける、ある選手の視点から見た状景を示している。このゲーム画面は本実施形態を説明するために用意したもので、なんらかの特定のビデオゲームソフトウェアを示すものではない。このゲームでは、４人のメンバーで構成されたチーム同士が様々なシチュエーションで戦闘を行いながら勝敗を競う。

【0017】

図２に例示する画面では、画面上部の左右に、それぞれのチームの情報が、画面上部の中央に両者の対戦状況が示されている。具体的には、この画面例では、チーム名「ＲＥＤＷＡＲＲＩＥＲＳ」（以下「Ｒチーム」と略称）とチーム名「ＴＲＩＢＥ２１」（以下「Ｔチーム」と略称）の２チームが対戦しており、画面上部中央に示すように、Ｒチームがスコア２４を、Ｔチームがスコア３０を獲得している。

【0018】

チームの情報についてみると、例えば画面上部左側のＲチームについては、符号１１０Ａで示す領域に、Ｒチームのチームカラーを背景として、チーム名とＲチームを示すバッジが表示されている。符号１１０Ａで示される領域を「チーム判定領域」と呼ぶ。画面編集装置１は、チーム判定領域１１０Ａに表示されている画像に基づいて、対戦チームの一方についての情報を取得する。他方のチームについての情報は、同様に、他方のチームについてのチーム判定領域１１０Ｂに表示されている画像に基づいて取得される。

【0019】

各チーム判定領域１１０Ａ，１１０Ｂの下には、符号１２０Ａで示す領域に、各チームに所属する４人の選手の名前が、その左側に、各選手の状態を示す符号１３０Ａ，１３０Ｂの領域が設けられている。符号１３０Ａ、１３０Ｂの領域において、ドクロのマークが表示されている選手は、行動不能の状態となっていることを示している。また、符号１３０Ａ、１３０Ｂの領域に丸で囲まれた星のマークが表示されている選手（図２の例ではＦｒａｎｃｉｓ選手）は、図２に例示されているゲーム表示画面としての視点を提供している選手（以下「視点選手」と略称する）であることを示している。以下、符号１２０Ａ、１２０Ｂで示される領域を「選手名判定領域」と、符号１３０Ａ、１３０Ｂで示される領域を「選手状態判定領域」と呼ぶ。

【0020】

図２の画面例で、画面右下には、図２の表示画面の視点を提供している視点選手の情報、例えば選手名、選手を示すアイコン（ここでは顔写真）が表示されている。図２の例では、視点選手はＦｒａｎｃｉｓ選手であり、その顔写真が合わせて表示されている。Ｆｒａｎｃｉｓ選手は、Ｔチームの所属であることが、選手名判定領域１２０Ｂの表示内容から知られる。

【0021】

前記のように、図２に例示する表示画面は、図１のゲーム機２によって生成されたオリジナル画面である。したがって、対戦するにあたってゲームのパラメータとしてあらかじめ参加チームごとに設定するチーム名、各チームの所属選手名を除いては、ゲームソフトウェアが生成した情報がそのまま表示されている。例えば、図２のチーム判定領域１１０Ａ，１１０Ｂにおいて、ＲＥＤＷＡＲＲＩＥＲＳといったチーム名は対戦に当たって入力された名称が表示されているが、付随して表示されているチームロゴは、ゲームに規定値として設定されているものが利用される。同様に、視点選手の情報表示領域に表示されている顔イラストも、ゲームソフトウェアが持っていたデータを用いている。本実施形態の画面編集装置１は、そのようなゲーム由来の情報が使用されている部分についても、実際に対戦しているチームの所属選手に関する情報と置き換えることによって、ゲーム表示画面を通じてゲーム実況を視聴している観客が、実際に対戦している選手について画面表示から直感的に把握することができるようにしている。

【0022】

ここで、本実施形態における画面編集装置１によって編集されたゲーム表示画面の例を説明する。図３は、図２に例示したゲーム表示画面を画面編集装置１によって編集した後の状態を示している。図３の表示画面例では、図２のチーム判定領域１１０Ａ，１１０Ｂについて、符号２１０Ａ，２１０Ｂで示されるチームカラーがチーム名、チームロゴとともに表示されている。符号２１０Ａ，２１０Ｂで示される領域を、「チーム領域」と呼ぶ。チーム領域２１０Ａ，２１０Ｂでは、その表示内容が、各チーム独自のチームロゴを含むものに変更されている。図３で、画面上部中央にある対戦チームのスコア表示される部分について、ゲーム内で設定されていたチームロゴに代えて、各チーム独自のチームロゴが表示されている。この表示領域も、チーム領域２１０Ａ，２１０Ｂに属する。

【0023】

各チーム領域２１０Ａ，２１０Ｂの下方には、各チームに所属している選手の選手名に隣接して、各選手を示すアイコンが表示されている。この表示領域を、選手アイコン領域２２０Ａ，２２０Ｂで示すこととする。このように選手名に隣接して実際にプレイしている選手の顔写真等のアイコンが表示されることで、観客は各チームの実際の参加選手を即座に把握することが可能となっている。なお、この選手アイコン領域２２０Ａ，２２０Ｂには、選手の顔写真に限らず、イラストや各選手を特定するのに役立つ周知のロゴ等をアイコンとして表示させることができる。

【0024】

図３の編集済み表示画面の右下には、図２と同様に、視点選手に関する情報が表示されている。図２と同様に、図３においても視点選手はＦｒａｎｃｉｓ選手である。ただし、視点選手名とともに表示されているアイコン（顔写真）が異なっている、図２の場合は、このゲーム内でＦｒａｎｃｉｓ選手がプレイしているキャラクターについてあらかじめゲーム内で設定されている顔写真（顔イラスト）が表示されていた。図３においては、このキャラクターのイラストが、Ｆｒａｎｃｉｓ選手に関して登録されている顔写真で置き換えられている。この置き換え処理が行われる領域を、視点選手アイコン領域２３０と呼ぶ。

【0025】

図３に例示するゲーム表示画面においては、図２のオリジナル画面にはなかったチームバナー領域２４０の表示が追加されている。チームバナー領域２４０は、視点選手の所属チームが表示画面から即座に把握することができるようにしたもので、図３の例では、視点選手であるＦｒａｎｃｉｓ選手が所属するＴチームのロゴをゲーム表示画面外の下部に表示している。これにより、ゲーム表示画面を見ている観客は、どちらのチームの選手の視点で見ているかを即座に把握することができる。以上説明した本実施形態の画面編集装置１による画面編集処理が具体的にどのようなデータ処理に基づいて実現されるかは、以下に詳述する。

【0026】

＜画面編集装置１＞

【0027】

次に、本実施形態における画面編集装置１の構成について説明する。図４は、本発明の一実施形態における画面編集装置１のハードウェア構成を例示するブロック図である。図４に示すように、本実施形態における画面編集装置１は、処理部１０と、主記憶部２０と、補助記憶部３０と、入力部４０と、出力部５０と、通信部６０とを備える。画面編集装置１は、典型的には、通信機能を備えたパーソナルコンピュータ等の情報処理装置として具現化することができる。

【0028】

図４に例示した各ハードウェア要素について説明する。処理部１０は、画面編集装置１の動作に必要な各種の演算及び制御等の処理を行うプロセッサによって構成される。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等やこれらの組合せである。処理部１０は、これらのプロセッサにハードウェアアクセラレーター等を組み合わせたものであってもよい。

【0029】

主記憶部２０は、ファームウェア、システムソフトウェア及びアプリケーションソフトウェア等のプログラムを記憶するとともに、各種の処理を行う上で一時的に利用されるワークエリアとしても機能する。主記憶部２０は、例えば、不揮発性メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、揮発性メモリであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等によって構成される。

【0030】

補助記憶部３０は、後述するような、ゲーム表示画面上において画面編集処理のために表示内容を解析するための情報、画面編集処理において、ゲーム表示画面上において追加、置き換えを実行するための情報等を記憶する。補助記憶部３０は、半導体メモリ等で構成される。

【0031】

入力部４０は、例えばキーボード、マウス、タッチパネル、マイク等の入力デバイスで構成され、処理部１０に画面編集処理を実行させるための操作を受け付ける。出力部５０は、編集した画面を構成する画面データを表示させるためのディスプレイや音声を拡声するスピーカ等で構成され、編集前後の表示画面等を出力する。

【0032】

通信部６０は、画面編集装置１がゲーム機２、実況コントローラ３、動画配信システム３等の外部の情報処理装置との間で行う通信を制御する。通信部６０は、例えば、ＳＩＭ（Subscriber Identity Module）カードやネットワークアダプタ等のネットワーク接続機器や、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）やＷｉ－Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の通信規格に基づく無線通信機器等によって構成される。なお、通信部６０と外部の情報処理装置との間の通信は、上記に限定されることなく、ゲーム機２、実況コントローラ３、動画配信システム３との通信インターフェイスにあわせた適宜の構成を採用することができる。

【0033】

次に、画面編集装置１の処理部１０が実現する機能について説明する。図５は、本発明の一実施形態における画面編集装置１の処理部１０によって実現される機能を例示するブロック図である。本実施形態の処理部１０は、画面データ取得部１１と、判定領域データ取得部１２と、判定領域データ解析部１３と、編集用データ取得部１４と、編集用データ生成部１５と、画面データ編集部１６と、編集済み画面データ出力部１７とを有する。

【0034】

画面データ取得部１１は、ゲーム実況の対象となるゲームソフトウェアを実行するゲーム機２が出力するビデオ信号を取得して、所定の解像度を有する表示画面データに展開し、画面データの編集処理ができるようにする機能を有する。

【0035】

判定領域データ取得部１２は、ゲーム機２から取得したゲーム画面のデータについて、あらかじめ設定された画面上の領域に表示されている表示データを取得する機能を有する。具体的には、取得の対象となるのは、図２の表示画面例において例示した、チーム判定領域１１０Ａ，１１０Ｂ、選手名判定領域１２０Ａ，１２０Ｂ、選手状態判定領域１３０Ａ，１３０Ｂ、及び視点選手名判定領域１４０それぞれに表示されているデータである。

【0036】

ゲーム等の映像コンテンツにおいて、画面上で編集すべき領域はあらかじめ定まっている。本実施形態では、これらの領域は、画面編集装置１の処理対象となるゲーム等の映像コンテンツに対応して、あらかじめ記憶させておく。本実施形態における解析対象領域は、判定領域記憶部２１に記憶されている。判定領域記憶部２１の構成例を、図６に示している。図６の判定領域記憶部２１は、例えば主記憶部２０に格納しておくことができる。あるいは、補助記憶部３０に格納しておき、判定領域データ取得部１２が、主記憶部２０に読み出して利用するとしてもよい。

【0037】

図６に例示する判定領域記憶部２１には、図２のゲーム表示画面上におけるチーム判定領域１１０Ａ，１１０Ｂ、選手名判定領域１２０Ａ，１２０Ｂ、選手状態判定領域１３０Ａ，１３０Ｂ、及び視点選手名判定領域１４０が、それぞれ画面上の座標によって記述されている。具体的には、略矩形を呈する各領域は、ゲーム表示画面上に設定されたＸＹ直交座標系の座標によって特定されている。

【0038】

判定領域データ解析部１３は、判定領域データ取得部１２が取得した表示データを、画像データのマッチング、光学文字認識（ＯＣＲ）機能等のデータ処理を用いて解析する機能を有する。例えば、選手名判定領域１２０Ａ，１２０Ｂ、視点選手名判定領域１４０から取得した表示データについては、まず画像データとして記憶されている選手名表示テンプレートと、取得した画像データとのマッチングを行い、マッチング結果が不調であった場合に、ＯＣＲ機能により表示されている文字の解析を実行して、文字データとして登録されている選手名との類似度を判定する。チーム判定領域１１０Ａ，１１０Ｂにおいては、表示されているチームを特定すべく、表示データが含む背景色を分析する。選手状態判定部１３０Ａ，１３０Ｂについては、選手状態判定領域１３０Ａ，１３０Ｂに表示される対象の図形データをあらかじめ保持しておき、選手状態判定領域１３０Ａ，１３０Ｂから取得された表示データと比較して、表示内容を特定する。本実施形態では、図７に例示する選手状態記憶部２３に、選手が行動不能に陥っていることを示すドクロマークと、視点選手であることを示すマーク（丸の中に星）とが記憶されている。

【0039】

編集用データ取得部１４は、判定領域データ解析部１３による各判定領域からの表示データ解析結果に基づいて、画面データの編集処理に使用するためのデータを生成する機能を有する。素材となるデータは、あらかじめ例えば補助記憶部３０に記憶させておく。本実施形態では、補助記憶部３０に、チームデータ記憶部２４、チームカラー記憶部２５、及び選手データ記憶部２６が格納されている。

【0040】

図９に、チームデータ記憶部２４の構成例を示している。図９に例示するチームデータ記憶部２４には、チーム名と、該当チームに所属する選手名と、チームロゴとが対応付けて格納されている。例えば視点選手の選手名が特定された場合、チームデータ記憶部２４を参照してその所属チームを知ることができる。また、チーム判定領域１１０Ａ，１１０Ｂの背景色、表示されているチーム表示文字列等から判定したチーム名に基づいて、そのチームのチームロゴのデータを取得することができる。

【0041】

図１０に、チームカラー記憶部２５の構成例を示している。図１０に例示するチームカラー記憶部２５には、ゲームで対戦するチーム名と、そのチームに与えられているチームカラーとが対応付けて記録されている。具体的には、チーム名に対応して、表示画面の背景色に用いられるカラーとカラーコードが格納される。編集用データ取得部１４は、チーム判定領域１１０Ａ，１１０Ｂにおける背景色のカラーコードを分析して、得られたカラーコードに対応してチームカラー記憶部２５に格納されているチーム名を当該判定領域に表示されているチーム名であると判定することができる。なお、上記のように、チーム名を示す文字列、チームカラー、及びチームロゴは互いに関連付けて格納されているので、チーム名を示す文字列、チームカラー、及びチームロゴのいずれか、あるいは組み合わせに基づいて、チーム名、チームロゴを判定することが可能である。図９のチームデータ記憶部２４と図１０のチームカラー記憶部２５とは、統合して一つのテーブルとして構成してもよい。また、画面編集の対象となるゲームにおける画面表示内容に応じて、画面に表示される他の表示項目からチーム名等を判断するように、適宜構成を変更することも可能である。

【0042】

図１１に、選手データ記憶部２６の構成例を示している。図１１に例示する選手データ記憶部２６には、選手名のテキストデータと、選手名の画像データであるテンプレートデータと、選手アイコンデータとが対応付けて格納されている。編集用データ取得部１４は、判定領域データ解析部１３による選手名判定領域１２０Ａ，１２０Ｂの画像データマッチング結果に基づいて、選手データ記憶部２６を参照して対応する選手名テキストデータとアイコンデータとを取得する。図１１の選手データ記憶部２６において、テンプレートデータは、上記画像マッチングの判定基準とされるデータである。選手名をゲーム表示画面の選手名表示データの解析から求めているのは、選手名テキストデータとして登録されている選手名とは別の名称でプレイが行われる場合があるためである。例えば、選手名テキストデータ「Ａｎｄｙ」と事前に登録していた選手が、実際にゲームをプレイするときには例えば「ＮｅｕｅＡｎｄｙ」といった別の名前をゲームで設定してプレイしてしまう場合がある。そのような場合でも、本実施形態では、まずゲーム表示画面に表示されている選手名をテンプレートデータとマッチングして特定する。この特定が不成功であった場合には、判定領域データ解析部１３が持つＯＣＲ機能にてテキスト化し、選手名テキストデータとの対比で類似しているテキストデータを取得することができる。編集用データ取得部１４は、また、画像マッチング又はＯＣＲ解析結果に基づいて特定された選手名に対応付けられているアイコンデータも取得する。アイコンデータは図３の選手アイコン領域２２０Ａ，２２０Ｂに表示されるデータとして使用される。なお、選手アイコンデータとしては、選手の顔写真に限らず、イラストや選手についての周知の識別ロゴ図形など、顔写真以外のデータを格納しておいてもよい。

【0043】

編集用データ生成部１５は、編集用データ取得部１４が取得した編集用データに基づいて、図３の各表示領域に表示させるデータを生成する機能を有する。具体的には、編集用データ生成部１５は、取得した編集用データを、図３に例示したチーム領域２１０Ａ，２１０Ｂ、選手アイコン領域２２０Ａ，２２０Ｂ、視点選手アイコン領域２３０、及びチームバナー領域２４０の各領域が有する属性、例えば各領域の形状、面積等に応じて加工して、各領域用の表示データを生成する。チーム領域２１０Ａ，２１０Ｂについては、チームデータ記憶部２４から取得したチームロゴと、チームカラー記憶部２５から取得したチームカラーを用いて、対応するサイズの表示データを生成する。選手アイコン領域２２０Ａ，２２０Ｂには、選手データ記憶部２６から取得した各チーム所属選手の顔写真データを用いて、対応するサイズの表示データを生成する。視点選手アイコン領域２３０については、選手データ記憶部２６から取得したアイコンデータを用いて、対応するサイズの表示データを生成する。チームバナー領域２４０については、チームデータ記憶部２４から取得したチームロゴを用いて、対応するサイズの表示データを生成する。なお、図３に示した表示データは一例であり、画面上のどの領域にどのような画像を表示させるかは、本実施形態を適用する映像コンテンツの種類、内容等に応じて定めればよい。

【0044】

画面データ編集部１６は、編集用データ生成部１５が生成した編集用データを使用して、図３に例示したチーム領域２１０Ａ，２１０Ｂ、選手アイコン領域２２０Ａ，２２０Ｂ、視点選手アイコン領域２３０、及びチームバナー領域２４０にそれぞれ対応する表示データをオーバーレイする処理を実行する機能を有する。オーバーレイを実行する領域については、例えば主記憶部２０に格納される編集領域記憶部２２に記録されている。図８に、編集領域記憶部２２の構成例を示している。図８に例示する編集領域記憶部２２には、表示画面上でオーバーレイ処理が実行される領域であるチーム領域２１０Ａ，２１０Ｂ、選手アイコン領域２２０Ａ，２２０Ｂ、視点選手アイコン領域２３０、及びチームバナー領域２４０が、表示画面上のＸＹ直交座標系における座標の組合せで特定されている。図８の例では、各領域を矩形領域と設定してそれぞれ座標の組み合わせで表現しているが、表示画像を張り付ける際のアンカーとなる座標を特定するなど、他の手法を採用してもよい。

【0045】

編集済み画面データ出力部１７は、画面データ編集部１６によって所要のオーバーレイ処理が施された画面データを、動画配信システム３等の外部装置へ出力する機能を有する。以上説明した画面編集装置１の機能を通じて、対戦型のゲーム実況画面において、実際に対戦しているチームや選手の情報が、わかりやすく観客に向けて提示される。

【0046】

＜画面編集装置１によるデータ処理例＞
次に、以上説明した構成と機能を有する本実施形態の画面編集装置１によって実行されるデータ処理について説明する。図１２に、本実施形態の画面編集装置１による画面編集処理について、フローチャートにより例示している。

【0047】

図１２に例示している画面編集処理フローは、ゲーム機２から画面編集装置１にゲーム実況画面データが入力されたこと等を契機として開始される。まず、画面データ取得部１１が、ゲーム実況画面の画面データを取得する（ステップＳ１１）。この際、判定領域データ取得部１２が、画面上の判定領域であるチーム判定領域１１０Ａ，１１０Ｂ、選手名判定領域１２０Ａ，１２０Ｂ、選手状態判定領域１３０Ａ、１３０Ｂ、及び視点選手名判定領域１４０に表示されている表示データを取得する。

【0048】

判定領域データ解析部１３が、視点選手名判定領域１４０の表示データに基づいて、チームデータ記憶部２４を参照してその所属チームを特定する（ステップＳ１２）。

【0049】

編集用データ取得部１４が選手データ記憶部２６から視点選手のアイコンデータを取得し、編集用データ生成部１５が視点選手アイコン領域に適用するオーバーレイデータを生成する（ステップＳ１３）。

【0050】

編集用データ生成部１５が、視点選手の所属チームに基づいて、チームバナー領域２４０に適用すべきオーバーレイデータを生成する（ステップＳ１４）。具体的には、編集用データ生成部１５は、チームデータ記憶部２４を参照して対応するチームロゴを取得し、それに基づいてオーバーレイデータを作成する。

【0051】

判定領域データ解析部１３が、チーム判定領域１１０Ａ，１１０Ｂの表示データから対戦チームを特定する（ステップＳ１５）。具体的には、判定領域データ解析部１３が、チーム判定領域１１０Ａ，１１０Ｂの背景色に基づいてチームカラー記憶部２５を参照してチームを特定する。

【0052】

編集用データ生成部１５が、チームデータ記憶部２４、チームカラー記憶部２５から各チームのチームカラーコード、チームロゴを取得して、それらの素材からチーム領域２１０Ａ，２１０Ｂに適用すべき表示データを生成する（ステップＳ１６）。

【0053】

判定領域データ解析部１３が、選手名判定領域１２０Ａ，１２０Ｂに表示されている選手名の画像データに基づいて、前記した画像マッチング、あるいはＯＣＲ機能により各選手名を特定する（ステップＳ１７）。

【0054】

編集用データ取得部１４が、前記特定された選手名に基づいて、選手データ記憶部２６から対応する選手のアイコンデータを取得し（ステップＳ１８）、編集用データ生成部１５が、取得したアイコンデータを使用して、選手アイコン領域２２０Ａ，２２０Ｂに適用すべき表示データを生成する（ステップＳ１９）。一方、判定領域データ解析部１３が、選手状態判定領域１３０Ａ，１３０Ｂの表示データから、ドクロマークが表示されて行動不能となっている選手を特定し、編集用データ生成部１５は、その対応する選手の顔写真に所定の加工を施す。この加工の例としては、図３に例示するように、顔写真をグレイスケール表示としてシェードをかける、といったことが考えられる。

【0055】

ここで、以上作成されたオーバーレイデータを用いて、画面データ編集部１６がゲーム実況画面の編集を行う（ステップＳ２０）。編集された画面データは、編集済み画面データ出力部１７によって動画配信システム３等の外部装置へ出力される（ステップＳ２１）。

【0056】

ステップＳ２１の処理を実行した後、画面編集処理は、ステップＳ１１から反復して実行される。反復実行周期は、例えば編集対象である動画のフレームレートを考慮して、１／６０秒と設定することができる。画面編集処理は、ゲーム実況が行われている間、継続して実行される。

【0057】

以上の処理により、本実施形態の画面編集装置１は、対戦型ゲームの実況画面において、実際に対戦しているチーム、及び選手が観客に対してわかりやすく提示されるように実況画面を編集することができる。これにより、観客は、対戦チームに感情移入してよりいっそうゲーム実況を楽しむことができる。

【0058】

以上説明したように、本発明の実施形態における画面編集装置１は、映像コンテンツの表示画面を構成する画面データを取得する処理と、前記表示画面上に設定された所定の編集領域に適用されるべく用意されている編集用画面データを記憶する処理と、前記表示画面上に設定された所定の判定領域における表示内容を解析する処理と、前記解析処理の結果に基づいて、前記編集領域に適用する前記編集用画面データを読み出して、前記編集領域に適用する処理と、前記編集用画面データが適用された編集済み画面データを出力する処理とを実行する処理部１０を備えている。

【0059】

このようにすれば、映像コンテンツの配信に際して、映像コンテンツ自体に手を加えることなく、リアルタイムで視聴者のニーズに応えるような情報を自動的に実況画面に付加することが可能となる。

【0060】

前記映像コンテンツが複数の選手が参加するビデオゲームであり、前記表示画面が、前記ビデオゲームをプレイしているいずれかの選手の視点から見た映像を示しているとしてもよい。

【0061】

このようにすれば、ビデオゲームの実況画面を観戦している観客に、ゲームの状況をリアルタイムで分かりやすく伝えることができる。

【0062】

前記ビデオゲームが、複数の選手から構成されるチーム同士による対戦型ビデオゲームであり、前記表示画面上の前記判定領域が、前記表示画面の視点を提供している選手の名前、対戦している各チームのチームカラー、各チームに所属する選手の名前、各選手の状態を示すアイコンのうちのいずれかを表示する領域であるとしてもよい。

【0063】

このようにすれば、表示画面の判定領域に含まれている画面データから、対戦しているチーム、表示画面の視点を提供している選手、各選手の状態に関する情報を取得することができる。

【0064】

前記編集用画面データが、視点を提供している選手を示すアイコン、各チームに所属する選手を示すアイコン、及び各チームを示すロゴのうちのいずれかを含んでいるとしてもよい。

【0065】

このようにすれば、視聴者が見ている表示画面に、対戦しているチーム、各チームの所属選手、表示画面の視点を提供している選手に関する情報をわかりやすく提示することができる。

【0066】

処理部１０が、編集用画面データを、当該編集用画面データが適用される編集領域の属性に応じて当該編集用画面データを加工するとしてもよい。

【0067】

このようにすれば、ゲームの表示画面上に、編集用データを違和感なくまた見やすく表示させることができる。

【0068】

処理部１０が、選手の状態を示すアイコンの表示内容に応じて、対応する選手のアイコンの表示態様を変更するとしてもよい。

【0069】

このようにすれば、ゲーム実況を見ている観客は、各チームの各選手の状況を一目で把握することができる。

【0070】

処理部１０が出力した編集済み画面データが、動画配信システム３に入力されてゲーム実況配信に利用されるとしてもよい。

【0071】

このようにすれば、多数の視聴者に対して各チームの各選手に関する情報をリアルタイムで分かりやすく提示することができ、ゲーム実況視聴をより楽しめるものとすることができる。

【0072】

処理部１０が、対戦型ビデオゲームの画面表示内容に基づいて表示画面の視点の変化を検出する画面編集処理を実行し、前記画面表示内容には、少なくとも前記視点を提供している選手に関する情報が含まれているとしてもよい。

【0073】

このようにすれば、表示画面の視点の変化を自動的に検出することができ、それに応じた画面編集処理、例えば画面の周囲を視点提供選手の所属チームカラーでデコレーションするといった処理が可能となる。

【0074】

本発明の実施形態には、上記した画面編集装置１によって実行される画面編集方法と、その画面編集方法を実行させるためのプログラムが含まれる。

【0075】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画面編集装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

【0076】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

【0077】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるＵＳＢメモリ等のリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭや、補助記憶部３０に含まれるハードディスク等で構成される。

【0078】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。すなわち、図１２に示したデータ処理フローはあくまでも例示であって、本発明は、そのデータ処理フローによって機能が実現されるものには限定されない。

【0079】

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、上記実施形態と変形例の各構成を組み合わせることも可能である。更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0080】

例えば、上記実施形態に係る画面編集装置１は、対戦型ビデオゲームだけでなく、複数のプレイヤーが順位を競う自動車レース等のゲーム、他のロールプレイングゲーム等の映像コンテンツにも同様に適用することができる。

【符号の説明】

【0081】

１ 画面編集装置
１０ 処理部
１１ 画面データ取得部
１２ 判定領域データ取得部
１３ 判定領域データ解析部
１４ 編集用データ取得部
１５ 編集用データ生成部
１６ 画面データ編集部
１７ 編集済み画面データ出力部
２０ 主記憶部
２１ 判定領域記憶部
２２ 編集領域記憶部
２３ 選手状態記憶部
２４ チームデータ記憶部
２５ チームカラー記憶部
２６ 選手データ記憶部
１００ ゲーム表示画面
１１０Ａ，１１０Ｂ チーム判定領域
１２０Ａ，１２０Ｂ 選手名判定領域
１３０Ａ，１３０Ｂ 選手状態判定領域
１４０ 視点選手名判定領域
２００ 編集済みゲーム表示画面
２１０Ａ，２１０Ｂ チーム領域
２２０Ａ，２２０Ｂ 選手アイコン領域
２３０ 視点選手アイコン領域
２４０ チームバナー領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】