特開 2022-65051 視点確認システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022065051

(43)【公開日】2022-04-26

(54)【発明の名称】視点確認システム

(51)【国際特許分類】

   A63F 13/52 20140101AFI20220419BHJP

   A63F 13/21 20140101ALI20220419BHJP

   G09B 9/00 20060101ALN20220419BHJP

【ＦＩ】

A63F13/52

A63F13/21

G09B9/00 Z

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022018731

(22)【出願日】2022-02-09

(62)【分割の表示】P 2020039369の分割

【原出願日】2020-03-06

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り １．行為１ 公開日 令和１年９月１２日 公開場所 東京ゲームショウ２０１９ 幕張メッセ ２．行為２ 配布日 令和１年９月１２日～１５日 配布場所 東京ゲームショウ２０１９ 幕張メッセ ３．行為３ ウェブサイトの掲載日 令和１年９月１２日 ウェブサイトのＵＲＬ ｈｔｔｐｓ：／／ｗｗｗ．ｋｏｎａｍｉ．ｃｏｍ／ｇｉｎｚａ／ ｈｔｔｐｓ：／／ｗｗｗ．ｋｏｎａｍｉ．ｃｏｍ／ｇｉｎｚａ／ｓｃｈｏｏｌ／ ４．行為４ 公開日 （イ）令和１年９月２８日、２９日、１０月２６日、２７日、１１月１２日、１４日、１９日、２１日、２６日、２８日、１２月１０日、１２日 （ロ）令和１年１２月２３日、２５日、２６日、令和２年１月１１日、１２日、２６日、２月８日、１１日、１２日、１６日、２２日、２３日、２４日、２９日、３月１日 公開場所 （イ）東京ミッドタウン （ロ）コナミクリエイティブセンター銀座 ５．行為５ 配布日 令和１年１２月１３日 配布場所 東京都、神奈川県、千葉県、及び埼玉県の各顧客店舗 ６．行為６ 公開日 令和２年１月１１日、１２日 公開場所 ＴＯＫＹＯ ｅスポーツフェスタ 東京ビッグサイト ７．行為７ 配布日 令和２年１月１１日、１２日 配布場所 ＴＯＫＹＯ ｅスポーツフェスタ 東京ビッグサイト ８．行為８ 公開日 令和２年１月１２日 公開場所 コナミクリエイティブセンター銀座 ９．行為９ ウェブサイトの掲載日 （イ）令和２年１月１４日 （ロ）令和２年１月１８日 （ハ）令和２年１月２１日 ウェブサイトのＵＲＬ （イ）ｈｔｔｐｓ：／／ｗｗｗ．４ｇａｍｅｒ．ｎｅｔ／ｇａｍｅｓ／４６５／Ｇ０４６５０３／２０２００１１４０８６／ （ロ）ｈｔｔｐｓ：／／ｈｏｃｈｉ．ｎｅｗｓ／ａｒｔｉｃｌｅｓ／２０２００１１７－ＯＨＴ１Ｔ５０１４９．ｈｔｍｌ ｈｔｔｐｓ：／／ｈｏｃｈｉ．ｎｅｗｓ／ａｒｔｉｃｌｅｓ／２０２００１１７－ＯＨＴ１Ｔ５０１４５．ｈｔｍｌ （ハ）ｈｔｔｐｓ：／／ｇａｍｅｂｉｚ．ｊｐ／？ｐ＝２５７９９３ １０．行為１０ 発行日 令和２年１月１７日 刊行物 報知新聞（スポーツ報知）令和２年１月１７日付け、第１２面 １１．行為１１ 公開日 （イ）令和２年２月１２日 （ロ）令和２年２月１２日 （ハ）令和２年２月１４日 （ニ）令和２年２月１５日 （ホ）令和２年２月１６日

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （ヘ）令和２年２月２８日 （ト）令和２年２月２９日 公開場所 コナミクリエイティブセンター銀座 １２．行為１２ ウェブサイトの掲載日 （イ）令和２年２月１６日 （ロ）令和２年２月２７日 （ハ）令和２年２月２８日 （二）令和２年２月２８日 （ホ）令和２年２月２９日 （ヘ）令和２年３月９日 （ト）令和２年３月９日 ウェブサイトへのＵＲＬ （イ）ｈｔｔｐｓ：／／ｅ－ｓｐｏｒｔｓ－ｔｏｄａｙ．ｃｏｍ／ｎｅｗｓ／２５１９／ （ロ）ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ａ３７９Ｅｊ４８６６ｋ （ハ）ｈｔｔｐｓ：／／ｗｗｗ．ｆａｍｉｔｓｕ．ｃｏｍ／ｎｅｗｓ／２０２００２／２８１９３４００．ｈｔｍｌ （二）ｈｔｔｐｓ：／／ｗｅｅｋｌｙ．ａｓｃｉｉ．ｊｐ／ｅｌｅｍ／０００／０００／４４０／４４０３０１／ （ホ）ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＰｎｃＴＰｗＩｗ２Ｖ０ （ヘ）ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｗｒＭＺｈＦ２０Ｊ＿ｗ （ト）ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｖｙｎＰｅＸ＿ｌ８ｉｏ １３．行為１３ 発行日 令和２年３月５日 刊行物 （イ）週刊ファミ通 ２０２０年３月１９日号 Ｐ１４３ （ロ）週刊ファミ通 ２０２０年３月１９日号 Ｐ１６８

(71)【出願人】

【識別番号】506113602

【氏名又は名称】株式会社コナミデジタルエンタテインメント

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】吉田 貴裕

(57)【要約】

【課題】対象者のアクティビティを妨げることなく、アクティビティ中の対象者の視点を確認可能なようにすること。
【解決手段】ゲーム装置から出力されるゲーム映像が表示される第１表示装置と、第１表示装置の表示画面に対面する対象者の視点位置を検出する視点検出装置とを備える視点確認システムは、出力されたゲーム映像を、少なくとも第１表示装置へ入力させる第１映像と、第１映像とは入力先が異なる第２映像とに分配する分配装置と、映像処理装置とを備える。映像処理装置は、第２映像に基づく映像情報に、視点検出装置により検出された視点位置を示す視点情報を付加した合成映像情報を生成する生成部と、合成映像情報に基づく合成ゲーム映像を出力する映像出力部と、第２映像に基づく映像情報と視点情報とを含む情報、もしくは合成映像情報を記憶部に記憶する記憶制御部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ゲーム装置から出力されるゲーム映像が表示される第１表示装置と、前記第１表示装置の表示画面に対面する対象者の視点位置を検出する視点検出装置とを備える視点確認システムであって、
前記出力されたゲーム映像を、少なくとも前記第１表示装置へ入力させる第１映像と、前記第１映像とは入力先が異なる第２映像とに分配する分配装置と、
前記第２映像に基づく映像情報に、前記視点検出装置により検出された視点位置を示す視点情報を付加した合成映像情報を生成する生成部と、前記合成映像情報に基づく合成ゲーム映像を出力する映像出力部と、前記第２映像に基づく映像情報と前記視点情報とを含む情報、もしくは前記合成映像情報を記憶部に記憶する記憶制御部と、を有する映像処理装置と、
を備える視点確認システム。

【請求項2】

前記第１表示装置は、前記ゲーム装置から出力される前記ゲーム映像から分配された前記第１映像と、前記映像出力部から出力される前記合成ゲーム映像とを切替えて表示可能である、
請求項１に記載の視点確認システム。

【請求項3】

前記分配装置は、前記出力されたゲーム映像を、さらに第３映像に分配し、
前記第３映像を表示する第２表示装置を備える、
請求項１または請求項２に記載の視点確認システム。

【請求項4】

前記記憶制御部は、前記生成部で生成した合成映像情報を前記記憶部に記憶し、
前記映像出力部は、前記記憶部に記憶された合成映像情報に基づく前記合成ゲーム映像を出力する、
請求項１から請求項３のいずれか一項に記載の視点確認システム。

【請求項5】

前記記憶制御部は、前記第２映像に基づく映像情報と前記視点情報とを個別に前記記憶部に記憶し、
前記生成部は、前記記憶部に記憶された映像情報に、前記記憶部に記憶された視点情報を付加した合成映像情報を生成し、
前記映像出力部は、前記生成部で生成された合成映像情報に基づく前記合成ゲーム映像を出力する、
請求項１から請求項３のいずれか一項に記載の視点確認システム。

【請求項6】

ゲーム装置から出力されるゲーム映像が表示される第１表示装置と、前記第１表示装置の表示画面に対面する対象者の視点位置を検出する視点検出装置とを備える視点確認システムであって、
前記出力されたゲーム映像を、少なくとも前記第１表示装置へ入力させる第１映像と、前記第１映像とは入力先が異なる第２映像とに分配する分配装置と、
前記第２映像に基づく映像情報に、前記視点検出装置により検出された視点位置を示す視点情報を付加した合成映像情報を生成する生成部と、前記合成映像情報に基づく合成ゲーム映像を出力する映像出力部と、を有する映像処理装置と、
前記第１表示装置とは異なる第３表示装置と、を備え、
前記第１表示装置は、前記第１映像を表示し、
前記第３表示装置は、前記合成ゲーム映像を表示する、
視点確認システム。

【請求項7】

前記映像処理装置は、前記第２映像に基づく映像情報と前記視点情報とを個別に含む個別情報、または前記合成映像情報を記憶部に記憶する記憶制御部を備え、
前記映像出力部は、前記記憶部に記憶された前記個別情報に基づく合成ゲーム映像、または前記合成映像情報に基づく合成ゲーム映像を出力する、
請求項６に記載の視点確認システム。

【請求項8】

前記視点確認システムは、複数の対象者の視点位置を検出する複数の視点検出装置を用いるものであって、
前記分配装置は、前記複数の対象者のそれぞれに対応したゲーム映像を分配する個別分配装置を含んで構成され、
前記生成部は、前記複数の対象者のそれぞれに対応した複数の前記視点情報と前記ゲーム映像とに基づく複合合成映像情報を生成し、
前記映像出力部は、前記生成部に生成された前記複合合成映像情報に基づく複合合成ゲーム映像を出力する、
請求項１から請求項７のいずれか一項に記載の視点確認システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視点確認システムに関する。

【背景技術】

【0002】

画面を見ている人の視点の位置を検出する視点検出（視線検出）技術（所謂、アイトラッキング）がある。例えば、ゲームのプレイ中にプレイヤの視点検出を行い、検出結果をゲーム映像にリアルタイムに表示させることで、プレイヤがどこを見ながらプレイしているかを確認することができる（例えば、非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】［特別企画］“強者たちの視線を大解剖！ 『ＤＦＦ』アイトラッキング”で強さの秘密を探る、［ｏｎｌｉｎｅ］、［２０１９年１２月１３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｆａｍｉｔｓｕ．ｃｏｍ／ｍａｔｏｍｅ／ｄｆｆ／ｄｉａｒｙ５４．ｈｔｍｌ＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ゲームのプレイ中に、視点検出の対象者（プレイヤ等）の視点検出結果を対象者の見ているゲーム映像にリアルタイムに表示させると、対象者のプレイ中の視点を確認することができる反面、対象者がゲームのプレイ状況を確認しにくくなるため、対象者のアクティビティ（ゲームプレイなど）を妨げてしまうことがある。

【0005】

本発明のいくつかの態様は、対象者のアクティビティを妨げることなく、アクティビティ中の対象者の視点を確認可能なようにすることができる視点確認システムを提供することを目的の一つとする。

【0006】

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする視点確認システムを提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

上述した課題を解決するために、本発明の一態様は、ゲーム装置から出力されるゲーム映像が表示される第１表示装置と、前記第１表示装置の表示画面に対面する対象者の視点位置を検出する視点検出装置とを備える視点確認システムであって、前記出力されたゲーム映像を、少なくとも前記第１表示装置へ入力させる第１映像と、前記第１映像とは入力先が異なる第２映像とに分配する分配装置と、前記第２映像に基づく映像情報に、前記視点検出装置により検出された視点位置を示す視点情報を付加した合成映像情報を生成する生成部と、前記合成映像情報に基づく合成ゲーム映像を出力する映像出力部と、前記第２映像に基づく映像情報と前記視点情報とを含む情報、もしくは前記合成映像情報を記憶部に記憶する記憶制御部と、を有する映像処理装置と、を備える視点確認システムである。

【0008】

また、本発明の一態様は、ゲーム装置から出力されるゲーム映像が表示される第１表示装置と、前記第１表示装置の表示画面に対面する対象者の視点位置を検出する視点検出装置とを備える視点確認システムであって、前記出力されたゲーム映像を、少なくとも前記第１表示装置へ入力させる第１映像と、前記第１映像とは入力先が異なる第２映像とに分配する分配装置と、前記第２映像に基づく映像情報に、前記視点検出装置により検出された視点位置を示す視点情報を付加した合成映像情報を生成する生成部と、前記合成映像情報に基づく合成ゲーム映像を出力する映像出力部と、を有する映像処理装置と、前記第１表示装置とは異なる第３表示装置と、を備え、前記第１表示装置は、前記第１映像を表示し、前記第３表示装置は、前記合成ゲーム映像を表示する、視点確認システムである。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る視点確認システムの概要を示す模式図。

【図2】第１の実施形態に係る視点確認システムの使用例を示す図。

【図3】第１の実施形態に係る視点確認システムの構成の一例を示すブロック図。

【図4】第１の実施形態に係る映像処理装置の構成の一例を示すブロック図。

【図5】第２の実施形態に係る視点確認システムの概要を示す模式図。

【図6】第２の実施形態に係る視点確認システムの使用例を示す図。

【図7】第２の実施形態に係る視点確認システムの構成の一例を示すブロック図。

【図8】第３の実施形態に係る視点確認システムの概要を示す模式図。

【図9】第３の実施形態に係る視点確認システムの使用例を示す図。

【図10】第３の実施形態に係る視点確認システムの構成の一例を示すブロック図。

【図11】第３の実施形態に係る映像処理装置の構成の一例を示すブロック図。

【図12】第４の実施形態に係る視点確認システムの概要を示す模式図。

【図13】第４の実施形態に係る視点確認システムの使用例を示す図。

【図14】第５の実施形態に係る視点確認システムの概要を示す模式図。

【図15】第５の実施形態に係る視点確認システムの使用例を示す図。

【図16】第５の実施形態に係る視点確認システムの構成の一例を示すブロック図。

【図17】第５の実施形態に係る映像処理装置の構成の一例を示すブロック図。

【図18】変形例１に係る視点確認システムの概要を示す模式図。

【図19】変形例１に係る視点確認システムの使用例を示す図。

【図20】変形例１に係る視点確認システムの構成の一例を示すブロック図。

【図21】変形例１に係る映像処理装置の構成の一例を示すブロック図。

【図22】変形例２に係る映像処理装置の構成の一例を示すブロック図。

【図23】変形例３に係る視点確認システムの概要を示す模式図。

【図24】変形例３に係る視点確認システムの使用例を示す図。

【図25】変形例３に係る視点確認システムの構成の一例を示すブロック図。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照して説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。
近年、ゲームの対戦を競技と見立てて行う所謂ｅスポーツ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｐｏｒｔｓ）が盛んになってきている。それに伴い、ｅスポーツ界で活躍する人材を育てるために、例えば、ゲームのプレイヤが実技のトレーニングを行うことや必要な技術や能力（スキル）などを学ぶことができる育成の場が必要になってきている。例えば、ｅスポーツのスクール等で講師が生徒（プレイヤ等）を育成する場面が想定される。プレイヤは、技術や能力の段階によって初心者、中級者、上級者等のように分かれる。プレイ操作をスムーズに行うことが段階を分ける一つの要素となるが、場面ごとのゲーム状況を的確に把握することも重要な要素となる。例えば、ゲーム状況を把握する能力を向上させることによって、初心者が中級者へ、中級者が上級者へと技術や能力を向上させていくことができる。ゲーム状況を把握するにはゲーム状況に応じてゲーム画面に表示されたゲーム映像のどの部分をどのタイミングで確認するかが重要となる。ゲーム映像には多くの情報が含まれている。上級者はゲーム状況に応じて効率よく必要な情報を確認及び把握し、次の展開を予想しながらプレイ操作を行うことで、効率よくゲームをプレイしている。ゲーム画面に対するプレイヤの視点位置を取得することにより、ゲーム状況についてどのタイミングでどの情報を確認しているかを評価し改善することで、プレイヤの技術や能力の向上が期待できる。本実施形態に係る視点確認システムは、ゲーム画面に対するプレイヤの視点位置を確認可能とするシステムである。この視点確認システムによれば、ゲーム画面に対するプレイヤの視点位置を評価し改善していくことが可能となり、プレイヤの技術や能力の向上を図ることができる。以下、本実施形態に係る視点確認システムについて、詳しく説明する。

【0011】

図１は、本実施形態に係る視点確認システム１の概要を示す模式図である。視点確認システム１では、例えば、ゲーム装置ＧＭでゲームをプレイするプレイヤは、表示装置Ｄ１の表示画面（ゲーム画面）に表示されるゲーム映像を見てプレイする。ゲーム映像とは、プレイヤがプレイすることに応じて進行するゲーム状況を表す映像である。ゲーム装置ＧＭから出力されるゲーム映像は分配装置ＤＴで２系統に分配される。分配装置ＤＴは、分配されたゲーム映像のうち一方のゲーム映像を表示装置Ｄ１に対して出力し、他方のゲーム映像を映像処理装置１００に対して出力する。視点検出装置ＥＹは、表示装置Ｄ１の表示画面に対面するプレイヤの視点位置を検出し、検出した視点位置を示す視点情報を映像処理装置１００に対して出力する。例えば、視点検出装置ＥＹが出力する視点情報は、検出した視点位置の位置情報を含む情報である。映像処理装置１００は、ゲーム映像に視点情報を付加した合成ゲーム映像を生成して記憶部に記憶させる。また、映像処理装置１００は、記憶させた合成ゲーム映像を表示装置Ｄ１に対して出力することが可能である。ゲーム映像に視点情報を付加した合成ゲーム映像とは、例えば、ゲーム映像に視点情報に基づくマークを合成した映像である。このゲーム映像と視点情報とは時間軸で同期している。つまり、合成ゲーム映像は、プレイヤがプレイしているゲーム映像とそのプレイ中のプレイヤの視点位置とが同時に表示される映像である。表示装置Ｄ１は、表示画面に表示させる映像の入力を切替えることで、ゲーム装置ＧＭから分配装置ＤＴを介して入力されるゲーム映像と、映像処理装置１００で合成された合成ゲーム映像とを切替えて表示することができる。また、詳細は後述するが、視点検出装置ＥＹが視点位置を検出する対象は、ゲームをプレイするプレイヤに代えて、表示装置Ｄ１の表示画面（ゲーム画面）に表示されるゲーム映像を見て実況をする実況者でもよい。つまり、ゲームのプレイを実況する実況者の視点の位置や動きを確認及び評価することにも利用できる。

【0012】

図２は、図１に示す視点確認システム１の使用例を示す図である。表示装置Ｄ１の使用者（表示装置Ｄ１の表示画面に対面する人物）は、例えばプレイヤである。表示装置Ｄ１には、ゲーム映像と合成ゲーム映像とが入力される。例えば、視点確認システム１は、ゲームのプレイ中にはゲーム装置ＧＭからのゲーム映像を表示装置Ｄ１に表示し、プレイ後（プレイ終了後またはプレイ中断後）にはプレイヤの視点情報に基づくマークが合成された合成ゲーム映像を表示装置Ｄ１に表示する。これにより、プレイヤは、プレイ中にはゲーム装置ＧＭからのゲーム映像をリアルタイムに見ながらプレイし、プレイ後に視点情報に基づくマークが合成された合成ゲーム映像で、プレイ中のプレイヤの視点の位置や動きを確認及び評価することができる。なお、視点の確認及び評価は、プレイヤ本人でもよいし、プレイヤに代えて又は加えて講師や他のプレイヤが含まれてもよい。

【0013】

次に、図３及び図４を参照して、視点確認システム１の構成について詳しく説明する。
図３は、本実施形態に係る視点確認システム１の構成の一例を示すブロック図である。視点確認システム１は、ゲーム装置ＧＭと、分配装置ＤＴと、表示装置Ｄ１と、視点検出装置ＥＹと、映像処理装置１００とを備えている。

【0014】

ゲーム装置ＧＭは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成され、ゲームのプログラムを実行することによりゲームの処理を行なう。例えば、ゲーム装置ＧＭは、不図示のコントローラ（入力装置）に対するプレイヤの操作に応じてゲーム処理を行ない、ゲームの進行に応じたゲーム映像ＰＶ０を分配装置ＤＴへ出力する。

【0015】

分配装置ＤＴは、ゲーム装置ＧＭから出力されたゲーム映像を複数のゲーム映像に分配する装置である。分配されたそれぞれのゲーム映像は同様の映像であるが、分配先の装置に合わせて解像度や表示画面の有効表示領域が異ならせてもよい。具体的には、分配装置ＤＴは、ゲーム装置ＧＭから出力されたゲーム映像ＰＶ０が入力されると、入力されたゲーム映像ＰＶ０を第１映像ＰＶ１と第２映像ＰＶ２との２系統に分配して出力する。第１映像ＰＶ１は表示装置Ｄ１へ入力される。第２映像ＰＶ２は映像処理装置１００へ入力される。例えば、ゲーム映像ＰＶ０、第１映像ＰＶ１、及び第２映像ＰＶ２は、ＨＤＭＩ（登録商標）に対応した映像信号で伝送される。なお、ゲーム映像ＰＶ０、第１映像ＰＶ１、及び第２映像ＰＶ２は、ＨＤＭＩに対応する映像信号で伝送されることに限定されるものではなく、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、コンポジット映像、コンポジット映像を輝度信号と色信号の２系統に分離したＳ映像等、任意の規格に対応した映像信号で伝送されてもよい。

【0016】

視点検出装置ＥＹは、表示装置Ｄ１の使用者（例えば、プレイヤ）の視点位置を検出（アイトラッキング）する。例えば、視点検出装置ＥＹは、表示装置Ｄ１の表示画面に対面する方向を撮像するカメラを含んで構成されており、撮像した画像に基づいて、表示画面上の視点位置を検出する。視点位置の検出方法は、任意の方法を用いることができる。例えば、可視光カメラで撮像した人物の目頭の位置に対する虹彩の位置に基づいて視点位置を検出してもよいし、赤外光を照射してできる角膜反射の位置を基準位置とし、基準位置に対する瞳孔の位置に基づいて視点位置を検出してもよい。例えば、視点検出装置ＥＹは、プレイ中のプレイヤの視点位置を所定のサンプリング周期で連続的に検出して追跡する。視点検出装置ＥＹは、検出した視点位置を示す視点情報ＥＤ１を、映像処理装置１００へ出力する。例えば、視点情報は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を用いて伝送される。

【0017】

映像処理装置１００は、ゲーム映像及び視点情報の記憶や、ゲーム映像と視点情報の合成等を行う。例えば、映像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含んで構成されるコンピュータ装置である。
図４は、本実施形態に係る映像処理装置１００の構成の一例を示すブロック図である。映像処理装置１００は、生成部１１０と、記憶制御部１２０と、映像出力部１３０とを備えている。

【0018】

生成部１１０には、分配装置ＤＴから出力される第２映像ＰＶ２と、視点検出装置ＥＹから出力される視点情報ＥＤ１とが入力される。生成部１１０は、入力された第２映像ＰＶ２を映像処理が可能な映像情報ＰＶ２’にデータ変換し、この第２映像ＰＶ２に基づく映像情報ＰＶ２’に、視点検出装置ＥＹにより検出された視点位置を示す視点情報ＥＤ１を付加した合成映像情報ＣＶ１’を生成する。より詳しくは、視点情報ＥＤ１を映像情報ＰＶ２’に付加する処理が可能なようにデータ変換した視点情報ＥＤ１’を、映像情報ＰＶ２’に付加した合成映像情報ＣＶ１’を生成する。視点情報を映像情報に付加した合成映像情報とは、例えば、視点情報に基づくマークを映像情報に合成した情報である。例えば、合成映像情報ＣＶ１’は、第２映像ＰＶ２に基づく映像情報ＰＶ２’に視点情報ＥＤ１’に基づくマークが合成された映像情報であり、この映像情報ＰＶ２’と視点情報ＥＤ１’とは時間軸で同期している。生成部１１０は、生成した合成映像情報ＣＶ１’を記憶制御部１２０へ出力する。

【0019】

記憶制御部１２０は、生成部１１０で生成された合成映像情報ＣＶ１’を記憶部（不図示）に記憶する。記憶部は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュＲＯＭ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含んで構成される。なお、記憶部は、映像処理装置１００に内蔵されていてもよいし、ＵＳＢ等で接続される外付け型の記憶装置であってもよい。

【0020】

映像出力部１３０は、記憶制御部１２０により記憶部に記憶された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力する。例えば、映像出力部１３０は、合成映像情報ＣＶ１’をＨＤＭＩに対応した合成ゲーム映像ＣＶ１に変換して出力する。これにより、合成ゲーム映像ＣＶ１は、ＨＤＭＩに対応した映像信号で映像処理装置１００から表示装置Ｄ１へ伝送される。なお、合成ゲーム映像ＣＶ１は、ＨＤＭＩに対応する映像信号で伝送されることに限定されるものではなく、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、コンポジット映像、コンポジット映像を輝度信号と色信号の２系統に分離したＳ映像等、任意の規格に対応した映像信号で伝送されてもよい。

【0021】

表示装置Ｄ１は、画像やテキスト等の情報を表示するディスプレイであり、例えば、液晶ディスプレイパネル、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイパネルなどを含んで構成される。表示装置Ｄ１は、２以上の映像入力端子を備え、入力された２以上の映像を切替えて表示可能である。例えば、表示装置Ｄ１の映像入力端子には、分配装置ＤＴから出力される第１映像ＰＶ１と、映像処理装置１００から出力される合成ゲーム映像ＣＶ１とが入力される。表示装置Ｄ１は、分配装置ＤＴで分配された第１映像ＰＶ１と、映像処理装置１００から出力される合成ゲーム映像ＣＶ１とを切替えて表示可能である。第１映像ＰＶ１は、ゲーム装置ＧＭから出力されるゲーム映像Ｐ０に相当する映像である。

【0022】

以上説明したように、本実施形態に係る視点確認システム１は、ゲーム装置ＧＭから出力されるゲーム映像ＰＶ０（より詳しくは第１映像ＰＶ１）が表示される表示装置Ｄ１（第１表示装置の一例）と、表示装置Ｄ１の表示画面に対面するプレイヤ（対象者の一例）の視点位置を検出する視点検出装置ＥＹとを備える。また、視点確認システム１は、ゲーム装置ＧＭから出力されたゲーム映像ＰＶ０を、少なくとも表示装置Ｄ１へ入力させる第１映像ＰＶ１と、第１映像ＰＶ１とは入力先が異なる第２映像ＰＶ２とに分配する分配装置ＤＴと、映像処理装置１００とを備える。映像処理装置１００は、第２映像ＰＶ２に基づく映像情報ＰＶ２’に、視点検出装置ＥＹにより検出された視点位置を示す視点情報ＥＤ１（より詳しくは視点情報ＥＤ１’）を付加した合成映像情報ＣＶ１’を生成する生成部１１０と、生成部１１０により生成された合成映像情報ＣＶ１’を記憶部に記憶する記憶制御部１２０と、合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力する映像出力部１３０とを有する。

【0023】

これにより、視点確認システム１は、ゲーム装置ＧＭから出力されるゲーム映像を表示する表示装置Ｄ１を見ながら行われるゲームのプレイ中において、プレイヤの視点情報を、表示装置Ｄ１以外の映像処理装置１００で、ゲーム映像と合成した合成ゲーム映像として記録することで、プレイ中は表示装置Ｄ１に視点情報に基づくマークを表示させないようにすることができる。したがって、プレイヤによるゲームのプレイを妨げることなく、プレイ中のプレイヤの視点を確認可能なようにすることができる。

【0024】

例えば、表示装置Ｄ１（第１表示装置の一例）は、ゲーム装置ＧＭから出力されるゲーム映像ＰＶ０から分配された第１映像ＰＶ１と、映像出力部１３０から出力される合成ゲーム映像ＣＶ１とを切替えて表示可能である。例えば、表示装置Ｄ１は、複数の映像入力（例えば、２ｃｈ（チャンネル）の映像入力）を備えている。映像入力の切替えは、手動（例えば、入力切替ボタンに対する操作で切替え）であってもよいし、自動（例えば、映像信号を検出して切替え）であってもよい。

【0025】

これにより、視点確認システム１では、ゲームのプレイヤが表示装置Ｄ１を見ながらゲームプレイを行うと共に、プレイ後に同じ表示装置Ｄ１を見ながら合成ゲーム映像を確認できるため、表示装置１台の最小限のシステムで、プレイ中のプレイヤの視点を確認することができる。

【0026】

また、記憶制御部１２０は、生成部１１０で生成した合成映像情報ＣＶ１’を記憶部に記憶する。映像出力部１３０は、上記記憶部に記憶された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力する。

【0027】

これにより、視点確認システム１は、プレイヤの視点情報に基づくマークとゲーム映像とを合成した合成映像情報を記憶しておき、後から出力することができるため、プレイ後に、対象者自身がアクティビティ中の対象者の視点を確認することができる。

【0028】

また、ｅスポーツにおいてはゲームの実況者も重要な役割を有しており、その育成も課題となっている。ゲームのプレイヤと同様に、ゲームの実況者も能力に段階がある。各個人の話法の能力によるところもあるが、各ゲームのゲーム状況に応じた状況確認のポイントがわからないために、上手に実況が行えないことが多々ある。そこで、能力が高いといわれる実況者の実際の実況中の視点位置を、実況を交えて確認し模倣することで、実況能力が向上することが期待できる。そこで、本実施形態に係る視点確認システム１をゲームの実況者の視点の確認に適用する例について説明する。
本例では、前述した図１から図３に示す表示装置Ｄ１の使用者を、プレイヤに代えて実況者とする。視点検出装置ＥＹは表示装置Ｄ１の表示画面に対面した実況者の視点位置を検出し、検出した視点位置を示す視点情報を映像処理装置１００に対して出力する。この場合、ゲーム映像は、プレイヤのプレイ操作無しで、ゲーム装置ＧＭが自動的にプレイ（自動プレイ）することに応じて進行するゲーム状況を表す映像である。つまり、本例での実況者は、自動プレイ時の実況者であり、例えば自動プレイによるゲーム映像を見ながら実況を練習する生徒、または自動プレイによるゲーム映像を見ながら実況をデモンストレーションする講師である。表示装置Ｄ１は、表示画面に表示させる映像の入力を切替えることで、ゲーム装置ＧＭから分配装置ＤＴを介して入力されるゲーム映像と、映像処理装置１００で合成された合成ゲーム映像とを切替えて表示することができる。
これにより視点確認システム１は、ゲーム装置ＧＭから出力されるゲーム映像を表示する表示装置Ｄ１を見ながら行われるゲームの実況中において、実況者の視点情報に基づくマークを、表示装置Ｄ１以外の映像処理装置１００で、ゲーム映像と合成した合成ゲーム映像として記録することで、実況中は表示装置Ｄ１に視点情報に基づくマークを表示させないようにすることができる。したがって、実況者によるゲームの実況を妨げることなく、実況中の実況者の視点を確認可能なようにすることができる。

【0029】

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。
本実施形態では、実況者の視点の位置や動きを確認および評価する第１の実施形態に対して、プレイヤが使用する表示装置を別に設けた構成例について説明する。
図５は、本実施形態に係る視点確認システム１Ｂの概要を示す模式図である。第１の実施形態で実況者の視点の位置や動きを確認および評価する場合、自動プレイによるゲーム映像を見ながらの実況であった。本実施形態では、自動プレイではなく実際にプレイヤがプレイしているゲーム映像を見ながら実況できるようにしたものである。したがって、視点確認システム１Ｂは、第１の実施形態に係る視点確認システム１に対して、プレイヤが使用する表示装置Ｄ２を追加した構成となる。すなわち、表示装置Ｄ１を実況者が使用し、表示装置Ｄ２をプレイヤが使用する。
また、分配装置ＤＴは、追加された表示装置Ｄ２へゲーム映像を分配する必要があるため、ゲーム装置ＧＭから出力されるゲーム映像を３系統に分配する。すなわち、分配されたゲーム映像は、表示装置Ｄ１、表示装置Ｄ２および映像処理装置１００に対してそれぞれ出力する。

【0030】

プレイヤは、表示装置Ｄ２に表示されるゲーム映像を見てゲームをプレイする。実況者は、表示装置Ｄ１に表示されるゲーム映像（表示装置Ｄ２に表示されるゲーム映像と同様のゲーム映像）を見てゲームの実況を行う。視点検出装置ＥＹは、表示装置Ｄ１の使用者の視点位置を検出し、検出した視点位置を示す視点情報を映像処理装置１００に対して出力する。映像処理装置１００は、ゲーム映像とともに実況者の視点位置を検出し、ゲーム映像に視点情報を付加した合成ゲーム映像を生成して表示装置Ｄ１に対して出力することが可能である。

【0031】

図６は、図５に示す視点確認システム１Ｂの使用例を示す図である。表示装置Ｄ１を使用する使用者は実況者である。表示装置Ｄ１には、ゲーム映像と合成ゲーム映像とが入力される。一方、表示装置Ｄ２を使用する使用者はプレイヤである。表示装置Ｄ２には、ゲーム映像が入力される。例えば、視点確認システム１Ｂは、ゲームのプレイ中（ゲーム実況中）にはゲーム装置ＧＭからのゲーム映像を表示装置Ｄ１及び表示装置Ｄ２に表示し、プレイ後（プレイ終了後またはプレイ中断後）にはプレイヤの視点情報に基づくマークが合成された合成ゲーム映像を表示装置Ｄ１に表示する。これにより、実況者は、プレイヤのプレイ中（ゲーム実況中）にはゲーム装置ＧＭからのゲーム映像をリアルタイムに見ながら実況を行い、プレイ後に視点情報に基づくマークが合成された合成ゲーム映像で、実況中の実況者の視点の位置や動きを確認及び評価することができる。なお、視点の確認及び評価は、実況者本人でもよいし、実況者に代えて又は加えて講師や他のプレイヤが含まれてもよい。また、プレイヤは、プレイ中にはゲーム装置ＧＭからのゲーム映像をリアルタイムに見ながらプレイすることができる。

【0032】

次に、図７を参照して、視点確認システム１Ｂの構成について詳しく説明する。
図７は、本実施形態に係る視点確認システム１Ｂの構成の一例を示すブロック図である。この図７において、図３と同様の構成には同一の符号付しており、その説明を省略する。図７に示す視点確認システム１Ｂの構成は、図３に示す視点確認システム１の構成に対して、表示装置Ｄ２が追加されている点が異なる。分配装置ＤＴは、ゲーム装置ＧＭから入力されたゲーム映像ＰＶ０を、第１映像ＰＶ１と第２映像ＰＶ２と第３映像ＰＶ３との３系統に分配して出力する。第３映像ＰＶ３は、表示装置Ｄ２へ入力される。なお、図３に示す構成と同様に、第１映像ＰＶ１は表示装置Ｄ１へ入力され、第２映像ＰＶ２は映像処理装置１００へ入力される。

【0033】

上述したように、視点確認システム１Ｂでは、表示装置Ｄ１は実況者用の表示装置であり、表示装置Ｄ２がプレイヤ用の表示装置である。実況者用の表示装置Ｄ１は、分配装置ＤＴで分配された第１映像ＰＶ１と、映像処理装置１００から出力される合成ゲーム映像ＣＶ１とを切替えて表示可能である。一方、プレイヤ用の表示装置Ｄ２は、分配装置ＤＴで分配された第３映像ＰＶ３（ゲーム装置ＧＭから出力されるゲーム映像Ｐ０に相当する映像）を表示する。

【0034】

また、視点確認システム１Ｂにおいて、分配装置ＤＴは、ゲーム装置ＧＭから出力されたゲーム映像ＰＶ０を、第１映像ＰＶ１及び第２映像ＰＶ２に加え、さらに第３映像ＰＶ３に分配する。そして、表示装置Ｄ２（第２表示装置の一例）が第３映像ＰＶ３を表示する。

【0035】

これにより、視点確認システム１Ｂは、表示装置Ｄ２でゲーム映像を見ながらプレイヤがゲームをプレイしている利用状況において、そのゲーム映像を表示装置Ｄ１で見ながらゲーム実況を行う実況者の視点を、ゲーム実況後に同じ第１表示装置で確認することができる。

【0036】

［第３の実施形態］
次に、本発明の第３の実施形態を説明する。
本実施形態では、第１の実施形態に対して、視点確認用の表示装置を別に設けた構成例について説明する。
図８は、本実施形態に係る視点確認システム１Ｃの概要を示す模式図である。視点確認システム１Ｃは、プレイヤ用の表示装置Ｄ１の他に表示装置Ｄ３を備えており、合成ゲーム映像が表示装置Ｄ１に代えて表示装置Ｄ３に入力される点が、図１に示す視点確認システム１とは異なる。この表示装置Ｄ３は、例えば、講師や生徒用の表示装置として使用される。なお、第１の実施形態で説明したように、表示装置Ｄ１は、プレイヤ用として以外に、自動プレイ時の実況者用として使用することもできる。

【0037】

図９は、図８に示す視点確認システム１Ｃの使用例を示す図である。表示装置Ｄ１の使用者はプレイヤまたは実況者である。表示装置Ｄ１には、ゲーム映像が入力される。一方、表示装置Ｄ３の使用者は講師または生徒である。表示装置Ｄ３には、合成ゲーム映像が入力される。ここで、表示装置Ｄ３に入力される合成ゲーム映像は、ゲーム映像に対してリアルタイムに視点情報を付加した映像であって、表示装置Ｄ１に入力されるゲーム映像と同様に、プレイ中にリアルタイムに表示される映像である（詳細には、表示装置Ｄ３に入力される合成ゲーム映像は、表示装置Ｄ１に入力されるゲーム映像に対して視点情報を付加する処理にかかる時間分は遅延する）。例えば、視点確認システム１Ｃは、ゲームのプレイ中に、表示装置Ｄ１にはゲーム装置ＧＭからのゲーム映像を表示し、表示装置Ｄ３にはプレイヤまたは実況者の視点情報に基づくマークが合成された合成ゲーム映像を表示する。これにより、プレイヤまたは実況者は、ゲーム装置ＧＭからのゲーム映像をリアルタイムに見ながらプレイまたは実況し、講師や生徒等の第三者は、そのプレイ中または実況中にプレイヤまたは実況者の視点の位置や動きをリアルタイムに確認及び評価しながら講義を進めることができる。表示装置Ｄ１の使用者が実況者である場合、ゲーム映像はプレイヤのプレイ操作無しで、ゲーム装置ＧＭによって自動的にプレイすることに応じて進行するゲーム状況を表す映像である。

【0038】

次に、図１０及び図１１を参照して、視点確認システム１Ｃの構成について詳しく説明する。図１０は、本実施形態に係る視点確認システム１Ｃの構成の一例を示すブロック図である。この図１０において、図３と同様の構成には同一の符号付しており、その説明を省略する。図１０に示す視点確認システム１Ｃの構成は、図３に示す視点確認システム１の構成に対して、表示装置Ｄ３が追加されている点と、合成ゲーム映像ＣＶ１の入力先が表示装置Ｄ１に代えて表示装置Ｄ３である点が異なる。また、映像処理装置１００Ｃは、第２映像ＰＶ２にリアルタイムに視点情報ＥＤ１を付加する点で、上記実施形態で説明した映像処理装置１００と異なる。

【0039】

図１１は、本実施形態に係る映像処理装置１００Ｃの構成の一例を示すブロック図である。映像処理装置１００Ｃは、生成部１１０と、映像出力部１３０とを備えている。生成部１１０は、入力された第２映像ＰＶ２を映像処理が可能な映像情報ＰＶ２’にデータ変換し、この第２映像ＰＶ２に基づく映像情報ＰＶ２’に、視点検出装置ＥＹにより検出された視点位置を示す視点情報ＥＤ１（より詳しくは、視点情報ＥＤ１’）を付加した合成映像情報ＣＶ１’を、第２映像ＰＶ２及び視点情報ＥＤ１の入力に応じてリアルタイムに生成し映像出力部１３０へ出力する。映像出力部１３０は、生成部１１０により生成された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力する。例えば、映像出力部１３０は、合成映像情報ＣＶ１’をＨＤＭＩに対応した合成ゲーム映像ＣＶ１に変換して出力する。これにより、表示装置Ｄ３は、プレイヤのプレイ中に、映像処理装置１００Ｃから出力される合成ゲーム映像ＣＶ１を表示可能である。

【0040】

以上説明したように、本実施形態に係る視点確認システム１Ｃは、ゲーム装置ＧＭから出力されるゲーム映像ＰＶ０（より詳しくは第１映像ＰＶ１）が表示される表示装置Ｄ１（第１表示装置の一例）と、表示装置Ｄ１の表示画面に対面するプレイヤまたは実況者を一例とする対象者の視点位置を検出する視点検出装置ＥＹとを備える。また、視点確認システム１Ｃは、ゲーム装置ＧＭから出力されたゲーム映像ＰＶ０を、少なくとも表示装置Ｄ１へ入力させる第１映像ＰＶ１と、第１映像ＰＶ１とは入力先が異なる第２映像ＰＶ２とに分配する分配装置ＤＴと、映像処理装置１００Ｃと、表示装置Ｄ１とは異なる表示装置Ｄ３（第３表示装置の一例）とを備える。映像処理装置１００Ｃは、第２映像ＰＶ２に基づく映像情報ＰＶ２’に、視点検出装置ＥＹにより検出された視点位置を示す視点情報ＥＤ１（より詳しくは視点情報ＥＤ１’）を付加した合成映像情報ＣＶ１’を生成する生成部１１０と、生成部１１０により生成された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力する映像出力部１３０とを有する。そして、表示装置Ｄ１は、第１映像ＰＶ１を表示する。一方、表示装置Ｄ３は、合成ゲーム映像ＣＶ１を表示する。

【0041】

これにより、視点確認システム１Ｃは、ゲーム装置ＧＭから出力されるゲーム映像を表示する表示装置Ｄ１を見ながら行われるゲームのプレイまたは実況において、対象者の視点情報に基づくマークを、表示装置Ｄ１以外の映像処理装置１００Ｃで、ゲーム映像と合成した合成ゲーム映像ＣＶ１を表示装置Ｄ１に表示させないようにする一方、対象者以外の第三者（例えば、講師や生徒）に対しては、表示装置Ｄ３で、対象者のプレイ中または実況中に視点を確認できるようにしたので、対象者によるゲームのプレイまたは実況を妨げることなく、プレイ中または実況中の対象者の視点を確認可能なようにすることができる。

【0042】

なお、本実施形態では、プレイヤのプレイ中に、表示装置Ｄ３が合成ゲーム映像ＣＶ１をリアルタイムに表示する例を説明したが、第１及び第２の実施形態と同様に、合成映像情報ＣＶ１’を記憶しておき、プレイ後に、記憶されている合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を表示してもよい。この場合、映像処理装置１００Ｃは、図４に示す映像処理装置１００と同様の構成としてもよいし、図４に示す映像処理装置１００の構成と組み合わせてもよい。

【0043】

また、本実施形態では、合成ゲーム映像ＣＶ１の入力先を表示装置Ｄ３のみとしたが、表示装置Ｄ１と表示装置Ｄ３の両方とすることで、表示装置Ｄ１と表示装置Ｄ３のどちらでも合成ゲーム映像ＣＶ１の表示が可能な構成としてもよい。

【0044】

［第４の実施形態］
次に、本発明の第４の実施形態を説明する。
図１２は、本実施形態に係る視点確認システム１Ｄの概要を示す模式図である。視点確認システム１Ｄは、第３の実施形態に係る視点確認システム１Ｃと基本的なシステム構成は同様であるが、表示装置Ｄ１を使用してプレイするプレイヤＡとは異なるプレイヤＢ（例えば、対戦相手）が表示装置Ｄ３の使用者である点が異なる。

【0045】

図１３は、図１２に示す視点確認システム１Ｄの使用例を示す図である。表示装置Ｄ１の使用者はプレイヤＡである。一方、表示装置Ｄ３の使用者はプレイヤＢである。プレイヤＡとプレイヤＢは、例えば対戦ゲームで対戦するプレイヤである。プレイヤＡとプレイヤＢのそれぞれは、ゲーム装置ＧＭで同一のゲームを同時にプレイするプレイヤであり、ゲーム装置ＧＭに接続される２つの入力装置（コントローラ等）のそれぞれを使用してプレイする。また、このゲームは、プレイヤＡとプレイヤＢとで同じゲーム空間でプレイするものであり、プレイヤＡがプレイ中に見るゲーム映像とプレイヤＢがプレイ中に見るゲーム映像とはゲーム装置ＧＭが生成する同一のゲーム映像を用いることができるものとする。

【0046】

表示装置Ｄ１には、ゲーム装置ＧＭからのゲーム映像が入力される。一方、表示装置Ｄ３には、プレイヤＡの視点位置を示す視点情報がゲーム映像に付加された合成ゲーム映像が入力される。例えば、視点確認システム１Ｄは、ゲームのプレイ中に、表示装置Ｄ１にはゲーム装置ＧＭからのゲーム映像を表示し、表示装置Ｄ３にはプレイヤＡの視点情報に基づくマークが合成された合成ゲーム映像を表示する。

【0047】

これにより、プレイヤＡは、プレイ中にゲーム装置ＧＭから出力されるゲーム映像を表示する表示装置Ｄ１を見ながらプレイするが、表示装置Ｄ３を見ながらプレイするプレイヤＢは、プレイ中にプレイヤＡの視点を確認しながらプレイすることができる。例えば、プレイヤＢが、講師または上級者である場合、プレイヤＡと一緒にゲームをプレイしながらプレイヤＡの視点の位置や動きを確認して改善指示等を行うことが可能となる。また、プレイヤＡが、講師または上級者で、プレイヤＢが生徒である場合、プレイヤＢは、プレイヤＡの視点の位置や動きからプレイヤＡの次の行動等を予測してゲームをプレイすることができる。プレイヤＢは、ゲームの場面ごとに気にする点を意識しながらプレイすることで、上達が期待できる。

【0048】

［第５の実施形態］
次に、本発明の第５の実施形態を説明する。
本実施形態では、複数のプレイヤの視点位置を検出してゲーム映像と合成する例について説明する。
図１４は、本実施形態に係る視点確認システム１Ｅの概要を示す模式図である。視点確認システム１Ｅでは、ゲーム装置ＧＭａでゲームをプレイするプレイヤＡが表示装置Ｄ１ａに表示されるゲーム映像を見てプレイし、ゲーム装置ＧＭｂでゲームをプレイするプレイヤＢが表示装置Ｄ１ｂに表示されるゲーム映像を見てプレイする。ゲーム装置ＧＭａから出力されるゲーム映像は分配装置ＤＴａで２系統に分配され、一方のゲーム映像が表示装置Ｄ１ａに入力され、他方のゲーム映像が映像処理装置１００Ｅに入力される。同様に、ゲーム装置ＧＭｂから出力されるゲーム映像は分配装置ＤＴｂで２系統に分配され、一方のゲーム映像が表示装置Ｄ１ｂに入力され、他方のゲーム映像が映像処理装置１００Ｅに入力される。また、視点検出装置ＥＹａは、表示装置Ｄ１ａの使用者の視点位置を検出し、検出した視点位置を示す視点情報を映像処理装置１００Ｅに対して出力する。同様に、視点検出装置ＥＹｂは、表示装置Ｄ１ｂの使用者の視点位置を検出し、検出した視点位置を示す視点情報を映像処理装置１００Ｅに対して出力する。

【0049】

映像処理装置１００Ｅは、複数のプレイヤのそれぞれのプレイ映像にそれぞれの視点情報を付加した複合合成ゲーム映像を表示装置Ｄ３に表示させる。複合合成ゲーム映像としては、表示画面Ｇ１０に示すように、表示画面の中央を境に左右に２分割し、左側にプレイヤＡのゲーム映像にプレイヤＡの視点情報を付加した合成ゲーム映像、右側にプレイヤＢのゲーム映像にプレイヤＢの視点情報を付加した合成ゲーム映像となるように複合してもよい。また、表示画面Ｇ２０に示すように、プレイヤＡのゲーム映像またはプレイヤＢのゲーム映像のいずれか一つのゲーム映像にプレイヤＡの視点情報とプレイヤＢの視点情報との両方を付加した複合合成ゲーム映像としてもよい。表示画面Ｇ１０に示す例では、各プレイヤの視点位置の表示が見やすく、表示画面Ｇ２０示す例では、各プレイヤのゲーム状況に応じた視点の関係性が明確化される。

【0050】

なお、表示画面の中央を境に左右に２分割して左側と右側に表示するのに代えて、上下に２分割して上側と下側に表示してもよい。また、複数のプレイヤのそれぞれのプレイ映像にそれぞれの視点情報を付加した複合合成ゲーム映像は、一つの画面に並べて表示してもよいし、少なくとも一部を重ねて表示してもよい。例えば、複数のプレイヤのゲーム映像が同一の場合には重ねて表示し、異なる場合には並べて表示してもよい。

【0051】

図１５は、図１４に示す視点確認システム１Ｅの使用例を示す図である。表示装置Ｄ１ａの使用者はプレイヤＡであり、表示装置Ｄ１ｂの使用者はプレイヤＢである。また、表示装置Ｄ３の使用者は講師又は生徒等である。表示装置Ｄ１ａ及び表示装置Ｄ１ｂにはプレイ映像が入力され、表示装置Ｄ３には複合合成ゲーム映像が表示される。例えば、視点確認システム１Ｅは、ゲームのプレイ中に、表示装置Ｄ１ａ及び表示装置Ｄ１ｂにはゲーム映像を表示し、表示装置Ｄ３にはプレイヤＡ及びプレイヤＢの視点情報に基づくマークが合成された複合合成ゲーム映像（図１４の表示画面Ｇ１０、Ｇ２０参照）を表示する。また、視点確認システム１Ｅは、ゲームのプレイ後に、表示装置Ｄ３に複合合成ゲーム映像を表示してもよい。

【0052】

このように、同時に複数のプレイヤの視点位置を検出し比較することも有意義である。ただし、各プレイヤのゲーム映像が異なっている場合は、上述した第１から第４の実施形態の構成及び効果と同様である。本実施形態では、複数のプレイヤで同一のゲーム映像でプレイを行う際の視点情報を比較する場合に、より有効である。例えば、複数のプレイヤが同一のゲーム映像を見ながら戦う対戦ゲーム（例えば、格闘ゲーム）については、攻撃時または防御時や間合いを取っているときなど、それぞれのプレイヤがどの位置を注視しながらプレイしているか複合合成ゲーム映像で確認や比較することができ、攻守における視点位置の差異を明確にすることができる。

【0053】

次に、図１６及び図１７を参照して、視点確認システム１Ｅの構成について詳しく説明する。図１６は、本実施形態に係る視点確認システム１Ｅの構成の一例を示すブロック図である。視点確認システム１Ｅは、ゲーム装置ＧＭａと、分配装置ＤＴａと、表示装置Ｄ１ａと、視点検出装置ＥＹａと、ゲーム装置ＧＭｂと、分配装置ＤＴｂと、表示装置Ｄ１ｂと、視点検出装置ＥＹｂと、映像処理装置１００Ｅと、表示装置Ｄ３とを備えている。

【0054】

ゲーム装置ＧＭａは、ゲームの進行に応じたゲーム映像ＰＶ０ａを分配装置ＤＴａへ出力する。分配装置ＤＴａは、ゲーム装置ＧＭａから入力されたゲーム映像ＰＶ０ａを第１映像ＰＶ１ａと第２映像ＰＶ２ａとの２系統に分配して出力する。第１映像ＰＶ１ａは表示装置Ｄ１ａへ入力され、第２映像ＰＶ２ａは映像処理装置１００Ｅへ入力される。視点検出装置ＥＹａは、表示装置Ｄ１ａの使用者（例えば、プレイヤＡ）の視点位置を検出し、検出した視点位置を示す視点情報ＥＤ１ａを、映像処理装置１００Ｅへ出力する。

【0055】

また、ゲーム装置ＧＭｂは、ゲームの進行に応じたゲーム映像ＰＶ０ｂを分配装置ＤＴｂへ出力する。分配装置ＤＴｂは、ゲーム装置ＧＭｂから入力されたゲーム映像ＰＶ０ｂを第１映像ＰＶ１ｂと第２映像ＰＶ２ｂとの２系統に分配して出力する。第１映像ＰＶ１ｂは表示装置Ｄ１ｂへ入力され、第２映像ＰＶ２ｂは映像処理装置１００Ｅへ入力される。また、視点検出装置ＥＹｂは、表示装置Ｄ１ｂの使用者（例えば、プレイヤＢ）の視点位置を検出し、検出した視点位置を示す視点情報ＥＤ１ｂを、映像処理装置１００Ｅへ出力する。

【0056】

映像処理装置１００Ｅは、入力される第２映像ＰＶ２ａ、視点情報ＥＤ１ａ、第２映像ＰＶ２ｂ、及び視点情報ＥＤ１ｂに基づいて複合合成映像情報を生成して複合合成ゲーム映像を出力する。
図１７は、本実施形態に係る映像処理装置１００Ｅの構成の一例を示すブロック図である。映像処理装置１００Ｅは、生成部１１０Ｅと、記憶制御部１２０と、映像出力部１３０とを備えている。

【0057】

生成部１１０Ｅには、分配装置ＤＴａから出力される第２映像ＰＶ２ａと、視点検出装置ＥＹａから出力される視点情報ＥＤ１ａと、分配装置ＤＴｂから出力される第２映像ＰＶ２ｂと、視点検出装置ＥＹｂから出力される視点情報ＥＤ１ｂとが入力される。生成部１１０Ｅは、入力された第２映像ＰＶ２ａを映像処理が可能な映像情報ＰＶ２ａ’にデータ変換し、この第２映像ＰＶ２に基づく映像情報ＰＶ２ａ’に、視点検出装置ＥＹａにより検出された視点位置（プレイヤＡの視点位置）を示す視点情報ＥＤ１ａ（より詳しくは、視点情報ＥＤ１ａを映像情報ＰＶ２ａ’に付加する処理が可能なようにデータ変換した視点情報ＥＤ１ａ’）を付加した第１合成映像情報を生成する。また、生成部１１０Ｅは、入力された第２映像ＰＶ２ｂを映像処理が可能な映像情報ＰＶ２ｂ’にデータ変換し、この第２映像ＰＶ２ｂに基づく映像情報ＰＶ２ｂ’に、視点検出装置ＥＹｂにより検出された視点位置（プレイヤＢの視点位置）を示す視点情報ＥＤ１ｂ（より詳しくは、視点情報ＥＤ１ｂを映像情報ＰＶ２ｂ’に付加する処理が可能なようにデータ変換した視点情報ＥＤ１ｂ’）を付加した第２合成映像情報を生成する。そして、生成部１１０Ｅは、第１合成映像情報と第２合成映像情報とに基づく複合合成映像情報ＣＶ１０’を生成する。例えば、生成部１１０Ｅは、表示画面の中央を境に左右に２分割した左側に第１合成映像情報に基づく映像（プレイヤＡの視点情報が付加されたゲーム映像）、右側に第２合成映像情報に基づく映像（プレイヤＢの視点情報が付加されたゲーム映像）が表示されるように複合合成映像情報ＣＶ１０’を生成する（図１４の表示画面Ｇ１０参照）。生成部１１０Ｅは、生成した複合合成映像情報ＣＶ１０’を記憶制御部１２０と映像出力部１３０とへ出力する。

【0058】

なお、生成部１１０Ｅは、第２映像ＰＶ２に基づく映像情報ＰＶ２ａ’と第２映像ＰＶ２ｂに基づく映像情報ＰＶ２ｂ’とのいずれか一方の映像情報に、視点検出装置ＥＹａにより検出された視点位置（プレイヤＡの視点位置）を示す視点情報ＥＤ１ａ（より詳しくは、視点情報ＥＤ１ａを映像情報ＰＶ２ａ’に付加する処理が可能なようにデータ変換した視点情報ＥＤ１ａ’）と、視点検出装置ＥＹｂにより検出された視点位置（プレイヤＢの視点位置）を示す視点情報ＥＤ１ｂ（より詳しくは、視点情報ＥＤ１ｂを映像情報ＰＶ２ｂ’に付加する処理が可能なようにデータ変換した視点情報ＥＤ１ｂ’）とを付加した複合合成映像情報ＣＶ１０’を生成してもよい（図１４の表示画面Ｇ２０参照）。

【0059】

映像出力部１３０は、プレイ中には、生成部１１０Ｅにより生成された複合合成映像情報ＣＶ１０’に基づく複合合成ゲーム映像ＣＶ１０を出力することが可能である。また、映像出力部１３０は、プレイ後には、記憶制御部１２０により記憶部に記憶された複合合成映像情報ＣＶ１０’に基づく複合合成ゲーム映像ＣＶ１０を出力することが可能である。

【0060】

本構成により、プレイヤＡが使用する表示装置Ｄ１ａ及びプレイヤＢが使用する表示装置Ｄ１ｂは、プレイ中には、ゲーム装置ＧＭから出力されるゲーム映像をリアルタイムに表示する。一方、表示装置Ｄ３は、プレイ中に、映像処理装置１００Ｅから出力される複合合成ゲーム映像ＣＶ１０を表示することも、プレイ後に、映像処理装置１００Ｅから出力される複合合成ゲーム映像ＣＶ１０を表示することも可能である。

【0061】

以上説明したように、本実施形態に係る視点確認システム１Ｅは、複数のプレイヤ（対象者の一例）の視点位置を検出する複数の視点検出装置ＥＹ（ＥＹａ、ＥＹｂ）を用いる。分配装置ＤＴは、複数のプレイヤのそれぞれに対応したゲーム映像を分配する分配装置ＤＴａ、ＤＴｂ（個別分配装置の一例）を含んで構成されている。生成部１１０Ｅは、複数のプレイヤのそれぞれに対応した複数の視点情報ＥＤ１（ＥＤ１ａ、ＥＤ１ｂ）とゲーム映像（第２映像ＰＶ２に基づく映像情報ＰＶ２ａ’と第２映像ＰＶ２ｂに基づく映像情報ＰＶ２ｂ’とのいずれか一方または両方）とに基づく複合合成映像情報ＣＶ１０’を生成する。映像出力部１３０は、生成部１１０Ｅにより生成された複合合成映像情報ＣＶ１０’に基づく複合合成ゲーム映像ＣＶ１０を出力する。例えば、映像出力部１３０は、プレイ中には、生成部１１０Ｅにより生成された複合合成映像情報ＣＶ１０’に基づく複合合成ゲーム映像ＣＶ１０をリアルタイムに出力する。また、映像出力部１３０は、プレイ後には、記憶制御部１２０により記憶部に記憶された複合合成映像情報ＣＶ１０’に基づく複合合成ゲーム映像ＣＶ１０を出力する。

【0062】

これにより、視点確認システム１Ｅは、複数のプレイヤ（例えば、プレイヤＡ、プレイヤＢ）がそれぞれのゲーム装置ＧＭａ、ＧＭｂから出力されるゲーム映像を表示する複数の表示装置Ｄ１ａ、Ｄ１ｂのそれぞれを見ながら行われるゲームのプレイ中において、複数のプレイヤ（例えば、プレイヤＡ、プレイヤＢ）のそれぞれの視点情報に基づくマークをゲーム映像と合成した複合合成ゲーム映像ＣＶ１０を、表示装置Ｄ１ａ、Ｄ１ｂ以外の表示装置Ｄ３で、第三者（例えば、講師や生徒）に対して表示するようにしたので、プレイヤによるゲームのプレイを妨げることなく、プレイ中の複数のプレイヤの視点を、第三者（例えば、講師や生徒）が確認可能なようにすることができる。また、視点確認システム１Ｅは、プレイ後に、プレイ中の複数のプレイヤの視点を、第三者（例えば、講師や生徒）が確認可能なようにすることもできる。

【0063】

［変形例１］
上述した第３の実施形態に係る視点確認システム１Ｃ（図８参照）に表示装置Ｄ２を加えた構成例について説明する。
図１８は、変形例１に係る視点確認システム１Ｆの概要を示す模式図である。図示する視点確認システム１Ｆは、表示装置Ｄ１の使用者が実況者に限定される点と、プレイ中にゲーム映像を表示装置Ｄ１だけではなく、プレイヤによるゲームのプレイに使用する表示装置Ｄ２にも表示する点と、プレイ後に合成ゲーム映像を表示装置Ｄ１または表示装置Ｄ３の一方または両方に表示する点とが、図８に示す視点確認システム１Ｃと異なる。例えば、表示装置Ｄ１は実況者用、表示装置Ｄ２はプレイヤ用、及び表示装置Ｄ３は講師や生徒用の表示装置として使用される。視点確認システム１Ｆにおいて、映像処理装置１００Ｆでプレイ映像と実況者の視点情報に基づくマークを合成した合成ゲーム映像を記憶しておき、その後、表示装置Ｄ１または表示装置Ｄ３の一方または両方に表示してもよい。

【0064】

図１９は、図１８に示す視点確認システム１Ｆの使用例を示す図である。表示装置Ｄ１及び表示装置Ｄ３の使用例は、図９に示す第３の実施形態に係る視点確認システム１Ｃの使用例に対して、表示装置Ｄ１の使用者が実況者である点、表示装置Ｄ１及び表示装置Ｄ３がプレイ後に合成ゲーム映像を表示可能な点が異なる。表示装置Ｄ２は、使用者がプレイヤであり、プレイ中にゲーム映像を表示する。なお、実況者が使用する表示装置Ｄ１及びプレイヤが使用する表示装置Ｄ２の使用例は、図６に示す視点確認システム１Ｂの使用例と同様である。例えば、合成ゲーム映像は、ゲーム映像に対してリアルタイムに実況者の視点情報を付加した映像である。例えば、表示装置Ｄ３は、ゲームのプレイ中に、実況者の視点情報に基づくマークが合成された合成ゲーム映像を表示する。これにより、プレイヤが表示装置Ｄ２を使用してプレイするゲームの実況中に実況者が見ているゲーム映像を妨げることなく、講師や生徒等の第三者は、実況中の実況者の視点の位置や動きをリアルタイムに確認及び評価しながら講義を進めることができる。また、表示装置Ｄ１及び表示装置Ｄ３の一方または両方は、プレイ後に、合成ゲーム映像を表示することも可能である。これにより、実況者の視点の位置や動きを、プレイ後（実況後）に実況者自身が確認することや、講師または実況者自身が解説しながら生徒に対して講義を行うこともできる。

【0065】

次に、図２０及び図２１を参照して、視点確認システム１Ｆの構成について詳しく説明する。図２０は、変形例１に係る視点確認システム１Ｆの構成の一例を示すブロック図である。この図２０において、図７および図１０と同様の構成には同一の符号付しており、その説明を省略する。図２０に示す視点確認システム１Ｆの構成は、図１０に示す視点確認システム１Ｃの構成に対して、ゲーム映像ＰＶ０を分配装置ＤＴが分配した第３映像ＰＶ３が表示装置Ｄ２へ入力される点と、映像処理装置１００Ｆが合成ゲーム映像を表示装置Ｄ１にも表示可能な点と、映像処理装置１００Ｆが記憶制御部１２０を備える点とが異なる。

【0066】

図２１は、変形例１に係る映像処理装置１００Ｆの構成の一例を示すブロック図である。映像処理装置１００Ｆは、図１１に示す映像処理装置１００Ｃが備えている生成部１１０と、映像出力部１３０とに加え、記憶制御部１２０を備えており、生成部１１０で生成された合成映像情報ＣＶ１’が映像出力部１３０だけでなく、記憶制御部１２０へも出力される。映像出力部１３０は、記憶制御部１２０により記憶部に記憶された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力することも、プレイ中（実況中）にリアルタイムに生成部１１０で生成された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力することも可能である。

【0067】

なお、映像出力部１３０は、リアルタイムに生成された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１と、当該生成された合成映像情報ＣＶ１’を一旦記憶してから読み出した合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１とのいずれか一方のみを出力する構成としてもよい。例えば、一旦記憶した合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１のみを映像出力部１３０が出力する場合には、映像処理装置１００Ｆの構成を図４に示す映像処理装置１００の構成としてもよい。また、リアルタイムに生成された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１のみを映像出力部１３０が出力する場合には、映像処理装置１００Ｆの構成を図１１に示す映像処理装置１００Ｃの構成としてもよい。この場合、合成ゲーム映像ＣＶ１を表示装置Ｄ１にするための接続経路は無くてもよい。

【0068】

［変形例２］
映像処理装置１００の変形例について説明する。例えば、図４に示す映像処理装置１００の構成例では、ゲーム映像と視点情報に基づくマークとを合成してから記憶したが、ゲーム映像と視点情報とを合成する前に個別に記憶しておき、合成ゲーム映像を出力する際に、ゲーム映像と視点情報に基づくマークとを合成してもよい。

【0069】

図２２は、変形例２に係る映像処理装置１００Ｂの構成の一例を示すブロック図である。映像処理装置１００Ｂは、図４に示す映像処理装置１００と同様に生成部１１０と、記憶制御部１２０と、映像出力部１３０とを備えているが、処理の順番が異なる。

【0070】

記憶制御部１２０には、分配装置ＤＴから出力される第２映像ＰＶ２と、視点検出装置ＥＹから出力される視点情報ＥＤ１とが入力される。記憶制御部１２０は、入力された第２映像ＰＶ２を映像処理が可能な映像情報ＰＶ２’にデータ変換して記憶部に記憶する。前述したように、記憶部は、映像処理装置１００に内蔵されていてもよいし、ＵＳＢ等で接続される外付け型の記憶装置であってもよい。また、記憶制御部１２０は、入力された視点情報ＥＤ１（より詳しくは、視点情報ＥＤ１’）を記憶部に記憶する。つまり、記憶制御部１２０は、入力された第２映像ＰＶ２に基づく映像情報ＰＶ２’と視点情報ＥＤ１’とを個別に記憶部に記憶する。なお、映像情報ＰＶ２’と視点情報ＥＤ１’とは時間軸で同期可能なように対応付けて記憶される。

【0071】

生成部１１０は、記憶制御部１２０により記憶部に記憶された映像情報ＰＶ２’と視点情報ＥＤ１’とを読み出して、映像情報ＰＶ２’に視点情報ＥＤ１’を付加した合成映像情報ＣＶ１’を生成する。例えば、合成映像情報ＣＶ１’は、第２映像ＰＶ２に基づく映像情報ＰＶ２’に視点情報ＥＤ１’に基づくマークが合成された映像情報であり、この映像情報ＰＶ２’と視点情報ＥＤ１’とは時間軸で同期している。生成部１１０は、生成した合成映像情報ＣＶ１’を映像出力部１３０へ出力する。

【0072】

映像出力部１３０は、生成部１１０により生成された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力する。例えば、映像出力部１３０は、合成映像情報ＣＶ１’をＨＤＭＩに対応した合成ゲーム映像ＣＶ１に変換して出力する。

【0073】

以上説明したように、変形例２に係る映像処理装置１００Ｂは、記憶制御部１２０が、第２映像ＰＶ２に基づく映像情報ＰＶ２’と視点情報ＥＤ１（ＥＤ１’）とを個別に記憶部に記憶し、生成部１１０が、当該記憶部に記憶された映像情報ＰＶ２’に、記憶部に記憶された視点情報ＥＤ１’を付加した合成映像情報を生成し、映像出力部１３０が、生成部１１０で生成された合成映像情報ＣＶ１’に基づく合成ゲーム映像ＣＶ１を出力する。

【0074】

この変形例２に係る映像処理装置１００Ｂは、プレイヤまたは実況者の視点情報とゲーム映像とを個別に記憶しておき、プレイ後や実況後に視点情報に基づくマークとゲーム映像とを合成した合成ゲーム映像を出力することができるため、プレイ後や実況後に、プレイヤまたは実況者自身がプレイ中または実況中の視点を確認することができる。つまり、映像処理装置１００Ｂは、ゲーム映像と視点情報とを個別に記憶することで、図４に示す映像処理装置１００と同様に,ゲーム映像に視点情報を付加した合成ゲーム映像をプレイ後や実況後に出力することができる。

【0075】

なお、図１７に示す映像処理装置１００Ｅについても、複合合成映像情報ＣＶ１０’を生成してから記憶するのではなく、複合合成映像情報ＣＶ１０’を生成する前の第２映像ＰＶ２（ＰＶ２ａ、ＰＶ２ｂ）に基づく映像情報ＰＶ２’（ＰＶ２ａ’、ＰＶ２ｂ’）と視点情報ＥＤ１’（ＥＤ１ａ、ＥＤ１ｂ）とを個別に含む個別情報を記憶しておき、複合合成ゲーム映像ＣＶ１０を出力する際に、記憶されているゲーム映像と視点情報とに基づいて複合合成映像情報ＣＶ１０’を生成してもよい。また、図２１に示す映像処理装置１００Ｆについても同様に、合成映像情報ＣＶ１’を生成してから記憶するのではなく、合成映像情報ＣＶ１’を生成する前の第２映像ＰＶ２に基づく映像情報ＰＶ２’と視点情報ＥＤ１’とを個別に含む個別情報を記憶しておき、合成ゲーム映像ＣＶ１を出力する際に、記憶されている映像情報と視点情報とに基づいて合成映像情報ＣＶ１’を生成してもよい。

【0076】

［変形例３］
第４の実施形態において、プレイヤＡがプレイ中に見るゲーム映像とプレイヤＢがプレイ中に見るゲーム映像とはゲーム装置ＧＭが生成する同一のゲーム映像を用いる場合で、プレイヤＢがプレイ中に見るゲーム映像にプレイヤＡの視点情報を付加する視点確認システム１Ｄの例について説明した。ここでは、プレイヤ毎に個別にゲーム装置ＧＭを使用する構成で、同様にプレイヤＢがプレイ中に見るゲーム映像にプレイヤＡの視点情報を付加する構成を説明する。

【0077】

図２３は、変形例３に係る視点確認システム１Ｇの概要を示す模式図である。プレイヤＡは、ゲーム装置ＧＭａ及び表示装置Ｄ１を使用してゲームをプレイする。表示装置Ｄ１は、ゲーム装置ＧＭａから出力されるゲーム映像を表示する。視点検出装置ＥＹは、表示装置Ｄ１の使用者の視点位置を検出し、検出した視点位置を示す視点情報を映像処理装置１００Ｃに対して出力する。一方、プレイヤＢは、ゲーム装置ＧＭｂ及び表示装置Ｄ３を使用してゲームをプレイする。ゲーム装置ＧＭｂから出力されるゲーム映像が映像処理装置１００Ｃに入力される。映像処理装置１００Ｃは、ゲーム映像に視点情報を付加した合成ゲーム映像を生成し、表示装置Ｄ３に対して出力する。プレイヤＢが使用する表示装置Ｄ３は、ゲーム映像にプレイヤＡの視点情報が付加された合成ゲーム映像を表示する。

【0078】

プレイヤＡとプレイヤＢは、例えば対戦ゲームで対戦するプレイヤである。例えば、プレイヤＡが使用するゲーム装置ＧＭａとプレイヤＢが使用するゲーム装置ＧＭｂとは、通信ネットワークで接続されており、ネットワーク対戦を行う。例えばゲーム装置ＧＭａから出力されるゲーム映像とゲーム装置ＧＭｂから出力されるゲーム映像とは同じゲーム空間に基づく同一のゲーム映像である。

【0079】

図２４は、図２３に示す視点確認システム１Ｇの使用例を示す図である。表示装置Ｄ１の使用者はプレイヤＡである。一方、表示装置Ｄ３の使用者はプレイヤＢである。表示装置Ｄ１には、ゲーム装置ＧＭａからのゲーム映像が入力される。一方、表示装置Ｄ３には、ゲーム装置ＧＭｂからのゲーム映像にプレイヤＡの視点情報が付加された合成ゲーム映像が入力される。例えば、視点確認システム１Ｇは、ゲームのプレイ中に、表示装置Ｄ１にはゲーム映像を表示し、表示装置Ｄ３にはプレイヤＡの視点情報に基づくマークが合成された合成ゲーム映像を表示する。このように、この視点確認システム１Ｇは、第４の実施形態に係る視点確認システム１Ｄの使用例（図１３参照）と同様に使用することができる。

【0080】

図２５は、変形例３に係る視点確認システム１Ｇの構成の一例を示すブロック図である。視点確認システム１Ｇは、ゲーム装置ＧＭａと、表示装置Ｄ１と、視点検出装置ＥＹと、ゲーム装置ＧＭｂと、表示装置Ｄ３と、映像処理装置１００Ｃとを備えている。この図２５において、図１０の各部に対応する構成には同一の符号を付している。

【0081】

ゲーム装置ＧＭａは、不図示のコントローラ（入力装置）に対するプレイヤＡの操作に応じてゲーム処理を行ない、ゲームの進行に応じたゲーム映像ＰＶ０ａを表示装置Ｄ１へ出力する。表示装置Ｄ１は、ゲーム装置ＧＭａから入力されたゲーム映像ＰＶ０ａを表示する。つまり、ゲーム映像ＰＶ０ａは、図１０の第１映像ＰＶ１に対応する。一方、ゲーム装置ＧＭｂは、不図示のコントローラ（入力装置）に対するプレイヤＢの操作に応じてゲーム処理を行ない、ゲームの進行に応じたゲーム映像ＰＶ０ｂを映像処理装置１００Ｃへ出力する。つまり、ゲーム映像ＰＶ０ｂは、図１０の第２映像ＰＶ２に対応する。

【0082】

視点検出装置ＥＹは、表示装置Ｄ１の使用者の視点位置を検出し、検出した視点位置を示す視点情報ＥＤ１を、映像処理装置１００Ｃへ出力する。映像処理装置１００Ｃは、ゲーム装置ＧＭｂから入力されたゲーム映像ＰＶ０ｂ（第２映像ＰＶ２に対応）と、視点検出装置ＥＹから入力された視点情報ＥＤ１とに基づく合成ゲーム映像ＣＶ１を表示装置Ｄ３へ出力する。これにより、プレイヤＢが使用する表示装置Ｄ３は、プレイ中に、プレイヤＡの視点情報が付加されたゲーム映像（合成ゲーム映像ＣＶ１）を表示することができる。

【0083】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１～５の実施形態及び変形例１～３において説明した各構成は、任意に組み合わせることができる。

【0084】

なお、ゲーム装置ＧＭは、例えば、ｅスポーツのスクールに設置されているゲーム装置であってもよいし、当該スクールに通う講師や生徒などが所有するゲーム装置（ゲーム機等）が持ち込まれたものであってもよい。例えば、ゲーム装置ＧＭは、据え置き型のゲーム機であってもよいし、携帯型のゲーム機であってもよい。また、ゲーム装置ＧＭは、ゲーム専用の装置に限定されず、ゲームのアプリケーションプログラムを実行可能なスマートフォンやパーソナルコンピュータなどであってもよい。

【0085】

また、上述の映像処理装置１００、１００Ｂ、１００Ｃ、１００Ｅ、１００Ｆの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像処理装置１００、１００Ｂ、１００Ｃ、１００Ｅ、１００Ｆとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0086】

また、上述の映像処理装置１００、１００Ｂ、１００Ｃ、１００Ｅ、１００Ｆの一部または全部の機能を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【0087】

なお、上述の合成ゲーム映像は、視点情報に基づくマークに限定されず、視点情報に基づくヒートマップ、ゲイズプロット、フォーカスマップまたはビースワーム等をゲーム映像に付加した映像であってもよい。また、上述の合成映像情報は、視点情報に基づくマークに限定されず、視点情報に基づくヒートマップ、ゲイズプロット、フォーカスマップまたはビースワーム等を映像情報に付加した情報であってもよい。

【0088】

［付記］
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。

【0089】

（付記１）本発明の一態様に係る視点確認システム（１、１Ｂ、１Ｅ、１Ｆ）は、ゲーム装置（ＧＭ）から出力されるゲーム映像が表示される第１表示装置（Ｄ１）と、前記第１表示装置の表示画面に対面する対象者（例えば、プレイヤ、実況者等）の視点位置を検出する視点検出装置（ＥＹ）とを備える視点確認システムであって、前記出力されたゲーム映像（ＰＶ０）を、少なくとも前記第１表示装置へ入力させる第１映像（ＰＶ１）と、前記第１映像とは入力先が異なる第２映像（ＰＶ２）とに分配する分配装置（ＤＴ）と、前記第２映像に基づく映像情報（ＰＶ２’）に、前記視点検出装置により検出された視点位置を示す視点情報（ＥＤ１（ＥＤ１’））を付加した合成映像情報（ＣＶ１’）を生成する生成部（１１０）と、前記合成映像情報に基づく合成ゲーム映像（ＣＶ１）を出力する映像出力部（１３０）と、前記第２映像に基づく映像情報と前記視点情報とを含む情報、もしくは前記合成映像情報を記憶部に記憶する記憶制御部（１２０）と、を有する映像処理装置（１００、１００Ｂ、１００Ｅ、１００Ｆ）と、を備える。

【0090】

付記１の構成によれば、ゲーム装置ＧＭから出力されるゲーム映像を表示する第１表示装置を見ながら行われるアクティビティ（例えば、ゲームプレイやゲーム実況）中において、アクティビティを行う対象者（例えば、プレイヤや実況者）の視点情報に基づくマーク等を、第１表示装置以外の映像処理装置で、ゲーム映像と合成した合成ゲーム映像又はゲーム映像とともに記録することで、アクティビティ中は第１表示装置に視点情報に基づくマーク等を表示させないようにすることができる。したがって、対象者のアクティビティ（例えば、ゲームプレイやゲーム実況）を妨げることなく、アクティビティ中の対象者の視点を確認可能なようにすることができる。

【0091】

（付記２）また、本発明の一態様は、付記１に記載の視点確認システム（１、１Ｂ、１Ｆ）であって、前記第１表示装置は、前記ゲーム装置から出力される前記ゲーム映像から分配された前記第１映像と、前記映像出力部から出力される前記合成ゲーム映像とを切替えて表示可能である。

【0092】

付記２の構成によれば、対象者（例えば、プレイヤや実況者）が第１表示装置を見ながらアクティビティ（例えば、ゲームプレイやゲーム実況）を行うと共に、アクティビティの後に同じ第１表示装置を見ながら合成ゲーム映像を確認できるため、表示装置１台の最小限のシステムで、アクティビティ中の対象者自身の視点を確認することができる。

【0093】

（付記３）また、本発明の一態様は、付記１または付記２に記載の視点確認システム（１Ｂ、１Ｆ）であって、前記分配装置は、前記出力されたゲーム映像を、さらに第３映像（ＰＶ３）に分配し、前記第３映像を表示する第２表示装置（Ｄ２）を備える。

【0094】

付記３の構成によれば、第２表示装置でゲーム映像を見ながらプレイヤがゲームをプレイしている利用状況において、そのゲーム映像を第１表示装置で見ながらアクティビティ（ゲーム実況）を行う対象者（実況者）の視点を、アクティビティ後（ゲーム実況後）に同じ第１表示装置で確認することができる。

【0095】

（付記４）また、本発明の一態様は、付記１から付記３のいずれか一に記載の視点確認システム（１、１Ｂ、１Ｅ、１Ｆ）であって、前記記憶制御部は、前記生成部で生成した合成映像情報を前記記憶部に記憶し、前記映像出力部は、前記記憶部に記憶された合成映像情報に基づく前記合成ゲーム映像を出力する。

【0096】

付記４の構成によれば、アクティビティを行う対象者（例えば、プレイヤや実況者）の視点情報に基づくマーク等とゲーム映像とを合成した合成映像情報を記憶しておき、後から出力することができるため、アクティビティ後に、対象者自身がアクティビティ中の対象者の視点を確認することができる。

【0097】

（付記５）また、本発明の一態様は、付記１から付記３のいずれか一に記載の視点確認システム（１、１Ｂ、１Ｅ、１Ｆ）であって、前記記憶制御部は、前記第２映像に基づく映像情報と前記視点情報とを個別に前記記憶部に記憶し、前記生成部は、前記記憶部に記憶された映像情報に、前記記憶部に記憶された視点情報を付加した合成映像情報を生成し、前記映像出力部は、前記生成部で生成された合成映像情報に基づく前記合成ゲーム映像を出力する。

【0098】

付記５の構成によれば、アクティビティを行う対象者（例えば、プレイヤや実況者）の視点情報とゲーム映像とを個別に記憶しておき、アクティビティ後（例えば、プレイ後や実況後）に視点情報に基づくマーク等とゲーム映像とを合成した合成ゲーム映像を出力することができるため、アクティビティ後に、対象者自身がアクティビティ中の対象者の視点を確認することができる。

【0099】

（付記６）また、本発明の一態様に係る視点確認システム（１Ｃ、１Ｄ、１Ｅ、１Ｆ）は、ゲーム装置（ＧＭ）から出力されるゲーム映像が表示される第１表示装置（Ｄ１）と、前記第１表示装置の表示画面に対面する対象者（例えば、プレイヤ、実況者等）の視点位置を検出する視点検出装置（ＥＹ）とを備える視点確認システムであって、前記出力されたゲーム映像（ＰＶ０）を、少なくとも前記第１表示装置へ入力させる第１映像（ＰＶ１）と、前記第１映像とは入力先が異なる第２映像（ＰＶ２）とに分配する分配装置（ＤＴ）と、前記第２映像に基づく映像情報（ＰＶ２’）に、前記視点検出装置により検出された視点位置を示す視点情報（ＥＤ１（ＥＤ１’））を付加した合成映像情報（ＣＶ１’）を生成する生成部（１１０）と、前記合成映像情報に基づく合成ゲーム映像（ＣＶ１）を出力する映像出力部（１３０）と、を有する映像処理装置（１００Ｃ、１００Ｅ、１００Ｆ）と、前記第１表示装置とは異なる第３表示装置（Ｄ３）と、を備え、前記第１表示装置は、前記第１映像を表示し、前記第３表示装置は、前記合成ゲーム映像を表示する。

【0100】

付記６の構成によれば、ゲーム装置から出力されるゲーム映像を表示する第１表示装置を見ながら行われるアクティビティ（ゲームプレイやゲーム実況）中において、アクティビティを行う対象者（例えば、プレイヤや実況者）の視点情報に基づくマーク等をゲーム映像と合成した合成ゲーム映像を第１表示装置に表示させないようにする一方、対象者以外の第三者（例えば、講師や生徒）に対しては、第３表示装置で、対象者のアクティビティ中に視点情報を確認できるようにしたので、対象者のアクティビティ（例えば、ゲームプレイやゲーム実況）を妨げることなく、アクティビティ中の対象者の視点を確認可能なようにすることができる。

【0101】

（付記７）また、本発明の一態様は、付記６に記載の視点確認システム（１Ｅ、１Ｆ）であって、前記映像処理装置は、前記第２映像に基づく映像情報と前記視点情報とを個別に含む個別情報、または前記合成映像情報を記憶部に記憶する記憶制御部（１２０）を備え、前記映像出力部は、前記記憶部に記憶された前記個別情報に基づく合成ゲーム映像、または前記合成映像情報に基づく合成ゲーム映像を出力する。

【0102】

付記７の構成によれば、アクティビティを行う対象者（例えば、プレイヤや実況者）の視点情報とゲーム映像とを個別に記憶、または視点情報に基づくマーク等とゲーム映像とを合成した合成映像情報を記憶しておき、アクティビティ後（例えば、プレイ後や実況後）に合成ゲーム映像を出力することができるため、アクティビティ後に、対象者自身がアクティビティ中の対象者の視点を確認することができる。

【0103】

（付記８）また、本発明の一態様は、付記１から付記７のいずれか一に記載の視点確認システム（１Ｂ、１Ｆ）であって、前記視点確認システムは、複数の対象者（例えば、プレイヤＡ、プレイヤＢ）の視点位置を検出する複数の視点検出装置（ＥＹａ、ＥＹｂ）を用いるものであって、前記分配装置は、前記複数の対象者のそれぞれに対応したゲーム映像（ＰＶ０ａ、ＰＶ０ｂ）を分配する個別分配装置（ＤＴａ、ＤＴｂ）を含んで構成され、前記生成部は、前記複数の対象者のそれぞれに対応した複数の前記視点情報（ＥＤ１ａ、ＥＤ１ｂ）と前記ゲーム映像とに基づく複合合成映像情報（ＣＶ１０’）を生成し、前記映像出力部は、前記生成部に生成された前記複合合成映像情報に基づく複合合成ゲーム映像（ＣＶ１０）を出力する。

【0104】

付記８の構成によれば、複数の対象者（例えば、プレイヤＡ、プレイヤＢ）がそれぞれのゲーム装置から出力されるゲーム映像を表示する複数の第１表示装置のそれぞれを見ながら行われるゲームのプレイ中において、複数の対象者（例えば、プレイヤＡ、プレイヤＢ）のそれぞれの視点情報に基づくマーク等をゲーム映像と合成した複合合成ゲーム映像を、第１表示装置以外の第３表示装置で、第三者（例えば、講師や生徒）に対して表示するようにしたので、対象者のアクティビティ（例えば、ゲームプレイ）を妨げることなく、アクティビティ中の複数の対象者の視点を、第三者（例えば、講師や生徒）が確認可能なようにすることができる。

【符号の説明】

【0105】

１、１Ｂ、１Ｃ、１Ｄ、１Ｅ、１Ｆ、１Ｇ 視点確認システム、ＧＭ ゲーム装置、ＤＴ 分配装置、Ｄ１、Ｄ２、Ｄ３ 表示装置、ＥＹ 視点検出装置、１００、１００Ｂ、１００Ｃ、１００Ｅ、１００Ｆ 映像処理装置、１１０ 生成部、１２０ 記憶制御部、１３０ 映像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【手続補正書】

【提出日】2022-02-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ゲーム装置で実行されるゲーム処理により生成されたゲーム映像が表示される第１表示部の表示画面に対面する対象者の視点位置を視点検出部により検出する視点確認システムであって、
前記ゲーム処理により生成されたゲーム映像を、少なくとも前記第１表示部へ入力させる第１映像と、前記第１映像とは入力先が異なる第２映像とに分配する分配部と、
前記第２映像に基づく映像情報に、前記視点検出部により検出された視点位置を示す視点情報を付加した合成映像情報を生成する生成部と、
前記合成映像情報に基づく合成ゲーム映像を出力する映像出力部と、
前記第２映像に基づく映像情報と前記視点情報とを含む情報、もしくは前記合成映像情報を記憶部に記憶する記憶制御部と、
を備える視点確認システム。

【請求項2】

前記第１表示部は、前記ゲーム処理により生成されたゲーム映像から分配された前記第１映像と、前記映像出力部から出力される前記合成ゲーム映像とを切替えて表示可能である、
請求項１に記載の視点確認システム。

【請求項3】

前記記憶制御部は、前記生成部で生成した合成映像情報を前記記憶部に記憶し、
前記映像出力部は、前記記憶部に記憶された合成映像情報に基づく前記合成ゲーム映像を出力する、
請求項１または請求項２のいずれか一項に記載の視点確認システム。