ホーム > 特許ランキング > ソフトバンク株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023172282
(43)【公開日】2023-12-06
(54)【発明の名称】システム及びデバイス
(51)【国際特許分類】
H04N 21/431 20110101AFI20231129BHJP
H04N 21/234 20110101ALI20231129BHJP
G06F 3/0481 20220101ALI20231129BHJP
【ＦＩ】
H04N21/431
H04N21/234
G06F3/0481
【審査請求】有
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2022083966
(22)【出願日】2022-05-23
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】大塚 哲治
【テーマコード（参考）】
5C164
5E555
【Ｆターム（参考）】
5C164FA06
5C164SA26S
5C164SB01P
5C164SC05S
5C164UA04S
5C164UB41S
5C164UB81P
5C164YA11
5E555AA29
5E555AA76
5E555BA05
5E555BA06
5E555BA46
5E555BA87
5E555BB05
5E555BB06
5E555BC07
5E555BC08
5E555BE17
5E555DA08
5E555DB03
5E555DB57
5E555DC09
5E555DC85
5E555DD06
5E555EA07
5E555EA09
5E555FA00
(57)【要約】
【課題】ユーザが競技の進行状況をリアルタイムで把握しつつ、競技の仮想現実映像を視聴可能とする。
【解決手段】本発明の一態様に係るシステム（１）は、サーバ（１０）とデバイス（２０）とを備えるシステム（１）であって、サーバ（１０）は、対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部（１２）と、前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部（１３）と、を備え、デバイス（２０）は、前記競技の撮影映像と前記仮想現実映像とを取得する第２取得部（２２）と、当該単一のデバイス（２０）において、前記撮影映像と前記仮想現実映像とを同時に表示する表示部（２７）と、を備える。
【選択図】図１
【解決手段】本発明の一態様に係るシステム（１）は、サーバ（１０）とデバイス（２０）とを備えるシステム（１）であって、サーバ（１０）は、対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部（１２）と、前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部（１３）と、を備え、デバイス（２０）は、前記競技の撮影映像と前記仮想現実映像とを取得する第２取得部（２２）と、当該単一のデバイス（２０）において、前記撮影映像と前記仮想現実映像とを同時に表示する表示部（２７）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
サーバとデバイスとを備えるシステムであって、
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記仮想現実映像とを取得する第２取得部と、
当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備えるシステム。
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記仮想現実映像とを取得する第２取得部と、
当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備えるシステム。
【請求項2】
前記表示部は、前記撮影映像と前記仮想現実映像とを同時に表示する単一のディスプレイである、請求項１に記載のシステム。
【請求項3】
前記表示部は、前記撮影映像と前記仮想現実映像とのうち一方を、他方に重畳させて表示する、請求項２に記載のシステム。
【請求項4】
前記表示部は、前記撮影映像と前記仮想現実映像とを、互いに異なるサイズで表示する、請求項２又は３に記載のシステム。
【請求項5】
前記表示部は、前記撮影映像と前記仮想現実映像とのうち少なくとも一方を、ユーザの指示に応じたサイズで表示する、請求項４に記載のシステム。
【請求項6】
前記デバイスは、携帯通信端末である、請求項１又は２に記載のシステム。
【請求項7】
前記表示部は、前記デバイスに対するユーザの指示に応じて、前記撮影映像と前記仮想現実映像とのうち、前記仮想現実映像のみを表示する、請求項１又は２に記載のシステム。
【請求項8】
前記生成部は、
複数の前記仮想現実映像を生成し、
前記表示部は、
前記複数の仮想現実映像のうち、ユーザが指定した１又は複数の前記仮想現実映像を、任意のタイミングで表示する、請求項１又は２に記載のシステム。
複数の前記仮想現実映像を生成し、
前記表示部は、
前記複数の仮想現実映像のうち、ユーザが指定した１又は複数の前記仮想現実映像を、任意のタイミングで表示する、請求項１又は２に記載のシステム。
【請求項9】
前記生成部は、
前記競技の同一場面における、互いに異なる複数の視点からの仮想現実映像をそれぞれ生成する、請求項８に記載のシステム。
前記競技の同一場面における、互いに異なる複数の視点からの仮想現実映像をそれぞれ生成する、請求項８に記載のシステム。
【請求項10】
前記競技は、球技であり、
前記第１取得部は、前記球技が進行したときにおける、前記球技に用いられる球の移動を特定する移動情報を取得する、請求項１又は２に記載のシステム。
前記第１取得部は、前記球技が進行したときにおける、前記球技に用いられる球の移動を特定する移動情報を取得する、請求項１又は２に記載のシステム。
【請求項11】
前記生成部は、前記移動情報を参照して移動を再現した物体の軌跡を描画した仮想現実映像を生成する、請求項１又は２に記載のシステム。
【請求項12】
前記表示部は、
前記競技に関与する物体が所定の移動を行った場合に限り、前記仮想現実映像を表示する、請求項１又は２に記載のシステム。
前記競技に関与する物体が所定の移動を行った場合に限り、前記仮想現実映像を表示する、請求項１又は２に記載のシステム。
【請求項13】
対象となる競技の撮影映像と、前記競技の仮想現実映像とを取得する取得部と、
当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、
を備えるデバイス。
当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、
を備えるデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想現実映像を表示するためのシステム及びデバイスに関する。
【背景技術】
【0002】
従来、スポーツの試合映像に基づいて、試合で用いられる球等の物体がどのように移動しているかをトラッキングし、物体の移動を再現した仮想現実映像を生成して、ヘッドマウントディスプレイ等の画面に表示する技術が知られている。非特許文献１では、野球の試合における投球の軌道をトラッキングし、仮想現実映像として提供する技術が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Ｂａｓｅｂｏｙ ＴＲＡＣＫＩＮＧ ＴＥＣＨＮＯＬＯＧＹ，［online］，Ｑｏｎｃｅｐｔ，［２０２２年５月１０日検索］，インターネット＜ＵＲＬ：https://baseboy.qar.jp/＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述のような従来技術は、ユーザが立体映像の仮想現実映像を視聴する場合に、専用のヘッドマウントディスプレイ或いはゴーグルを着用することを要し、仮想現実映像を視聴している間は、リアルタイムの試合映像を視聴することが出来ない。よって、例えば、投手の直前の投球を仮想現実映像で再度すぐに見てみたいが、同時に試合状況からは目が離せないというユーザのニーズを満たすことができない。
【0005】
本発明の一態様は、上記の問題に鑑みてなされたものであり、ユーザが競技の進行状況をリアルタイムで把握しつつ、競技の仮想現実映像を視聴可能とすることを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係るシステムは、サーバとデバイスとを備えるシステムであって、前記サーバは、対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部と、前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部と、を備え、前記デバイスは、前記競技の撮影映像と前記仮想現実映像とを取得する第２取得部と、当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備える。
【0007】
本発明の他の態様に係るデバイスは、対象となる競技の撮影映像と、前記競技の仮想現実映像とを取得する取得部と、当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備える。
【0008】
コンピュータを本発明の各態様に係るサーバ又はデバイスが備える各部（ソフトウェア要素）として動作させることにより前記サーバ又はデバイスをコンピュータにて実現させるサーバ又はデバイスの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0009】
また、前記制御プログラムは、コンピュータを前記各部として動作させる処理又はその他の処理において、各種の機械学習手法を用いてもよい。この場合、機械学習手法を用いるプログラムはサーバ又はデバイスで動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。
【発明の効果】
【0010】
本発明の一態様によれば、ユーザが競技の進行状況をリアルタイムで把握しつつ、競技の仮想現実映像を視聴可能となる。
【図面の簡単な説明】
【0011】
【図1】システムの機能的構成を示すブロック図の一例である。
【図2】計測用映像を撮影する撮影装置の配置例を示している。
【図3】仮想現実映像の一例を示している。
【図4】システムの処理例に係る処理の流れを示すシーケンス図の一例である。
【図5】表示部に表示される画面の一例を示している。
【図6】表示部に表示される仮想現実映像の一例を示している。
【図7】仮想空間中に再現された競技場の内外を、アバターを操作して移動させるモードにおける画面例を示している。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態について、詳細に説明する。
【0013】
〔１．システム１の構成例〕
図１は、本開示に係るシステム１の機能的構成を示すブロック図の一例である。システム１は、対象となる競技の仮想現実映像を生成及び表示するためのシステムであって、サーバ１０及び１又は複数のデバイス２０を備えている。
図１は、本開示に係るシステム１の機能的構成を示すブロック図の一例である。システム１は、対象となる競技の仮想現実映像を生成及び表示するためのシステムであって、サーバ１０及び１又は複数のデバイス２０を備えている。
【0014】
本開示において「競技」には、球技及びその他のスポーツ、並びに、競技に関与する物体の移動を伴う各種のゲームが含まれる。球技の一例としては、野球、ソフトボール、サッカー、ラグビー、バレー、バスケットボール、テニス、卓球、ゴルフ、ボーリング及びビリヤード等が挙げられる。球技以外のスポーツの一例としては、カーレース、競馬、競輪、ボートレース、オートレース、カーリング、バトミントン、水泳、スキー、スケート、陸上競技、体操競技、ダンス、柔道、剣道及び弓道等が挙げられる。また、前述した各種のゲームの一例としては、ダーツ、カルタ及び百人一首等が挙げられる。以下、一態様として、競技が野球の試合である場合を例に挙げて説明する。
【0015】
本開示において、競技に関与する「物体」には、競技に用いられる球、道具等に加え、競技に参加する人物又は動物が含まれ得る。また、競技の参加者は複数であることに限定されず、単数であってもよい。
【0016】
サーバ１０は、競技の撮影映像及び仮想現実映像をデバイス２０に供給するサーバとして機能する装置であって、制御部１１、記憶部１５及び通信部１６を備えている。
【0017】
本開示において「撮影映像」とは、競技の放映等に用いられる、全般的な競技の様子を撮影した映像を意味し、例えばリアルタイムのテレビ放送のような中継映像であるが、必ずしもこの限りではなく、録画された映像であってもよい。また、撮影映像の一部又は全部が、後述する計測用映像として用いられてもよい。対して「仮想現実映像」とは、仮想的な３次元空間内または２次元平面内において、物体の移動等を、ＣＧ（Computer Graphics）を用いて再現した映像を意味する。なお、本開示におけるリアルタイムとは、被写体の撮影からデバイスに映像が表示されるまでの一連の処理（通信を含む）において、通常要する時間の遅延を含むものである。
【0018】
制御部１１は、サーバ１０全体を統括する制御装置であって、取得部（第１取得部）１２及び生成部１３を備えている。
【0019】
取得部１２は、対象となる競技が進行したときにおける、競技に関与する物体の移動を特定する移動情報を取得する。移動情報は、例えば競技中の各時点において各物体の座標及び速度を示す情報である。なお、移動情報は、或る時点において球等の物体が静止していることを示していてもよいし、バット又はラケット等の物体を人物が持った状態における、当該物体の動きを示す情報であってもよい。また、移動情報は、制御部１１が、物体の移動をトラッキング（３次元計測）するための１又は複数の計測用映像を、図１には図示しない撮影装置３等から取得して、当該計測用映像を参照して算出する構成であってもよいし、取得部１２が、移動情報を別の外部サーバ等から取得する構成であってもよい。
【0020】
例えば取得部１２は、競技が球技である場合に、球技が進行したときにおける、球技に用いられる球の移動を特定する移動情報を取得する。
【0021】
【0022】
生成部１３は、取得部１２が取得した移動情報を参照して、競技の仮想現実映像を生成する。生成部１３は、移動情報を参照することによって、計測用映像を撮影する撮影装置３の位置以外の視点から見た仮想現実映像を生成することができる。
【0023】
図３は、投手５の投球を、捕手の視点から見た場合における仮想現実映像の一例を示している。図３の例では、球６の移動が移動情報に基づいて再現されており、投手５の動作は、予め規定された所定の動作である。換言すると、図３の仮想現実映像は、球６以外の箇所のテンプレートとなる映像に対して、移動情報に準拠して移動する球６が合成された映像である。多くの場合、前記テンプレートとなる映像には、背景となる競技場内部等の映像又は静止画が含まれる。このように、仮想現実映像内の一部においては、取得部１２が移動情報を取得する前に作成されたものであってよく、また、仮想現実映像内の一部の物体においては、移動情報が用いられずに動作が予め規定されていてもよい。また、特に移動情報に基づいて移動が再現される物体については、図３の球６に例示するように、移動の軌跡が表示される構成であってもよい。換言すると、生成部１３は、移動情報を参照して移動を再現した物体の軌跡を描画した仮想現実映像を生成する構成であってもよい。
【0024】
また、単一の仮想現実映像には、移動情報に基づいて移動が再現される物体が複数含まれていてもよい。例えば生成部１３は、投手５が投げた球６の移動を特定する移動情報と、図示しない打者がスイングしたバットの移動を特定する移動情報とに基づいて、球６及び前記バットの移動を略同じタイミングで再現した単一の仮想現実映像を生成してもよい。
【0025】
また、制御部１１は、撮影装置３又は外部サーバ等から撮影映像を取得し、通信部１６を介してデバイス２０に送信する処理を行う。
【0026】
記憶部１５は、各種情報を記憶する記憶装置であって、例えば生成部１３が仮想現実映像を生成する場合に参照する情報であって、前述したテンプレートとなる映像を示す情報、及び競技場の形状を示す情報、並びに各映像を示す情報等を記憶する。
【0027】
通信部１６は、制御部１１による制御に基づいて、デバイス２０等の外部装置との通信処理を行うインターフェースである。例えば通信部１６は、撮影映像及び仮想現実映像をデバイス２０に送信する処理を行う。
【0028】
デバイス２０は、受信した撮影映像及び仮想現実映像を画面に表示するデバイスであって、例えばスマートフォン又はタブレット等の携帯通信端末である。デバイス２０は、制御部２１、記憶部２５、通信部２６、表示部２７及び入力部２８を備えている。
【0029】
制御部２１は、デバイス２０全体を統括する制御装置であって、取得部（第２取得部）２２を備えている。取得部２２は、サーバ１０から送信された、競技の撮影映像と仮想現実映像とを取得する。
【0030】
記憶部２５は、各種情報を記憶する記憶装置であって、デバイス２０における表示設定を示す情報、及び通信先となるサーバ１０を特定するための情報等を記憶する。
【0031】
通信部２６は、制御部２１による制御に基づいて、サーバ１０等の外部装置との通信処理を行うインターフェースである。例えば通信部２６は、撮影映像及び仮想現実映像をサーバ１０から受信する。
【0032】
表示部２７は、制御部２１による制御に基づいて、静止画像又は映像等を画面に表示するディスプレイである。入力部２８は、デバイス２０に対するユーザの指示を受け付けるボタン等のインターフェースである。なお、表示部２７及び入力部２８は、これらが一体となったタッチパッドとして実現される構成であってもよいし、入力部２８は、デバイス２０本体とは別機器のリモコン又はコントローラ等であってもよい。
【0033】
なお、システム１が備える単一の部材の機能が、別の複数の部材によって実現されてもよく、システム１が備える複数の部材の機能が、別の単一の部材によって実現されてもよい。例えば、サーバ１０は、データベースを有する第１のサーバと、デバイス２０との通信を行う第２のサーバとによって実現される構成であってもよい。
【0034】
〔２．システム１の処理例〕
続いて、システム１が実行する処理の流れについて一例を挙げて説明する。図４は、本例に係る処理の流れを示すシーケンス図の一例である。
続いて、システム１が実行する処理の流れについて一例を挙げて説明する。図４は、本例に係る処理の流れを示すシーケンス図の一例である。
【0035】
Ｓ１０１（ステップＳ１０１）において、サーバ１０の制御部１１は、前述した撮影装置３等から、対象となる競技の撮影映像及び計測用映像を、通信部１６を介して取得する。
【0036】
Ｓ１０２において、制御部１１は、計測用映像を参照して移動情報を算出する。また、取得部１２は、当該移動情報を取得する。
【0037】
Ｓ１０３において、生成部１３は、取得部１２が取得した移動情報を参照して、競技の仮想現実映像を生成する。Ｓ１０１～Ｓ１０３において制御部１１が取得又は生成した各映像を示す情報は、少なくとも一時的に記憶部１５に記憶される。
【0038】
Ｓ１０４において、デバイス２０の制御部２１は、撮影映像及び仮想現実映像の送信を要求する情報を、通信部２６を介してサーバ１０に送信する。このＳ１０４の処理は、撮影映像及び仮想現実映像の表示を開始するためのユーザの指示を、入力部２８が受け付けた場合に実行される。
【0039】
Ｓ１０５において、サーバ１０の制御部１１は、撮影映像及び仮想現実映像を、要求元のデバイス２０に対して送信する。
【0040】
Ｓ１０６において、デバイス２０の制御部２１は、サーバ１０から受信して取得部２２が取得した撮影映像及び仮想現実映像を、規定された位置にそれぞれ配置して表示部２７に同時に表示させる。
【0041】
なお、図４の各処理が実行される順序は、前述した順序に限定されず、例えば、サーバ１０が、撮影映像の取得と並行して仮想現実映像を生成する構成であってもよいし、Ｓ１０４の処理が、Ｓ１０１又はＳ１０２の前又は後のタイミングで実行される構成であってもよい。
【0042】
また、デバイス２０が撮影映像の送信を要求するタイミングと仮想現実映像の送信を要求するタイミングとは同時でなくともよいし、サーバ１０が撮影映像の送信を開始するタイミングと仮想現実映像の送信を開始するタイミングとは同時でなくともよい。また、仮想現実映像は、生成され次第、デバイス２０からの要求に依らず、撮影映像を表示中のデバイス２０に送信される構成であってもよい。
【0043】
なお、サーバ１０は、撮影映像又は仮想現実映像を取得又は生成する前に、これら各映像の送信の要求を受け付けてもよい。前記の場合、サーバ１０は、送信が可能となり次第、各映像をデバイス２０に対して送信する。
【0044】
本例の構成によれば、ユーザが競技の進行状況をリアルタイムで把握しつつ、競技の仮想現実映像を視聴可能となる。
【0045】
〔３．表示画面例〕
続いて、デバイス２０の表示部２７に表示される画面例について説明する。制御部２１は、入力部２８に入力されたユーザの指示に応じた画面を生成して表示部２７に表示させる。
続いて、デバイス２０の表示部２７に表示される画面例について説明する。制御部２１は、入力部２８に入力されたユーザの指示に応じた画面を生成して表示部２７に表示させる。
【0046】
図５の画面３１及び画面３６は、前述したＳ１０６の処理において、表示部２７である単一のディスプレイに表示される画面の一例を示している。
【0047】
画面３１に示す「スマホモード」は、デバイス２０を、ユーザが手で把持して、又は机上のスタンドに配置して視聴するモードである。画面３１においては、撮影映像３３が、仮想現実映像３４に重畳して表示されている。
【0048】
なお、各映像の配置は、逆であってもよく、仮想現実映像３４が、画面全体に表示された撮影映像３３に重畳する構成であってもよい。即ち、表示部２７は、撮影映像と仮想現実映像とのうち一方を、他方に重畳させて表示してもよい。これにより、各映像の一覧性を向上させることができる。従って、例えばユーザが仮想現実映像３４を注視している場合であっても、撮影映像３３が同時にユーザの視界に入ることになるので、ユーザは競技の進行状況をリアルタイムに把握しやすくなる。
【0049】
一態様において、撮影映像３３は、リアルタイムの中継映像であり、仮想現実映像３４は、当該中継映像に対応する投球等のプレイを直後に再現した仮想現実映像である。また、撮影映像３８Ａ（３８Ｂ）及び仮想現実映像３９Ａ（３９Ｂ）についても、同様の説明が適用される。前記の態様においては、例えば、中継された撮影映像３３におけるプレイを、直後に仮想現実映像３４で確認することができる。
【0050】
仮想現実映像３４の生成に時間を要するため、通常、撮影映像３３と、仮想現実映像３４との間においては、各プレイの表示タイミングに０．５秒程の時間差が生じるが、ユーザの指示に応じて、前記時間差分だけ撮影映像３３の再生を遅らせることによって、表示タイミングを一致させてもよい。また、表示部２７は、ユーザの指示に応じて、前記時間差を更に大きくして画面表示を行ってもよい。
【0051】
画面３６に示す「ＶＲモード（Virtual Realityモード）」は、デバイス２０であるスマートフォンを、専用のゴーグル等のウェアラブルデバイスにセットして視聴するモードである。つまり、ＶＲモードは、デバイス２０と前記ウェアラブルデバイスとが単一のデバイスを構成する状態において視聴を行うモードである。なお、デバイス２０が、前記ウェアラブルデバイスを備えるものと見做しても構わない。
【0052】
画面３６に含まれる仮想現実映像３９Ａと仮想現実映像３９Ｂとは、互いに視差のある同内容の映像であり、ユーザは、仮想現実映像３９Ａ及び３９Ｂを、奥行きのある立体映像として視聴することができる。即ち、専用のゴーグル等を用いて画面３６を視聴した場合、投手の投球が、ユーザ側に迫ってくるように見える。
【0053】
なお、多くの場合、撮影映像３８Ａ及び３８Ｂは、互いに視差が無い平面的な映像であるが、必ずしもこの限りではない。
【0054】
表示部２７は、ユーザの指示に応じて、「スマホモード」の画面３１と「ＶＲモード」の画面３６とを切り替えて表示する。また、表示部２７は、ユーザの指示に応じて、撮影映像と仮想現実映像とのうち、撮影映像のみを画面に表示してもよいし、仮想現実映像のみを画面に表示してもよい。また、制御部２１は、表示部２７に表示させない映像については、サーバ１０から取得せずともよい。
【0055】
【0056】
図６に例示するように、仮想現実映像には、競技のスコア４０、競技の参加者名である投手名４１及び打者名４２、次の打者名４３、他の参加者の位置４４、及び現競技中における成績４５等の情報が画面に含まれていてもよい。換言すれば、生成部１３は、制御部１１が別途取得した前記情報を含む仮想現実映像を生成する構成であってもよい。
【0057】
【0058】
図７において、ボタン５３は、アバター５１を移動させるためのボタンである。ボタン５４及び５５は、アバターに特定のアクションを実行させるためのボタンである。ボタン５５に対しては、例えばジャンプ等のアクションが割り当てられる。ボタン５７は、別個体のデバイス２０を操作する他のユーザとチャットを行うためのボタンである。なお、前述した仮想空間は、他のユーザと共通する場所であってもよい。即ち、仮想空間内においては、他のユーザが操作する別のアバター５１が表示されて、自身が操作するアバター５１と会話等が可能な構成であってもよい。ボタン５８は、仮想空間の地図を表示させるためのボタンである。ボタン５９は、アバターの外観等の各種設定を行うためのボタンである。
【0059】
表示部２７は、ユーザの指示に応じて、競技の映像を表示するモードと、アバター５１を移動させるモードとを切り替えて表示する。また、アバター５１を競技場の客席等の所定位置に移動させた場合に、自動的に競技の映像を表示するモードに遷移する構成であってもよい。図７に例示する構成によれば、デバイス２０を用いた映像表示のゲーム性を向上させることに加え、没入感を向上させ、ユーザを実際に競技場に来ている気分にさせることに寄与する。
【0060】
〔４．変形例〕
競技の撮影映像は、サーバ１０がデバイス２０に供給する構成に限定されない。換言すれば、デバイス２０が撮影映像を取得する取得先は、仮想現実映像を供給するサーバ１０とは別の外部サーバ等であってもよい。
競技の撮影映像は、サーバ１０がデバイス２０に供給する構成に限定されない。換言すれば、デバイス２０が撮影映像を取得する取得先は、仮想現実映像を供給するサーバ１０とは別の外部サーバ等であってもよい。
【0061】
また、撮影映像及び仮想現実映像を画面に配置する処理であって、例えば撮影映像と仮想現実映像とのうち一方を他方に重畳させる処理は、デバイス２０側ではなく、サーバ１０の制御部１１が行う構成であってもよい。
【0062】
また、図６に関連して、競技のスコア４０等の情報を仮想現実映像に配置する処理は、デバイス２０の制御部２１が、前記情報をサーバ１０等から取得して行う構成であってもよい。
【0063】
また、デバイス２０が表示部２７として複数のディスプレイを備え、第１のディスプレイが撮影映像を表示し、第２のディスプレイが仮想現実映像を表示する構成であってもよい。また、図５の画面３６に関連して、第１のディスプレイが撮影映像３８Ａ及び仮想現実映像３９Ａを表示し、第２のディスプレイが撮影映像３８Ｂ及び仮想現実映像３９Ｂを表示する構成であってもよい。
【0064】
また、表示部２７は、撮影映像と仮想現実映像とを同じサイズで表示してもよいし、互いに異なるサイズで表示してもよい。加えて、表示部２７は、撮影映像と仮想現実映像とのうち少なくとも一方を、ユーザの指示に応じたサイズで表示してもよい。また、各映像の配置も特定の配置に限定されず、ユーザの指示によって変更可能な構成であってもよい。
【0065】
また、サーバ１０の生成部１３が複数の仮想現実映像を生成し、デバイス２０の表示部２７が、前記複数の仮想現実映像のうち、ユーザが指定した１又は複数の仮想現実映像を、任意のタイミングで表示する構成であってもよい。前記の構成は、サーバ１０の制御部１１が、記憶部１５に蓄積した仮想現実映像のうち、ユーザに指定された仮想現実映像をデバイス２０に送信することによって実現する。また、複数の仮想現実映像は、或る競技の１試合の映像を複数に分割した映像であってもよい。これにより、例えば特定の打者に対応する仮想現実映像、又は各打者に対して投げられた初球に対応する仮想現実映像等を、ユーザがまとめて視聴することが可能となる。
【0066】
また、生成部１３が生成する、前述した複数の仮想現実映像は、競技の同一場面における、互いに異なる視点からの仮想現実映像であってもよい。また、表示部２７は、複数の仮想現実映像を同時に表示してもよい。例えば表示部２７は、野球全体の撮影映像と、捕手の視点から見た仮想現実映像と、打者、走者、監督、又は審判の視点から見た仮想現実映像とを同時に表示してもよい。
【0067】
また、表示部２７は、競技に関与する物体が所定の移動を行った場合、即ち前記物体の移動が所定条件を満たした場合に限り、仮想現実映像を表示する構成であってもよい。一態様において、生成部１３は、競技に関与する物体が所定の移動を行ったことを移動情報が示していない場合には、仮想現実映像を生成しない構成であってもよい。例えば、表示部２７は、撮影映像と仮想現実映像とのうち、撮影映像のみを常時表示し、投球の球速が所定速度を超えた場合に限り、前記投球を再現する仮想現実映像を、撮影映像に重畳させて表示してもよい。
【0068】
〔５．ソフトウェアによる実現例〕
サーバ１０及びデバイス２０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１１又は制御部２１に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
サーバ１０及びデバイス２０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１１又は制御部２１に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
【0069】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0070】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0071】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0072】
また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。
【0073】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0074】
１ システム
１０ サーバ
１１、２１ 制御部
１２ 取得部（第１取得部）
１３ 生成部
１５、２５ 記憶部
１６、２６ 通信部
２０ デバイス
２２ 取得部（第２取得部）
２７ 表示部
２８ 入力部
１０ サーバ
１１、２１ 制御部
１２ 取得部（第１取得部）
１３ 生成部
１５、２５ 記憶部
１６、２６ 通信部
２０ デバイス
２２ 取得部（第２取得部）
２７ 表示部
２８ 入力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-06-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
サーバとデバイスとを備えるシステムであって、
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記仮想現実映像とを取得する第２取得部と、
単一の前記デバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備え、
前記表示部は、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、システム。
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記仮想現実映像とを取得する第２取得部と、
単一の前記デバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備え、
前記表示部は、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、システム。
【請求項2】
前記表示部は、前記仮想現実映像において前記競技に関与する物体の移動を表示したタイミングにおいて、前記撮影映像において、前記競技に関与する物体の前記移動より未来の前記競技の進行状況を表示する、請求項１に記載のシステム。
【請求項3】
前記生成部は、前記仮想現実映像内の一部を、前記第１取得部が前記移動情報を取得する前に生成する、請求項１又は２に記載のシステム。
【請求項4】
前記生成部は、
前記競技の同一場面における、互いに異なる複数の視点からの前記仮想現実映像をそれぞれ生成し、
前記表示部は、
前記複数の仮想現実映像のうち、ユーザが指定した１又は複数の前記仮想現実映像を、任意のタイミングで表示する、請求項１又は２に記載のシステム。
前記競技の同一場面における、互いに異なる複数の視点からの前記仮想現実映像をそれぞれ生成し、
前記表示部は、
前記複数の仮想現実映像のうち、ユーザが指定した１又は複数の前記仮想現実映像を、任意のタイミングで表示する、請求項１又は２に記載のシステム。
【請求項5】
前記生成部は、
前記競技に関与する物体が所定の移動を行った場合に限り、前記所定の移動の移動情報に応じて、前記仮想現実映像の一部を生成する、請求項１又は２に記載のシステム。
前記競技に関与する物体が所定の移動を行った場合に限り、前記所定の移動の移動情報に応じて、前記仮想現実映像の一部を生成する、請求項１又は２に記載のシステム。
【請求項6】
サーバとデバイスとを備えるシステムであって、
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する
移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の第１仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記第１仮想現実映像とを取得する第２取得部と、
前記第１仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターの移動に応じた表示をする第２のモードを備えた表示部と、
を備え、
前記表示部は、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示し、
前記第１のモードにおいては、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、システム。
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する
移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の第１仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記第１仮想現実映像とを取得する第２取得部と、
前記第１仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターの移動に応じた表示をする第２のモードを備えた表示部と、
を備え、
前記表示部は、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示し、
前記第１のモードにおいては、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、システム。
【請求項7】
デバイスであって、
対象となる競技の撮影映像と、前記競技の第１仮想現実映像とを取得する取得部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する表示部と、
を備え、
前記表示部は、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、デバイス。
対象となる競技の撮影映像と、前記競技の第１仮想現実映像とを取得する取得部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する表示部と、
を備え、
前記表示部は、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、デバイス。
【請求項8】
前記表示部は、前記第１仮想現実映像において前記競技に関与する物体の移動を表示したタイミングにおいて、前記撮影映像において、前記競技に関与する物体の前記移動より未来の前記競技の進行状況を表示する、請求項７に記載のデバイス。
【請求項9】
前記第１仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部を更に備え、
前記表示部は、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターを表示する第２のモードを備え、
前記表示部は、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示する、請求項７又は８に記載のデバイス。
前記表示部は、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターを表示する第２のモードを備え、
前記表示部は、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示する、請求項７又は８に記載のデバイス。
【請求項10】
サーバ及びデバイスにおいて実行されるプログラムであって、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得ステップと、
前記移動情報を参照して、前記競技の仮想現実映像を生成する生成ステップと、を前記サーバに実行させ、
前記競技の撮影映像と前記仮想現実映像とを取得する第２取得ステップと、
単一の前記デバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示ステップと、を前記デバイスに実行させ、
前記表示ステップにおいては、前記撮影映像において前記競技に関与する物体の移動が表示された後に、前記仮想現実映像において、前記撮影映像において表示された前記競技に関与する物体の移動が再現されるように表示される、プログラム。
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得ステップと、
前記移動情報を参照して、前記競技の仮想現実映像を生成する生成ステップと、を前記サーバに実行させ、
前記競技の撮影映像と前記仮想現実映像とを取得する第２取得ステップと、
単一の前記デバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示ステップと、を前記デバイスに実行させ、
前記表示ステップにおいては、前記撮影映像において前記競技に関与する物体の移動が表示された後に、前記仮想現実映像において、前記撮影映像において表示された前記競技に関与する物体の移動が再現されるように表示される、プログラム。
【請求項11】
前記表示ステップにおいては、前記仮想現実映像において前記競技に関与する物体の移動が表示されたタイミングにおいて、前記撮影映像において、前記競技に関与する物体の前記移動より未来の前記競技の進行状況が表示される、請求項１０に記載のプログラム。
【手続補正書】
【提出日】2023-11-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
サーバとデバイスとを備えるシステムであって、
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の第１仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記第１仮想現実映像とを取得する第２取得部と、
前記第１仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターの移動に応じた表示をする第２のモードを備えた表示部と、
を備え、
前記表示部は、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示し、
前記第１のモードにおいては、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、システム。
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第１取得部と、
前記移動情報を参照して、前記競技の第１仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記第１仮想現実映像とを取得する第２取得部と、
前記第１仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターの移動に応じた表示をする第２のモードを備えた表示部と、
を備え、
前記表示部は、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示し、
前記第１のモードにおいては、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、システム。
【請求項2】
デバイスであって、
対象となる競技の撮影映像と、前記競技の第１仮想現実映像とを取得する取得部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する表示部と、
前記第１仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
を備え、
前記表示部は、
前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示し、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターを表示する第２のモードを備え、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示する、デバイス。
対象となる競技の撮影映像と、前記競技の第１仮想現実映像とを取得する取得部と、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する表示部と、
前記第１仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
を備え、
前記表示部は、
前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第１仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示し、
単一の前記デバイスにおいて、前記撮影映像と前記第１仮想現実映像とを同時に表示する第１のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターを表示する第２のモードを備え、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第２のモードから前記第１のモードへ切り替えて表示する、デバイス。
【請求項3】
前記表示部は、前記第１仮想現実映像において前記競技に関与する物体の移動を表示したタイミングにおいて、前記撮影映像において、前記競技に関与する物体の前記移動より未来の前記競技の進行状況を表示する、請求項２に記載のデバイス。