特許 7423974 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20240123BHJP

   G06F 3/04842 20220101ALI20240123BHJP

   G06T 19/00 20110101ALI20240123BHJP

   H04N 21/2668 20110101ALI20240123BHJP

【ＦＩ】

H04N21/238

G06F3/04842

G06T19/00 A

H04N21/2668

【請求項の数】 8

(21)【出願番号】P 2019192218

(22)【出願日】2019-10-21

(65)【公開番号】P2021068989

(43)【公開日】2021-04-30

【審査請求日】2022-09-30

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】日昔 崇

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１８－０５５２７９（ＪＰ，Ａ）

【文献】特開２０１１－１３０３２３（ＪＰ，Ａ）

【文献】特開２０１２－１４２８６０（ＪＰ，Ａ）

【文献】特開２０１１－１３５１３８（ＪＰ，Ａ）

【文献】特開２０１５－１８７７９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８４２

(57)【特許請求の範囲】

【請求項1】

複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成部と、
前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付部と、
前記受付部で受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定において補助を必要としているかどうかを判定する判定部と、
前記判定部が、ユーザが視点の設定において補助を必要としていると判定したときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替部と、
を備え、
前記判定部は、前記受付部が、所定時間内に所定回数以上、視点設定用画像が開かれたことを受け付けた場合に、ユーザは視点の設定において補助を必要としていると判定する情報処理システム。

【請求項2】

複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成部と、
前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付部と、
前記受付部で受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定において補助を必要としているかどうかを判定する判定部と、
前記判定部が、ユーザが視点の設定において補助を必要としていると判定したときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替部と、
を備え、
前記判定部は、前記受付部が、ユーザが視点を設定するための設定画面において、操作回数が所定回数以上あったことを受け付けた場合は、ユーザは視点の設定において補助を必要としていると判定する情報処理システム。

【請求項3】

複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、プロ用映像を生成するプロ用映像生成部を更に備える、請求項１、又は２に記載の情報処理システム。

【請求項4】

前記判定部が、ユーザが視点の設定において補助を必要としていると判定したときは、前記切替部は、前記プロ用映像生成部により生成されたプロ用映像に切り替える、請求項３に記載の情報処理システム。

【請求項5】

前記判定部が、ユーザが視点の設定において補助を必要としていると判定したときは、前記切替部は、前記プロ用映像生成部により生成された複数のプロ用映像から一つを選択するための選択画面に切り替える、請求項３に記載の情報処理システム。

【請求項6】

複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成ステップと、
前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付ステップと、
前記受付ステップで受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定において補助を必要としていることを判定する判定ステップと、
前記判定ステップにおいて、ユーザが視点の設定において補助を必要としていると判定されたときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替ステップと、
を含み、
前記判定ステップでは、前記受付ステップで、所定時間内に所定回数以上、視点設定用画像が開かれたことを受け付けた場合に、ユーザは視点の設定において補助を必要としていると判定する情報処理方法。

【請求項7】

複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成ステップと、
前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付ステップと、
前記受付ステップで受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定において補助を必要としていることを判定する判定ステップと、
前記判定ステップにおいて、ユーザが視点の設定において補助を必要としていると判定されたときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替ステップと、
を含み、
前記判定ステップでは前記受付ステップで、ユーザが視点を設定するための設定画面において、操作回数が所定回数以上あったことを受け付けた場合は、ユーザは視点の設定において補助を必要としていると判定する、情報処理方法。

【請求項8】

請求項６、又は７に記載の方法をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

スタジアム内に設置した複数台の高解像度カメラ（実カメラ）からの撮影映像を元に３次元モデル空間データを構築し、該３次元モデル空間データ内の任意の位置に配置した仮想カメラからの映像（自由視点映像）を再現する技術が知られている。今後、第５世代移動通信システム（いわゆる「５Ｇ」）が開始されると、より一般的に、スタジアムでサッカー等のスポーツを観戦する観客は、こうした自由視点映像を携帯端末を通じて受信して閲覧可能になると期待されている。特許文献１には、ユーザ端末の位置および方向に基づき仮想カメラの位置および方向を決定することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２２５５２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザの観たい対象（例えば、選手）が移動した際、ユーザは自身の操作でその対象を追いかけて、仮想カメラの設定を変更する必要がある。しかし、こうした仮想カメラの切り替えの設定は、操作の熟練度に影響されるもので、操作に慣れていないユーザにとっては、容易なことではない。さらに、上記特許文献１に記載の技術では、ユーザが仮想カメラの切り替えに手間取っていることを検出したり、判定することができない。ユーザが仮想カメラの切り替え設定に時間がかかっている間も、試合は順次進行していくため、試合自体に集中できなくなったり、大事なシーンを見逃したりする恐れがある。

【0005】

本発明は上記の点に鑑みてなされたもので、ユーザが仮想カメラの視点の設定に手間取っている状況から、視点を失って補助を必要としているかどうかを判定でき、順次配信される映像を適当な画面に切替可能な情報処理システム、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる情報処理システムは、
複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成部と、
前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付部と、
前記受付部で受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定において補助を必要としているかどうかを判定する判定部と、
前記判定部が、ユーザが視点の設定において補助を必要としていると判定したときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替部と、
を備える。

【0007】

本発明の一態様にかかる情報処理方法は、複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成ステップと、
前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付ステップと、
前記受付ステップで受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定において補助を必要としていることを判定する判定ステップと、
前記判定ステップにおいて、ユーザが視点の設定において補助を必要としていると判定されたときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替ステップと、
を含む。

【0008】

本発明の一態様にかかるプログラムは、複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成ステップと、
前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付ステップと、
前記受付ステップで受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定において補助を必要としていることを判定する判定ステップと、
前記判定ステップにおいて、ユーザが視点の設定において補助を必要としていると判定されたときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替ステップと、
を、コンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、ユーザが仮想カメラの切り替え設定において補助を必要としているかどうかを判定でき、順次配信される映像を適当な画面に切替可能な情報処理システム、情報処理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態にかかる情報処理システムの全体構成を示す図である。

【図2】各サーバのハードウェア構成を説明するブロック図である。

【図3】本発明の実施形態にかかる情報処理システム又は情報処理装置の構成を説明するブロック図である。

【図4】プロユーザにより設定された仮想カメラの視点及びコンピュータにより設定された仮想カメラの視点を説明する図である。

【図5】ユーザ端末の構成の一例を説明するブロック図である。

【図6】ユーザによる仮想カメラの視点設定処理を示すフローチャートである。

【図7】ユーザが仮想カメラの視点の設定において補助を必要としているかどうかの判定処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。

【0012】

図１は、本発明の実施形態にかかる情報処理システム１の全体構成を示す図である。
情報処理システム１は、ネットワークを介して接続された、自由視点映像生成装置２１、ユーザ用映像作成装置２２、プロ用映像作成装置２３、１つ以上の映像配信装置２４ａ・・・２４ｎ及び１つ以上のユーザ端末３０を備える。ここでいうネットワークには、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、セルラネットワーク、または他の適切な有線もしくは無線通信ネットワークなどが含まれる。なお、これらの装置２１，２２，２３，２４は、本システムの主体的な動作を行い、サーバ、コンピュータ等により構成される。本システムは、図示するように、５つ又はそれ以上のサーバを有し、分散的に処理する構成としたが、これに限定されず、物理的に単一のサーバであってもよい。

【0013】

自由視点映像生成装置２１は、撮影対象の周囲に配置された複数台の実カメラ１０から、５Ｇ回線等の携帯電話網を介して受信した撮影映像を元に自由視点映像を生成する。こうして生成された自由視点映像は、ユーザ用映像作成装置２２及びプロ用映像作成装置２３に送られる。こうした自由視点映像データ内を、仮想カメラが自由に移動し、所定の位置から映像を撮影することができる。本例では、撮影対象として、サッカー等の球技が行われるフィールド７を想定しているが、これに限定されない。撮影対象は、あらゆるスポーツ（陸上、体操、水泳、マラソンなど）を想定することができる。

【0014】

ユーザ用映像作成装置２２は、受信した自由視点映像を元に、ユーザ用映像を生成する。ユーザ用映像作成装置２２は、ユーザ端末３０から仮想カメラの位置設定などの変更指示を受け付ける。ここでいうユーザ用映像は、ユーザに配信される撮影対象の俯瞰映像（初期自由視点画像）や、ユーザ自身が仮想カメラの位置をユーザ端末３０を用いて設定した仮想カメラ映像、ユーザが仮想カメラ位置を設定するための画像（視点設定用画像画面）など、自由視点映像を元に生成されたユーザに提供されるあらゆる映像であってもよい。こうして作成されたユーザ用映像は、映像配信装置２４に送られ、その後、ユーザ端末３０に配信される。

【0015】

プロ用映像作成装置２３は、仮想カメラの位置設定操作に慣れたプロユーザが作成した映像、又はコンピュータにより自動で仮想カメラ位置を設定した映像を、ユーザ端末に配信するための映像として生成する。例えば、視点設定に熟練したプロユーザは、プロ用映像作成装置２３に接続された映像編集可能なコンピュータを用いて、リアルタイムで送られてくる自由視点映像に、仮想カメラの適当な位置を設定し、プロ用映像（プロユーザによる仮想カメラ設定映像とも呼ばれる）を作成することができる。あるいは、コンピュータ（図１では仮想カメラ制御装置とも呼ばれる）が、リアルタイムで送られてくる自由視点映像に、自動的に仮想カメラの適当な位置（例えば、ボームとボールに近い選手をとらえた位置）を設定し、プロ用映像（コンピュータによる仮想カメラ設定映像とも呼ばれる）を作成することができる。詳細は、図４を用いて後述する。作成されたプロ用映像は、各映像配信装置２４ａ・・・２４ｎに送られる。

【0016】

映像配信装置２４は、インターネット又は５Ｇ回線等の携帯電話網を経由して、ユーザ用映像又はプロ用映像をユーザ端末３０に配信する。５Ｇ回線では、伝送容量が爆発的に増えるため、リアルなゲーム（サッカーや野球など）を多数のカメラで撮影した映像を、３Ｄデータ化し、３Ｄデータ放送を実現する技術を各社（例えば、ＫＤＤＩ）が開発している。この３Ｄデータ放送を受信した視聴者は、好きな視点（自由視点）からゲームを観戦することができる。しかし、視聴者がゲームの局面ごとに最適な視点を設定するのは、サッカーなどのように展開が速いゲームの場合は困難である。そこで、本発明は、こうした問題を解決する。

【0017】

図２は、本実施形態におけるサーバ２１，２２，２３、２４のハードウェア構成例を示すブロック図である。図２に示すように、本実施形態のサーバ２１，２２，２３、２４の制御部は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random access memory）２０２、ＲＯＭ（Read Only Memory）２０３などを有するコンピュータである。ＣＰＵ２０１は、ＲＡＭ２０２、ＲＯＭ２０３、または、ハードディスク２０４に格納されたソフトウェアに従い演算および制御を行う。ＲＡＭ２０２は、ＣＰＵ２０１が各種処理を実行する際の一時記憶領域として使用される。ハードディスク２０４には、オペレーティングシステム（ＯＳ）や、後述の登録プログラムなどが記憶される。ディスプレイ２０５は、液晶ディスプレイとグラフィックコントローラとから構成され、ディスプレイ２０５には、画像やアイコンなどのオブジェクト、および、ＧＵＩなどが表示される。入力部２０６は、ユーザが各サーバ２１，２２，２３、２４に各種指示を与えるための装置であり、例えばマウスやキーボードによって構成される。Ｉ／Ｆ（インターフェース）部２０７は、ＩＥＥＥ ８０２．１１ａなどの規格に対応した無線ＬＡＮ通信や有線ＬＡＮ通信を制御することができ、ＴＣＰ／ＩＰなどのプロトコルに基づき同一通信ネットワークおよびインターネットを介して外部機器と通信する。システムバス２０８は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、および、ハードディスク２０４などとのデータのやり取りを制御する。

【0018】

図３を参照して、本発明の実施の形態１にかかる情報処理装置の概要を説明する。図３は、実施の形態１にかかる情報処理システム１又は情報処理装置１００の構成を示すブロック図である。
情報処理システム１又は情報処理装置１００は、複数台のカメラ１０により撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末３０に配信されるユーザ用映像を生成するユーザ用映像生成部１１０と、ユーザ端末３０から、仮想カメラの設定の変更指示を受け付ける受付部１３０と、受付部１３０で受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定に手間取っている状況から、視点を失って補助が必要かどうかを判定する判定部１４０と、判定部１４０がユーザが視点の設定において補助を必要としていると判定したとき、ユーザ端末３０に表示されている画像を別の画像に切り替える切替部１５０と、を備える。

【0019】

ＣＰＵ２０１がプログラムを実行することにより、制御部は、上述したユーザ用映像生成部１１０、受付部１３０、判定部１４０、及び切替部１５０として機能する。前述したように、これらの機能は、別々のハードウェアによって実現されてもよい。すなわち、これらの機能は、前述した情報処理システム１を構成する、ユーザ用映像作成装置２２、プロ用映像作成装置２３及び映像配信装置２４によって、実現され得る。

【0020】

以上説明した本実施の形態にかかる情報処理装置によれば、ユーザが仮想カメラの切り替え設定において、視点を失って補助を必要としているかどうかを判定でき、それによって順次配信される映像を適当な画面に切り替えることができる。

【0021】

引き続き図３を参照して情報処理装置の詳細な構成を説明する。
情報処理システム１又は情報処理装置１００は、ユーザ用映像生成部１１０、プロ用映像生成部１８０、送信部１２０、受付部１３０、判定部１４０、及び切替部１５０を備える。ユーザ用映像生成部１１０は、初期自由視点画像生成部１１１、視点設定用画像生成部１１２、及びユーザ用仮想カメラ映像生成部１１３を更に備える。

【0022】

初期自由視点画像生成部１１１は、自由視点映像生成装置２１等で生成された自由視点映像から、ユーザ端末３０に送るための初期自由視点画像を生成する。初期自由視点画像とは、ユーザが仮想カメラの視点の設定を開始する前に、最初にユーザ端末３０に送信される画像であり、例えば、撮影対象の俯瞰画像や仮想３６０度映像であってもよい。

【0023】

視点設定用画像生成部１１２は、自由視点映像生成装置２１等で生成された自由視点映像から、ユーザに提示する視点設定用画像（視点設定ウィンドウとも呼ばれる）を生成する。視点設定用画像とは、ユーザが仮想カメラの視点を設定する際に、ユーザ端末３０のディスプレイに表示される画像である。視点設定用画像は、ユーザがユーザ端末３０に対して任意の操作を行うことでユーザ端末３０のディスプレイに表示されてもよい。

【0024】

ユーザ用仮想カメラ映像生成部１１３は、ユーザ端末３０の任意の操作を通じて、自由視点映像において仮想カメラの位置を設定した仮想カメラ映像を生成する。なお、ユーザ端末３０からの任意の操作を示す信号は、受付部１３０で受け付けられ、ユーザ用映像生成部１１０の各生成部１１１，１１２、１１３に送られる。

【0025】

プロ用映像生成部１８０は、プロユーザ仮想カメラ映像生成部１８１と、自動仮想カメラ映像生成部１８２を更に備える。プロユーザ仮想カメラ映像生成部１８１は、自由視点映像生成装置２１等で生成された自由視点映像から、プロユーザ仮想カメラ映像を生成する。プロユーザ仮想カメラ映像生成部１８１は、自由視点映像をもとに、仮想カメラの視点設定に慣れた１人以上のプロユーザが仮想カメラの位置を設定することで、プロユーザ仮想カメラ映像を作成することができる。

【0026】

また、自動仮想カメラ映像生成部１８２は、コンピュータにより自動的に仮想カメラの位置を設定した映像を生成する。例えば、ボールとボールの近くにいる選手を上部から俯瞰してとらえた映像を自動的に生成してもよい。自動仮想カメラ映像生成部１８２は、過去の選手やボールの移動データを基づいて機械学習された学習済みモデルを用いて、こうした映像を自動的に生成してもよい。こうした学習済みモデルは、情報処理装置１００の内部の記憶部に記憶されていてもよいし、情報処理装置１００とネットワークを介して接続された外部記憶部に記憶されていてもよい。

【0027】

ここで、図４を参照して複数のプロ用映像の具体例を説明する。
本例では、撮影対象は、サッカーが行われるフィールドとする。プロユーザ１は、図４に示すように、仮想カメラの視点を設定し、ボール３と、対象選手５及び相手選手６とを前方からとらえた迫力ある映像を生成してもよい。また、別のプロユーザ２は、特定の選手（ここでは、味方選手８）にとらえるように仮想カメラの視点を設定した映像を生成してもよい。さらに、前述した自動仮想カメラ映像生成部１８２は、コンピュータによる仮想カメラの視点として、ボール３と、対象選手５及び相手選手６とを上部から俯瞰してとらえた映像を生成してもよい。

【0028】

このように生成された複数のプロユーザ又はコンピュータによる映像は、ユーザが仮想カメラの視点の設定において、視点を失って補助を必要としていると判定された場合に、ユーザ端末に提供され得る。それにより、仮想カメラの位置設定操作に慣れていないユーザであっても、適当に設定された仮想カメラの映像を享受することができる。

【0029】

ユーザ端末３０の例としては、スタジアムでの観戦を目的とした場合、スマートフォン、タブレット、携帯電話、ＰＤＡ（personal digital assistant）、ウェアラブル端末、ラップトップ型パーソナルコンピュータ（ＰＣ）、ヘッドマウントディスプレイ（ＨＭＤ）などの携帯端末が挙げられるが、本発明はこれらに限定されない。また、ユーザ端末３０は、自宅での観戦を目的とした場合には、デスクトップ型パーソナルコンピュータ等であってもよい。以下では、ユーザ端末３０がスマートフォンの場合を例に説明する。

【0030】

図５は、ユーザ端末の構成の一例を説明するブロック図である。ユーザ端末３０は、図５に示すように、外部映像を撮影する撮像部（例えば、カメラ）３１０と、外部から受信された映像信号（自由視点映像信号を含む）を処理する映像処理部３２０と、映像処理部３２０によって処理される映像信号を映像で表示するディスプレイ部３３０と、ユーザの入力を受け付けるユーザ入力部３４０と、各種のデータを記憶する記憶部３５０と、外部と有線・無線通信を行う通信部３６０と、ユーザ端末３０の各構成要素を制御する制御部３００と、を含む。撮像部（例えば、カメラ）３１０は、イメージセンサ３１１（例えば、ＣＣＤ／ＣＭＯＳイメージセンサ）を含む。また、ディスプレイ部３３０は、タッチスクリーン３３１を含む。ユーザ端末３０にインストールされたクライアントアプリケーションは、ユーザが自由視点映像を享受し、各種設定を行うのに、これらの各構成要素を制御することができる。ユーザは、ユーザ端末３０のクライアントアプリケーションを用いて、自由視点映像から、対象物を選択したり、仮想カメラの位置の設定等に関する任意の操作を選択することができる。こうした任意の操作信号は、通信部３６０を介して、情報処理装置１００の受付部１３０に送られる。

【0031】

再び図３に戻って、情報処理装置の詳細な構成を説明する。
送信部１２０は、情報処理装置１００のユーザ用映像生成部１１０又はプロ用映像生成部１８０により生成された映像を外部（例えば、ユーザ端末３０）に送信する。

【0032】

受付部１３０は、ユーザ端末３０からの仮想カメラの設定の変更指示（例えば、視点設定ウィンドウを開く又は閉じる、仮想カメラ視点を設定する、など）を受け付ける。

【0033】

判定部１４０は、受付部１３０で受け付けたユーザからのユーザ端末３０からの指示に基づいて、ユーザが仮想カメラの視点の設定に手間取っている状況から、視点を失って補助を必要としているか否かを判定する（詳細は図７を用いて後述する）。

【0034】

切替部１５０は、判定部１４０が、ユーザが視点の設定において補助が必要と判定したときは、ユーザ端末３０に表示されている画像を別の画像に切り替える。ここでいう「別の画像」は、例えば、プロユーザの選択画面、プロユーザ仮想カメラ映像、自動仮想カメラ映像、初期自由視点画面（俯瞰映像）などであってもよいが、本発明はこれらに限定されない。

【0035】

図６を参照して、本実施の形態にかかる、ユーザによる仮想カメラの視点設定処理を示す例示的な処理フローを説明する。
ユーザは、例えば、スタジアムでサッカーを観戦しながら、ユーザ端末３０のアプリケーションでも自由視点映像を享受している。まず、ユーザは、ユーザ端末３０のアプリケーションを介して、仮想カメラの視点設定用画像（ウィンドウ）を開く（ステップＳ６０１）。ユーザは、ユーザ端末３０への任意の操作により、自由視点映像に仮想カメラの視点を設定する（ステップＳ６０２）。その後、ユーザは、ユーザ端末３０への任意の操作により、視点設定用画像（ウィンドウ）を閉じて、映像の視聴を開始する（ステップＳ６０３）。ユーザは、映像を視聴中、最適な視点を見失ったか、すなわち、仮想カメラの視点の設定において補助を必要としているか否かが判定される（ステップＳ６０４）。詳細な判定処理は、図７で後述する。

【0036】

ユーザが最適な視点を見失った場合、すなわち、仮想カメラの視点の設定において補助を必要としている場合（ステップＳ６０４でＹＥＳ）、ユーザは、提示されたプロユーザの選択画面から、お気に入りのプロユーザの映像を選択し（ステップＳ６０５でＹＥＳ）、プロユーザにより生成された映像を視聴する（ステップＳ６０６）。

【0037】

一方、ユーザは、プロユーザの選択画面から、お気に入りのプロユーザの映像を選択しない（ステップＳ６０５でＮＯ）場合、ディスプレイに初期自由視点映像（俯瞰映像）が表示され（ステップＳ６０７）、ユーザは、再び仮想カメラの視点設定を行う（ステップＳ６０２）。

【0038】

次に、ユーザが仮想カメラの視点の設定において、視点を失って補助を必要としているか否かの判定処理を説明する。
情報処理装置１００の判定部１４０は、ユーザ端末３０からの指示を受け付ける受付部１３０と連携して、こうした判定を行う。具体的には、ユーザが視点を失っているかどうかは、ユーザの視点設定状況から判断する。ユーザが視点を喪失した場合、視点設定をもう一度行うことを試みる。すなわち、ユーザによる視点設定頻度から、ユーザが視点を失っているかを判断することができる。まず視点設定の画面に所定時間に何回入ったかをカウントする。もしも所定の時間内に何度も視点設定画面に入った場合は視点を失っている可能性が高いと判断することができる。次に視点設定画面で、操作回数が所定回数よりも多い場合も、ユーザは視点を見つけられない可能性が高く、視点を喪失していると判断することができる。

【0039】

図７を参照して、判定処理を説明する。情報処理装置１００は、ユーザが視点設定用画像（ウィンドウ）を開いた時刻を記録する（ステップＳ７０１）。判定部１４０は、ユーザが所定時間内に所定回数以上、視点設定用画像（ウィンドウ）を開いたか否かを判定する（ステップＳ７０２）。判定部１４０は、ユーザが所定時間内に所定回数以上、視点設定用画像（ウィンドウ）を開いた場合（ステップＳ７０２でＹＥＳ）は、ユーザは仮想カメラの視点設定に手間取っている（視点を喪失している）ので、補助が必要であると認定することができる（ステップＳ７０５）。

【0040】

一方、ユーザが所定時間内に所定回数以上、視点設定用画像（ウィンドウ）を開いていない場合（ステップＳ７０２でＮＯ）、情報処理装置１００は、ユーザが行った設定操作内容と時間を記録する（ステップＳ７０３）。次に、視点設定用画像（ウィンドウ）内での操作回数が所定回数以上かを判定し、所定回数以上である場合（ステップＳ７０４でＹＥＳ）、視点を喪失していると認定することができる（ステップＳ７０５）。すなわち、ユーザは、視点設定用画像（ウィンドウ）において、視点を設定できず、何度もキャンセルボタンを押している可能性があり、視点を喪失しているものと判断することができる。したがって、ユーザは視点の設定において、視点を失って補助を必要としていると判断できる。

【0041】

一方、操作回数が所定回数未満の場合（ステップＳ７０４でＮＯ）、情報処理装置１００は再び、ユーザが行った設定操作内容と時間を記録する（ステップＳ７０３）。

【0042】

以上説明した本実施の形態では、ユーザ端末への操作に基づいて、ユーザは視点の設定に手間取っていることを判定することができる。これにより、ユーザが自由視点映像の設定に不慣れな場合でも、視点の設定において視点を失って補助を必要としていることを判定でき、適切な画像に切り替えることができる。

【0043】

さらに、上述した様々な実施の形態において、情報処理装置又は情報処理システムにおける処理の手順を説明したように、本開示は情報処理方法としての形態も採り得る。この情報処理方法は、複数台のカメラにより撮像された複数の撮影画像に基づいて生成された自由視点映像から、ユーザ端末に配信されるユーザ用映像を生成するユーザ用映像生成ステップと、前記ユーザ端末から、仮想カメラの設定の変更指示を受け付ける受付ステップと、前記受付ステップで受け付けたユーザからの指示に基づき、ユーザが仮想カメラの視点の設定に手間取っている状況から、視点を失って補助を必要としているかどうかを判定する判定ステップと、前記判定ステップにおいて、ユーザが視点の設定において補助を必要としていると判定されたときは、前記ユーザ端末に表示されている画像を別の画像に切り替える切替ステップと、を含む。なお、その他の例については、上述した様々な実施の形態で説明した通りである。また、情報処理プログラムは、コンピュータにこのような情報処理方法を実行させるためのプログラムである。

【0044】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0045】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0046】

１ 情報処理システム
３ ボール
４ インターネット
５ 対象選手
６ 相手選手
７ フィールド
８ 味方選手
９ 相手選手
１０ 実カメラ
１１ 仮想カメラ
２１ 自由視点映像生成装置
２２ ユーザ用映像作成装置
２３ プロ用映像作成装置
２４ 映像配信装置
３０ ユーザ端末
１００ 情報処理装置
１１０ ユーザ用映像生成部
１１１ 初期自由視点画像生成部
１１２ 視点設定用画像生成部
１１３ ユーザ用仮想カメラ映像生成部
１２０ 送信部
１３０ 受付部
１４０ 判定部
１５０ 切替部
１８０ プロ用映像生成部
１８１ プロユーザ仮想カメラ映像生成部
１８２ 自動仮想カメラ映像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】