特許 7458731 画像生成システム、画像処理装置、情報処理装置、画像生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】画像生成システム、画像処理装置、情報処理装置、画像生成方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240325BHJP

   H04N 7/18 20060101ALI20240325BHJP

【ＦＩ】

G06T19/00 A

H04N7/18 U

【請求項の数】 12

(21)【出願番号】P 2019179295

(22)【出願日】2019-09-30

(65)【公開番号】P2021056767

(43)【公開日】2021-04-08

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】梅村 直樹

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１９－１５２９０３（ＪＰ，Ａ）

【文献】特開２０１９－０５７０７０（ＪＰ，Ａ）

【文献】特開２０１８－１１３６８３（ＪＰ，Ａ）

【文献】特開２０１８－２０７３３６（ＪＰ，Ａ）

【文献】特開２０１８－０４６４４８（ＪＰ，Ａ）

【文献】特開２０１６－０２５６３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／００

Ａ６３Ｆ １３／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

仮想視点の移動経路に関する情報を生成する情報処理装置と、
複数の撮影装置により撮影された画像及び前記仮想視点の移動経路に基づいて仮想視点画像を生成する画像処理装置と
を備え、
前記画像処理装置は、
前記複数の撮影装置のうちの少なくとも一つの撮影装置により撮影された画像に基づいて、撮影対象領域に存在する被写体の位置を示す情報、及び前記被写体の向きを示す情報を少なくとも含む被写体情報を生成する第１の生成手段と、
前記第１の生成手段により生成された前記被写体情報を前記情報処理装置へ送信する第１の送信手段と、
前記情報処理装置から送信された前記仮想視点の移動経路に関する情報に基づいて、仮想視点画像を生成する第２の生成手段と、
を有し、
前記情報処理装置は、
前記画像処理装置から送信された前記被写体情報に基づいて、前記撮影対象領域における前記被写体の位置及び向きをユーザが認識することが可能な表示画像を表示する表示手段と、
ユーザの入力に基づいて、前記仮想視点の移動経路に関する情報を生成する第３の生成手段と、
前記第３の生成手段により生成された前記仮想視点の移動経路に関する情報を前記画像処理装置へ送信する第２の送信手段と、
を有することを特徴とする画像生成システム。

【請求項2】

前記第３の生成手段は、前記表示手段により表示された前記表示画像を確認したユーザによる入力に基づいて、前記仮想視点の移動経路に関する情報を生成することを特徴とする請求項１に記載の画像生成システム。

【請求項3】

前記第１の生成手段は、前記被写体の位置及び向きを示す情報に加えて、少なくとも前記被写体の個別情報を含む前記被写体情報を生成し、
前記表示手段は、前記被写体情報に基づいて、前記撮影対象領域における前記被写体の位置及び向きに加えて、前記被写体の個別情報をユーザが認識することが可能な前記表示画像を表示することを特徴とする請求項１又は２に記載の画像生成システム。

【請求項4】

前記情報処理装置は、
前記被写体の個別情報に関する情報を取得する取得手段と、
前記被写体情報と、前記取得手段により取得された前記被写体の個別情報に関する情報に基づいて、前記表示画像を生成する生成手段と、
をさらに有し、
前記表示手段は、前記生成手段により生成された前記表示画像を表示することを特徴とする請求項３に記載の画像生成システム。

【請求項5】

前記情報処理装置は、
前記被写体を模式的に示す画像のデータを取得する取得手段と、
前記被写体情報と、前記取得手段により取得された前記被写体を模式的に示す画像のデータに基づいて、前記表示画像を生成する生成手段と、
をさらに有し、
前記表示手段は、前記生成手段により生成された前記表示画像を表示することを特徴とする請求項３または４に記載の画像生成システム。

【請求項6】

前記第１の送信手段は、前記情報処理装置と接続するための所定の通信回線のデータ伝送帯域に応じて、送信するデータ量を調整することを特徴とする請求項１から５のいずれか１項に記載の画像生成システム。

【請求項7】

前記第１の送信手段は、ユーザの課金条件に応じて、前記情報処理装置と接続するための所定の通信回線において送信するデータ量を調整することを特徴とする請求項１から５のいずれか１項に記載の画像生成システム。

【請求項8】

前記情報処理装置は、前記第２の送信手段により、前記画像処理装置に前記仮想視点画像の生成に関するリクエストを送信し、
前記画像処理装置は、前記リクエストに基づいて、前記第１の生成手段により前記被写体情報を生成することを特徴とする請求項１から７のいずれか１項に記載の画像生成システム。

【請求項9】

前記仮想視点の移動経路に関する情報は、前記仮想視点の位置及び前記仮想視点からの視線方向を示す情報を含むことを特徴とする請求項１から８のいずれか１項に記載の画像生成システム。

【請求項10】

前記第１の生成手段は、前記被写体の位置及び向きを示す情報に加えて、少なくとも前記被写体の大きさを示す情報を含む前記被写体情報を生成し、
前記表示手段は、前記被写体情報に基づいて、前記撮影対象領域における前記被写体の位置及び向きに加えて、前記被写体の大きさをユーザが認識することが可能な前記表示画像を表示することを特徴とする請求項１から９のいずれか１項に記載の画像生成システム。

【請求項11】

前記被写体情報は、前記被写体の大きさを示す情報と、前記被写体の個別情報と、前記被写体の関節位置を示す情報とを含み得るものであって、
前記第１の送信手段は、ユーザの課金条件に応じて、前記被写体情報に含まれる前記被写体の大きさを示す情報と、前記被写体の個別情報と、前記被写体の関節位置を示す情報との少なくとも何れかを選択し、選択した情報を含む前記被写体情報を前記情報処理装置へ送信することを特徴とする請求項１に記載の画像生成システム。

【請求項12】

仮想視点の移動経路に関する情報を生成する情報処理装置と、複数の撮影装置により撮影された画像及び前記仮想視点の移動経路に基づいて仮想視点画像を生成する画像処理装置とを備えた画像生成方法であって、
前記画像処理装置により、前記複数の撮影装置のうちの少なくとも一つの撮影装置により撮影された画像に基づいて、撮影対象領域に存在する被写体の位置を示す情報、及び前記被写体の向きを示す情報を少なくとも含む被写体情報を生成する第１の生成ステップと、
前記画像処理装置により、前記第１の生成ステップにおいて生成された前記被写体情報を前記情報処理装置へ送信する第１の送信ステップと、
前記情報処理装置により、前記画像処理装置から送信された前記被写体情報に基づいて、前記撮影対象領域における前記被写体の位置及び向きをユーザが認識することが可能な表示画像を表示する表示ステップと、
前記情報処理装置により、ユーザの入力に基づいて、前記仮想視点の移動経路に関する情報を生成する第２の生成ステップと、
前記情報処理装置により、前記第２の生成ステップにおいて生成された前記仮想視点の移動経路に関する情報を前記画像処理装置へ送信する第２の送信ステップと、
前記画像処理装置により、前記情報処理装置から送信された前記仮想視点の移動経路に関する情報に基づいて、仮想視点画像を生成する第３の生成ステップと、
を含むことを特徴とする画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点画像を生成するための技術に関する。

【背景技術】

【0002】

近年、複数のカメラを異なる位置に配置して複数視点で同期撮影し、その撮影により得られた複数視点画像を用いて、カメラの配置位置における画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理部に集約し、その画像処理部において、仮想視点に基づくレンダリング等の処理を施し、さらにユーザ端末に仮想視点画像を表示することで実現される。

【0003】

そして、このような仮想視点画像を用いたサービスでは、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。

【0004】

但し、この仮想視点画像の生成を、当初は、仮想視点画像を生成するシステムへのアクセス権限を有するシステム管理者が行っており、そのため、ユーザは、その生成された仮想視点画像を閲覧するだけでユーザの要望に沿った仮想視点画像を視聴できなかった。

【0005】

そこで、この要望に応えるために、ユーザ端末からシステムに対して仮想視点画像の生成に関する要求を送信し、システムから仮想視点画像の生成に必要な画像が供給されると、ユーザ端末において仮想視点画像を生成する技術が提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１１―２３３１４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、複数のユーザ端末からシステムに対して仮想視点画像の生成に関する要求があると、システムとユーザ端末の間の伝送路の帯域を十分に確保することができない。また、ユーザ端末で仮想視点画像を生成するためには、複数のカメラで撮影した画像をユーザ端末に送らなければならず、データ量が膨大になり、たとえ伝送路の帯域を確保できても、ユーザ端末の記憶容量が十分でない場合、データを全て保存できない。加えて、この場合に、ユーザ端末のＣＰＵ（中央演算処理装置）の処理能力が高い必要があり、処理能力が十分でない場合、仮想視点映像の生成に多大な時間を要することになる。

【0008】

本発明は、上記課題に鑑みてなされたものであり、その目的は、ユーザに所望の仮想視点画像を、より少ない情報量で提供することである。

【課題を解決するための手段】

【0009】

本発明の画像生成システムは、仮想視点の移動経路に関する情報を生成する情報処理装置と、複数の撮影装置により撮影された画像及び前記仮想視点の移動経路に基づいて仮想視点画像を生成する画像処理装置とを備え、前記画像処理装置は、前記複数の撮影装置のうちの少なくとも一つの撮影装置により撮影された画像に基づいて、撮影対象領域に存在する被写体の位置を示す情報、及び前記被写体の向きを示す情報を少なくとも含む被写体情報を生成する第１の生成手段と、前記第1の生成手段により生成された前記被写体情報を前記情報処理装置へ送信する第１の送信手段と、前記情報処理装置から送信された前記仮想視点の移動経路に関する情報に基づいて、仮想視点画像を生成する第２の生成手段と、を有し、前記情報処理装置は、前記画像処理装置から送信された前記被写体情報に基づいて、前記撮影対象領域における前記被写体の位置及び向きをユーザが認識することが可能な表示画像を表示する表示手段と、ユーザの入力に基づいて、前記仮想視点の移動経路に関する情報を生成する第３の生成手段と、前記第３の生成手段により生成された前記仮想視点の移動経路に関する情報を前記画像処理装置へ送信する第２の送信手段と、を有することを特徴とする。

【発明の効果】

【0010】

本発明によれば、ユーザに所望の仮想視点画像を、より少ない情報量で提供することができる。

【図面の簡単な説明】

【0011】

【図1】仮想視点映像生成システムの概略図である。

【図2】仮想視点映像生成システムの機能構成を示す図である。

【図3】ユーザ端末のハードウェア構成を示す図である。

【図4】撮影対象を示す図である。

【図5】画像処理装置とユーザ端末間の仮想視点映像の生成に関する処理の手順を示すシーケンス図である。

【図6】被写体情報の内容を示す図である。

【図7】被写体情報の内容を具体的に示した図である。

【図8】ユーザ端末に表示される画面の一例である。

【図9】被写体における体の向きを示した図である。

【図10】被写体情報の１つである関節位置を示した模式図である。

【図11】被写体における体の向きを示した図である。

【図12】ユーザ端末に予め記憶されている映像データの一例である。

【図13】ユーザ端末に表示される画面の一例である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、補足として、同一の構成については、同じ符号を付して説明する。

【0013】

また、本実施形態において生成される仮想視点画像は、動画（映像）であっても、静止画であってもよく、ここでは、仮想視点画像として、仮想視点映像を例に説明するものとする。この点、以下の各実施形態においても同様とする。

【0014】

図１は、本実施形態に係る仮想視点映像生成システム（画像生成システム）の概略図である。図１において、符号１００はサッカーグランド、符号１０１から符号１２０はカメラ（撮影装置、撮像装置）であり、カメラ１０１－１２０はサッカーグランド１００の周りを取り囲むように配置されている。なお、本実施形態では、図１に示されるように、カメラの台数を２０台としているが、台数は必ずしもこれに限られない。

【0015】

図２は、仮想視点映像生成システムの機能構成を示す図である。図２に示されるように、仮想視点映像生成システムは、カメラ１０１－１２０、画像処理装置２０１、ユーザ端末２０２を備える。なお、画像処理装置２０１とユーザ端末２０２は、所定の通信回線（ネットワーク）を介して接続される。

【0016】

カメラ１０１－１２０（図２において、カメラ１０３からカメラ１１９は不図示）の各々は、カメラの撮像部１０１１、撮像部１０１１で撮影した映像データを外部機器に伝送する映像送信部１０１２を備える。

【0017】

画像処理装置２０１は、カメラ１０１－１２０と接続され、カメラ１０１－１２０で撮影した映像を受信し、仮想視点映像を生成する。画像処理装置２０１は、映像受信部２０１１、被写体モデル生成部２０１２、記憶部２０１３、被写体情報生成部２０１４、通信部２０１５、仮想視点映像生成部２０１６、仮想視点映像出力部２０１７、制御部２０１８を備える。

【0018】

映像受信部２０１１は、各々のカメラから送信される映像データを受信する。被写体モデル生成部２０１２は、映像受信部２０１１により受信された複数の映像から被写体の形状を推定し、モデルの生成を行う。記憶部２０１３は、カメラから受信した映像データやその他の機能部により生成された各種データを記憶する。

【0019】

被写体情報生成部２０１４は、後述の被写体の位置情報等の被写体情報を生成する。通信部２０１５は、後述のユーザ端末との間でデータの送受信を行う。仮想視点映像生成部２０１６は、後述のユーザ端末からの要求に応じて、カメラパスデータ等を用いることで仮想視点映像を生成する。

【0020】

仮想視点映像出力部２０１７は、仮想視点映像生成部２０１６で生成された仮想視点映像を出力する。仮想視点映像出力部２０１７は、例えば、仮想視点映像を蓄積する蓄積装置、映像を表示する映像表示装置等に出力する。制御部２０１８は、画像処理装置２０１全体を制御する。

【0021】

ユーザ端末２０２は、データ処理装置（情報処理装置）である。ユーザ端末２０２は、通信部２０２１、カメラパス生成部２０２２、映像再生部２０２３、仮想視点映像表示部２０２４、データ記憶部２０２５、端末制御部２０２６、仮想視点生成リクエスト送信部２０２７を備える。

【0022】

通信部２０２１は、画像処理装置２０１との間で通信を行う。カメラパス生成部２０２２は、仮想視点映像を生成するための仮想カメラの変遷（移動経路）を生成する。映像再生部２０２３は、通信部２０２１で受信したデータを再生可能な画像データに変換する。仮想視点映像表示部２０２４は、映像再生部２０２３で変換された映像を表示する。

【0023】

データ記憶部２０２５は、予め被写体に関する情報を記憶したり、また、画像処理装置２０１から受信したデータを書き込んだりする。ここで、被写体に関する情報とは、画像処理装置２０１から送信される被写体の個別情報等の簡易データとその簡易データに対応する被写体の簡易映像等であり、データ記憶部２０２５に、それらが対応付けられて記憶されている。被写体の個別情報は、例えば、選手名、背番号等の情報であり、その他、被写体を区別するための記号や静止画であってもよい。

【0024】

端末制御部２０２６は、ユーザ端末２０２全体を制御する。仮想視点生成リクエスト送信部２０２７は、画像処理装置２０１に仮想視点映像の生成の開始を通知する信号を生成する。この仮想視点生成リクエスト送信部２０２７により、ユーザは、ユーザ端末において、所定の開始ボタンを押下することで、又は、表示画面上で開始を選択することで、仮想視点映像の生成のリクエストを行うことができる。

【0025】

図３は、ユーザ端末（データ処理装置）２０２のハードウェア構成を示す図である。なお、画像処理装置２０１のハードウェア構成も、以下で説明するユーザ端末２０２のハードウェア構成と同様である。ユーザ端末２０２は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、補助記憶装置３１４、表示部３１５、操作部３１６、通信Ｉ／Ｆ３１７、及びバス３１８を備える。

【0026】

ＣＰＵ３１１は、ＲＯＭ３１２やＲＡＭ３１３に格納されているコンピュータプログラムやデータを用いてユーザ端末２０２の全体を制御することで、図２に示されるユーザ端末２０２の各機能を実現する。なお、ユーザ端末２０２に、ＣＰＵ３１１と異なる１又は複数の専用のハードウェアを実装させ、ＣＰＵ３１１により実行される処理の少なくとも一部を専用のハードウェアに実行させてもよい。補足として、専用のハードウェアには、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

【0027】

ＲＯＭ３１２は、内容を変更する必要のないプログラム等を格納する。ＲＡＭ３１３は、補助記憶装置３１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３１７を介して外部から供給されるデータ等を一時的に記憶する。補助記憶装置３１４は、例えば、ハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0028】

表示部３１５は、例えば、液晶ディスプレイやＬＥＤ等で構成され、ユーザがユーザ端末２０２を操作するためのＧＵＩ（Graphical User Interface）等を表示する。操作部３１６は、例えば、キーボード、マウス、ジョイスティック、タッチパネル等であり、ユーザによる操作を受けて、各種の指示をＣＰＵ３１１に入力する。なお、この場合、ＣＰＵ３１１は、表示部３１５を制御する表示制御部、及び操作部３１６を制御する操作制御部として動作する。

【0029】

通信Ｉ／Ｆ３１７は、ユーザ端末２０２の外部の装置との通信に用いられる。例えば、ユーザ端末２０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３１７に接続される。また、ユーザ端末２０２が外部の装置と無線で接続（通信）される場合には、通信Ｉ／Ｆ３１７は所定のアンテナを備える。バス３１８は、ユーザ端末２０２の各々のブロックを相互に接続することで、情報を伝達させる。

【0030】

なお、本実施形態では、ユーザ端末２０２の内部に表示部３１５と操作部３１６を搭載した仕様としているが、表示部３１５と操作部３１６の少なくとも一方に関して、ユーザ端末２０２とは別の装置として、ユーザ端末２０２に接続するようにしてもよい。

【0031】

図４は、撮影対象であるサッカーグラウンドであり、図４（ａ）は上述の図１のサッカーグランドを真上から見た図であり、図４（ｂ）はユーザ４００の視点から見た図である。図４において、２チームのうち、一方のチームの選手を白丸、他方のチームの選手を黒丸で示している。

【0032】

図４では、図４（ａ）に示されるように、サッカーグランドのグランドの長辺方向をｘ方向、短辺方向をｙ方向としたｘｙ座標で示す。また、図４（ｂ）に示されるように、地面に対して垂直な方向をｚ方向とする。このように、サッカーグランドの空間をｘｙｚ座標系で示すことで、サッカーグランド及びその周囲の空間を立体空間の座標点で表すことができる。そのため、被写体の位置情報も座標として示すことができる。

【0033】

補足として、図４において、図４（ａ）に示される各選手の位置が、図４（ｂ）のように位置付けられている。これは、ユーザ端末の仮想視点映像表示部２０２４の表示画面においても同様で、映像再生部２０２３により各被写体の位置とユーザ４００の位置から被写体が表示される位置を計算することで実現される。

【0034】

図５は、画像処理装置２０１とユーザ端末２０２間の仮想視点映像の生成に関する処理の手順を示すシーケンス図である。なお、シーケンス図の説明において、記号「Ｓ」は、ステップを表すものとする。

【0035】

Ｓ５０１において、ユーザ端末２０２は、画像処理装置２０１に対して、仮想視点映像の生成に関するリクエストを送信する。Ｓ５０２において、画像処理装置２０１は、ユーザ端末２０２からの仮想視点映像の生成に関するリクエストに応じて、被写体情報生成部２０１４によりユーザ端末２０２に送信するための被写体情報を生成する。

【0036】

Ｓ５０３において、画像処理装置２０１は、Ｓ５０２で生成された被写体情報をユーザ端末２０２に送信する。Ｓ５０４において、ユーザ端末２０２は、受信した被写体情報に基づいて、仮想視点映像表示部２０２４に表示するための映像を生成する。

【0037】

Ｓ５０５において、ユーザ端末２０２は、ユーザにより、Ｓ５０４で生成され、仮想視点映像表示部２０２４に表示された被写体映像（被写体画像）が確認され、指示がなされると、カメラパス生成部２０２２でカメラパスデータを生成する。なお、ユーザは、カメラパス生成部２０２２に対して、例えば、ジョイスティック、３次元マウス、キーボード等を用いて指示を行う。また、カメラパスデータは、カメラの移動経路に関するデータであり、より詳細には、仮想視点映像を生成するための仮想カメラの位置、向き、傾き、画角、ズーム値等のデータを含む。ここで、仮想カメラとは、撮像領域の周囲に実際に設置された複数のカメラとは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。即ち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また上述のカメラパスとは、経時的な仮想視点の変遷を示す。

【0038】

Ｓ５０６において、ユーザ端末２０２は、通信部２０２１を介して、画像処理装置２０１にＳ５０５で生成されたカメラパスデータを送信する。Ｓ５０７において、画像処理装置２０１は、通信部２０１５を介してカメラパスデータを受信すると、ユーザ端末２０２に仮想視点映像の生成を行うことを通知する。

【0039】

Ｓ５０８において、画像処理装置２０１は、Ｓ５０６でユーザ端末２０２から送信されたカメラパスデータに基づいて、仮想視点映像生成部２０１６により仮想視点映像を生成する。仮想視点映像出力部２０１７は、その生成された仮想視点映像を外部装置に出力する。なお、仮想視点映像の出力に関して、ユーザ端末２０２からの要求に応じて外部装置に送信してもよいし、画像処理装置２０１に保存しておいて、ユーザ端末２０２を操作するユーザが仮想視点映像を見たいときに外部の表示装置に表示するようにしてもよい。また、仮想視点映像出力部２０１７により仮想視点映像に圧縮等を行い、データ量を低減した後に、通信部２０１５、通信部２０２１を介して仮想視点映像表示部２０２４に出力してもよい。

【0040】

Ｓ５０９において、仮想視点映像生成部２０１６は、ユーザ端末２０２にＳ５０８で仮想視点映像の生成が終了したことを通知する。これにより、図５に示される処理を終了する。

【0041】

次に、図６を用いて、被写体情報生成部２０１４により生成される被写体情報について説明を補足する。図６は、上述の図５のＳ５０２で被写体情報生成部２０１４により生成される被写体情報の内容を示した表である。

【0042】

図６の表において、１行目は、図４（ｂ）に示されるように、ｘｙｚ座標で示した被写体の座標位置（ｘ１,ｙ１,ｚ１）であり、被写体毎に示される。２行目は、個別名称であり、被写体毎に被写体名や背番号等を付与することで、被写体の位置と個別名称を対応させる。

【0043】

３行目は、体の向きであり、図４（ａ）に示したｘｙ座標の+ｘ方向を基準にどちらの方向に体が向いているかを示す情報である。４行目は、顔の向きであり、３行目の体の向きと同様に、図４（ａ）に示したｘｙ座標の+ｘ方向を基準にどちらの方向に顔が向いているかを示す情報である。

【0044】

５行目は、足の位置であり、図３（ｂ）のｘｙｚ座標において足の位置に座標を割り振ったものである。６行目は、被写体の大きさであり、ユーザ毎の位置座標がわかる場合にそのユーザの位置と各被写体との距離から被写体の大きさの大小を表示するときに示すものである。なお、ユーザがスタジアム内にいない場合やユーザの位置がわからない場合には、スタジアム内において適当な位置を設定し、その設定した位置と被写体の位置の関係から大きさの大小を決定する。

【0045】

７行目は、被写体の姿勢である。例えば、サッカーにおいて、ゴールキーパーが味方の攻撃時等に立っている場合とゴールキーパーがシュートに対して横飛びしてセービングを行っている場合とではゴールキーパー（被写体）の姿勢は異なり、ここでは、このような被写体の姿勢を示す。後述する被写体の関節の位置情報により姿勢も表すことが可能となる。

【0046】

８行目は、被写体の関節位置であり、被写体の姿勢を示すために用いられる位置情報であり、体の各々の関節及びその他、適当な部位に座標位置情報を持たせることで、被写体の姿勢を含めた詳細な動きを示すことができる。

【0047】

図７は、表１の内容を具体的に示した表であり、この表に示されるデータはユーザ端末に記憶される。図７に示される表２では、サッカーを例に用いており、チームＡの選手とチームＢの選手を各々、３名ずつ示している。なお、表２に関して、後述の図面について説明するときに記載するが、チーム名、個別名称、選手番号に関する情報は、データ記憶部２０２５に予め記憶されている。また、後述の図１２に示される簡易映像データと表２の個別名称、選手番号とは関連付けされている。

【0048】

なお、ユーザ端末２０２が画像処理装置２０１から受信する被写体情報は、この表２の項目のうち、座標位置と向きに関する情報であり、ユーザ端末２０２は、これらの情報を受信することにより表２の座標位置と向きの値が確定する。また、表２（図７）において、手の位置、足の位置の欄は空欄として示しており、腰、肩、顔の座標位置と同様に、ｘｙｚ座標の点で受信することができるが、ここでは省略している。

【0049】

ここで、図８は、上述の図５のＳ５０４で生成され、仮想視点映像表示部２０２４に表示される画面の一例であり、各被写体の座標位置を受信することによって図８に示されるような位置に各選手（各被写体）を表示することができる。

【0050】

図９は、図４（ａ）で示したｘｙ座標の＋ｘ方向を基準として、被写体情報の１つである被写体における体の向き（図６に示される表１の上から３行目）を示した図である。図９において、被写体Ａから被写体Ｅで示される被写体は、各々、＋ｘ方向、＋ｘと－ｙ方向の中間方向、－ｙ方向、－ｘ方向、＋ｙ方向を向いている。

【0051】

＋ｘ方向を被写体の体の向きが０度の方向とし、また、この０度を基点として時計回りに角度が増加するように３５９度まで設定すると、被写体Ａは０度、被写体Ｂは４５度、被写体Ｃは９０度、被写体Ｄは１８０度、被写体Ｅは２７０度の方向を向いている。

【0052】

なお、ユーザ端末２０２は、必ずしも３６０段階に対応する映像データを揃えている必要はない。したがって、例えば、１５度間隔で被写体の映像を保持している場合に、０度から１５度、１６度から３０度までは、各々、同じ映像に置き換えることで対応してもよい。加えて、ここでは、被写体の体の向きを３６０段階で示すものとして説明したが、必ずしもこれに限定されない。

【0053】

図１０は、表１（図６）の被写体情報の１つである関節位置を示した模式図である。図１０（ａ）は人体を真正面から見た図であり、図１０（ｂ）は図１０（ａ）の人体の頭部を真上から見た図である。同様に、図１０（ｃ）は図１０（ａ）の人体の肩の部分を真上から見た図であり、図１０（ｄ）は人体の腰の部分を真上から見た図である。

【0054】

符号１００１から符号１０１９は関節及びその他の部位を示しており、また、頭部の前後を示すために、体の前方部（各部に垂直となる部分）の位置に、符号１０２０として、ポイントを付与している。同様に、肩、腰の前後を示すために、体の前方部の位置に、各々、符号１０２０、符号１０２１、符号１０２２として、ポイントを付与している。これらの部位の位置情報に基づいて、被写体の顔の向き、上半身の向き、下半身の向き、足の位置等の情報をユーザ端末２０２に送信することで、ユーザ端末２０２の仮想視点映像表示部２０２４において被写体の向きを表示することができる。

【0055】

図１１は、図９と同様に、図４（ａ）で示したｘｙ座標の＋ｘ方向を基準に被写体を配置した概略図であり、図８及び後述の図１３の被写体８００の各部位の向きを示したものである。図１１において、符号４００は図４で示したユーザであり、－ｘ軸と－ｙ軸の真ん中方向（図１１において、１３５度の方向）からｘｙ座標の原点方向を向いているものとする。

【0056】

図１１において、符号１１０１は被写体８００の全体像、符号１１０２は被写体８００の頭部を抜き出して表示したもの、符号１１０３は被写体８００の上半身（肩）を表示したもの、符号１１０４は被写体８００の下半身（腰及び足）を表示したものである。また、符号１００１から符号１０２２までのポイント（部位）は、図１０で示した関節及びその他の部位と同じ部位を示している。

【0057】

符号１１０２において、符号１００１から符号１００３で示されるポイントの位置から被写体８００の顔の向きは１３５度であることがわかる。なお、ここでの角度は、図９と同様に示される。また、符号１１０３から被写体８００の上半身の向きは１８０度、符号１１０４から被写体８００の下半身の向きは２１０度である。加えて、符号１０１６から符号１０１９は両足の位置を示しており、これらの位置は、図６（表１）において、体の向き、顔の向き、足の位置及び被写体の姿勢に関連し、被写体情報として生成される。図９に示した体の向き、図１０に示した間接位置、図１１で示した顔の向き等の情報のすべてもしくは一部を用いて図８の画面における被写体が表示される。

【0058】

図１２は、ユーザ端末２０２のデータ記憶部２０２５に予め記憶されている映像データの一例であり、図８及び後述の図１３の被写体８００を示したものである。図１２（ａ）から図１２（ｄ）は、左斜め前方、正面、右斜め前方、後ろ正面から見た被写体を各々、模式的に示している。また、図１２（ｅ）は、図１１で示した被写体８００の顔の向き１１０２、上半身の向き１１０３、下半身の向き１１０４及び両足の位置をユーザ４００から見たときの模式図である。

【0059】

ユーザ端末２０２は、図１１のような被写体の各々の向きを示すデータから角度情報とデータ記憶部２０２５に記憶してあった被写体の角度情報に対応する体の各部の映像情報を読み出して、図１２（ｅ）のような被写体映像を生成する。

【0060】

なお、図１２（ａ）から図１２（ｄ）では、ユーザ端末２０２のデータ記憶部２０２５に部位１から部位４を繋げた全体像を記憶するように示しているが、必ずしもこれに限定されない。したがって、例えば、実際に記憶している映像データは、部位１から部位４までの部位毎に分かれたデータであってもよく、また、ここには示していないが、両腕、両足及びつま先からかかとの部位のデータも持ち合わせていてもよい。

【0061】

図１３は、図８で示した被写体８００を図１２（ｅ）の模式図に置き換えたものであり、図８と同様に、映像再生部２０２３で変換（生成）され、仮想視点映像表示部２０２４に表示される映像で、カメラパスデータを生成するために用いられる。

【0062】

図１３において、図１３（ａ）は被写体８００をそのまま置き換えただけの映像であり、図１３（ｂ）は図１３（ａ）の映像に被写体８００の名前を重畳して表示させたものである。また、図１３（ｃ）は図１３（ａ）の映像に被写体８００の背番号を重畳して表示させたものである。なお、図１０においては、被写体８００のみを置き換えているが、実際には全ての選手の情報を受信して全ての選手を置き換えるものとする。

【0063】

以上、説明したように、画像処理装置からユーザ端末に送信する被写体情報のデータを上述の図６（表１）に示した内容（情報）にすることで、実際の被写体の映像データよりも少ない情報量でユーザ端末２０２に被写体映像を表示させることができる。さらに、ユーザは、ユーザ端末を用いて、仮想視点映像の生成に必要なカメラパスデータを生成することができる。

【0064】

なお、図６（表１）の被写体情報の各々は、ユーザ端末２０２と画像処理装置２０１間のデータ伝送帯域に応じて、送受信するデータ量を調整してもよいし、ユーザの課金条件によって送受信するデータ量を変更してもよい。例えば、被写体の平面座標位置、被写体のｚ方向の位置、被写体の大きさ、被写体の個別情報、被写体の体方向、被写体の姿勢、被写体の関節位置、被写体視線方向等を階層的に管理し、課金条件に応じて選択するようにしてもよい。また、図２のデータ記憶部２０２５に記憶するデータも単なるシンボル、チームマーク、事前に撮影した静止画等も選択して記憶しておいてもよい。

【0065】

このように、本実施形態によれば、画像処理装置２０１は、各カメラによる撮像画像に基づいて、撮影対象領域内に存在する被写体の位置情報を含む被写体情報を生成し、ユーザ端末２０２に送信する。ユーザ端末２０２は、受信した被写体情報に基づいて、被写体の位置をユーザが認識できる程度の簡易的な画像を生成して表示する。ユーザは、この表示を見ながらユーザ端末２０２を操作することにより、所望のカメラパスを設定することができる。そして設定されたカメラパスに基づくカメラパスデータがユーザ端末２０２から画像処理装置２０１に送信され、画像処理装置２０１において、当該カメラパスデータと、撮像画像とに基づいて仮想視点映像が生成される。このようにすることにより、画像処理装置２０１とユーザ端末２０２間では被写体情報やカメラパスデータが送受信されるだけで済むので、伝送路の帯域が小さい場合でも低負荷、かつ効率よくデータの送受信を行うことができる。また、ユーザ端末２０２では、カメラパスを設定するために用いられる簡易な画像を生成するだけでよく、最終的な仮想視点映像は画像処理装置２０１で生成されるので、ユーザ端末２０２の処理負荷が軽減でき、仮想視点映像の生成時間も抑制することができる。

【0066】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0067】

２０１ 画像処理装置
２０１４ 被写体情報生成部
２０１６ 仮想視点映像生成部
２０１７ 仮想視点映像出力部
２０２ 情報処理装置
２０２２ カメラパス生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】