特許 7500231 画像生成システム、その制御方法及びプログラム。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-07

(45)【発行日】2024-06-17

(54)【発明の名称】画像生成システム、その制御方法及びプログラム。

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240610BHJP

   G09G 5/00 20060101ALI20240610BHJP

   G09G 5/36 20060101ALI20240610BHJP

   G09G 5/37 20060101ALI20240610BHJP

   G09G 5/377 20060101ALI20240610BHJP

   G09G 5/38 20060101ALI20240610BHJP

   H04N 13/275 20180101ALI20240610BHJP

【ＦＩ】

G06T19/00 A

G09G5/00 510B

G09G5/00 510H

G09G5/00 510X

G09G5/00 520V

G09G5/00 530M

G09G5/00 550A

G09G5/36 500

G09G5/37 320

G09G5/377

G09G5/38

H04N13/275

【請求項の数】 13

(21)【出願番号】P 2020037639

(22)【出願日】2020-03-05

(65)【公開番号】P2021140458

(43)【公開日】2021-09-16

【審査請求日】2023-02-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】榊間 英人

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２０１８－０４１３３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ １３／２７５

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６ －５／３９９

(57)【特許請求の範囲】

【請求項1】

生成される仮想視点画像の画素数を示す画素数情報、および前記仮想視点画像に対応する第１仮想視点を示す第１仮想視点情報を取得する取得手段と、
前記画素数情報および前記第１仮想視点情報に基づいて、複数の第２仮想視点を示す複数の第２仮想視点情報を生成する第１生成手段と、
前記複数の第２仮想視点情報に基づいて複数の画像を生成する複数の第２生成手段と、
前記複数の第２生成手段により生成される複数の画像を合成して前記仮想視点画像を生成する合成手段と、
を有し、
前記複数の第２仮想視点情報のそれぞれは、前記仮想視点画像上における前記第２生成手段が生成する画像に対応する範囲を特定するための画角情報を含み、
前記画角情報が示す画角には、前記仮想視点画像に反映されない余剰領域が含まれる、
ことを特徴とする画像処理システム。

【請求項2】

前記仮想視点画像上における前記第２生成手段が生成する画像に対応する範囲は、前記仮想視点画像を前記複数の第２仮想視点の数で分割した範囲に前記余剰領域を加えた範囲である、ことを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記複数の第２仮想視点の位置のそれぞれは、同じ位置であり、
前記複数の第２仮想視点からの視線方向のそれぞれは、同じ視線方向であり、
前記複数の第２仮想視点情報のそれぞれは、前記第２仮想視点の位置を示す情報と、前記複数の第２仮想視点からの視線方向を示す情報と、を含む、
ことを特徴とする請求項１又は２に記載の画像処理システム。

【請求項4】

前記第１仮想視点の位置と前記複数の第２仮想視点の位置は同じ位置であり、
前記第１仮想視点からの視線方向と前記複数の第２仮想視点からの視線方向は同じである、
ことを特徴とする請求項３に記載の画像処理システム。

【請求項5】

前記第２生成手段は、レンダラであって、
前記複数の画像は、複数のレンダラで同時に生成される、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。

【請求項6】

前記複数の第２仮想視点の数は、前記複数のレンダラの性能に基づいて決定されることを特徴とする請求項５に記載の画像処理システム。

【請求項7】

前記複数の画像のそれぞれの画素数は、前記仮想視点画像の画素数より少ないことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。

【請求項8】

前記第１生成手段は、前記画素数情報に基づいて、前記複数の第２仮想視点情報の数を決定し、前記複数の第２仮想視点情報の数と、前記第１仮想視点情報とに基づいて、前記仮想視点画像上における前記複数の第２生成手段それぞれが生成する画像に対応する範囲を決定し、当該範囲を特定するための画角情報を含む前記複数の第２仮想視点情報を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理システム。

【請求項9】

前記画素数情報は、４Ｋに対応する画素数または８Ｋに対応する画素数を示す情報であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。

【請求項10】

前記第１仮想視点の焦点距離と前記複数の第２仮想視点の焦点距離は同じ焦点距離であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。

【請求項11】

前記第１仮想視点情報と前記複数の第２仮想視点情報は、同じ時刻を示す情報を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理システム。

【請求項12】

生成される仮想視点画像の画素数を示す画素数情報、および前記仮想視点画像に対応する第１仮想視点を示す第１仮想視点情報を取得する取得工程と、
前記画素数情報および前記第１仮想視点情報に基づいて、複数の第２仮想視点を示す複数の第２仮想視点情報を生成する第１生成工程と、
前記複数の第２仮想視点情報に基づいて、複数の画像生成手段が複数の画像を生成する第２生成工程と、
前記第２生成工程により生成される複数の画像を合成する合成工程と、
を有し、
前記複数の第２仮想視点情報のそれぞれは、前記仮想視点画像上における前記複数の画像生成手段それぞれが生成すべき画像に対応する範囲を特定するための画角情報を含み、
前記画角情報が示す画角には、前記仮想視点画像に反映されない余剰領域が含まれる、
ことを特徴とする画像処理方法。

【請求項13】

コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理システムの一手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点映像を生成する技術に関する。

【背景技術】

【0002】

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点映像を用いて、任意の仮想視点から見た映像コンテンツ（仮想視点映像）を生成する技術が注目されている。上記仮想視点映像によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の映像と比較してユーザに高臨場感を与えることが出来る。

【0003】

上記仮想視点映像は、撮影された複数視点映像をサーバなどの画像処理装置に集約し、当該画像処理装置にて、三次元モデル生成、レンダリングなどの処理を施して得られる。そして、得られた仮想視点映像をモバイル端末等の映像表示装置に配信することでユーザの閲覧に供される。ここで、生成段階においては、オブジェクトの三次元モデル等の映像素材を事前に作っておくことにより、例えば４Ｋ画質に対応した仮想視点映像や８Ｋ画質に対応した仮想視点映像といったように、ユーザのニーズに合わせて様々な映像フォーマットの仮想視点映像を得ることができる。よって、仮想視点映像を生成する画像処理システムには、様々な映像フォーマットに柔軟に対応できることが求められる。

【0004】

この点、特許文献１には、複数のユーザそれぞれにより指定された仮想視点に応じた複数の仮想視点画像を生成し、それを複数のユーザ間で共有する技術が記載されている。特許文献１には、複数のプロジェクタを用いた映像投影技術において、プロジェクタ毎に投影方法を変更することにより、任意のフォーマットの映像を投影できる技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－２１５８２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

複数の異なる映像フォーマットの仮想視点映像を生成する場合に、映像フォーマット毎に専用のレンダラを用いてレンダリングを行うこととすると、システム全体の構成が複雑になり、また、専用のハードやソフトの設計に伴うコストも大きくなってしまう。

【0007】

そこで本開示の技術は、異なる映像フォーマットの仮想視点映像を効率的に生成できるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本開示に係る画像処理システムは、生成される仮想視点画像の画素数を示す画素数情報、および前記仮想視点画像に対応する第１仮想視点を示す第１仮想視点情報を取得する取得手段と、前記画素数情報および前記第１仮想視点情報に基づいて、複数の第２仮想視点を示す複数の第２仮想視点情報を生成する第１生成手段と、前記複数の第２仮想視点情報に基づいて複数の画像を生成する複数の第２生成手段と、前記複数の第２生成手段により生成される複数の画像を合成して前記仮想視点画像を生成する合成手段と、を有し、前記複数の第２仮想視点情報のそれぞれは、前記仮想視点画像上における前記第２生成手段が生成する画像に対応する範囲を特定するための画角情報を含み、前記画角情報が示す画角には、前記仮想視点画像に反映されない余剰領域が含まれる、ことを特徴とする。

【発明の効果】

【0009】

本開示の技術によれば、異なる映像フォーマットの仮想視点映像を効率的に生成することが可能となる。

【図面の簡単な説明】

【0010】

【図1】画像生成システムの構成の一例を示す図。

【図2】画像処理サーバ１０１の内部構成を示す機能ブロック図。

【図3】実施形態１に係る、仮想視点映像を生成する処理の全体の流れを示すフローチャート。

【図4】仮想視点情報の変換方式決定処理の流れを示すフローチャート。

【図5】（ａ）は仮想視点の概念を説明する図、（ｂ）は仮想視点情報の一例を示す図。

【図6】（ａ）は、８Ｋ画質の描画領域を示す図、（ｂ）は各レンダラが処理可能な８Ｋ画質の描画領域を示す図。

【図7】実施形態１に係る、（ａ）は変換前の仮想視点情報の一例（抜粋）を示す図、（ｂ）は変換後の仮想視点情報の一例（抜粋）を示す図。

【図8】仮想視点映像生成処理の流れを示すフローチャート。

【図9】各レンダラへの割り当て結果の一例を示す図。

【図10】実施形態１の変形例１に係る、画像生成システムの構成の一例を示す図。

【図11】（ａ）及び（ｂ）は、実施形態１の変形例１に係る、各レンダラへの仮想視点情報の割り当てを説明する図。

【図12】実施形態２に係る、仮想視点情報の変換を模式的に示す図。

【図13】実施形態２に係る、仮想視点情報の変換の一例を示す図。

【図14】実施形態３に係る、（ａ）は変換前の仮想視点情報の一例（抜粋）を示す図、（ｂ）は変換後の仮想視点情報の一例（抜粋）を示す図。

【図15】実施形態３に係る、指定フォーマットに適合させる際の処理を説明する図。

【図16】実施形態４に係る、（ａ）は変換前の仮想視点情報の一例（抜粋）を示す図、（ｂ）は変換後の仮想視点情報の一例（抜粋）を示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

【0012】

［実施形態１］
本実施形態では、仮想視点映像のレンダリング処理を、その解像度に応じて複数のレンダラで分担する態様について説明する。

【0013】

（システム構成）
図１は、本実施形態に係る、仮想視点映像を生成する画像生成システムの構成の一例を示す図である。画像生成システム１００は、画像処理サーバ１０１、仮想視点コントローラ１０２、データベース１０３、スイッチングハブ１０４で構成される。

【0014】

画像処理サーバ１０１は、レンダリング処理部１１１とフォーマット処理部１１２とを有する。レンダリング処理部１１１は、被写体（オブジェクト）の３次元モデルやテクスチャ情報といったレンダリングに必要なデータを取得して、フォーマット処理部１１２から提供される仮想視点情報に従ったレンダリングを行う。レンダリングのための３次元モデルやテクスチャ情報などのデータ（以下、「レンダリング用データ」と呼ぶ。）は、データベース１０３から取得する。フォーマット処理部１１２は、仮想視点コントローラ１０２から入力された仮想視点情報を、複数のレンダラで処理可能なように変換し、レンダリング処理部１１１に提供する。また、レンダリング処理部１１１によるレンダリング結果（暫定的な仮想視点映像）に対し、出力用の映像フォーマットに適合させる処理を行って、最終的な仮想視点映像として出力する。レンダリング処理部１１１とフォーマット処理部１１２とは高速な通信インタフェースで接続され、仮想視点情報やレンダリング結果の送受信を行う。レンダリング処理部１１１とフォーマット処理部１１２とを、別々の画像処理装置とし、両装置間を高速ネットワークで接続するような構成でもよい。この際の、高速ネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

【0015】

仮想視点コントローラ１０２は、ユーザが仮想視点を設定するためのコントローラである。ユーザは、視点位置、向き（姿勢）、焦点距離、画角といった仮想視点映像の生成に必要な情報を入力（或いは予め用意されたものの中から選択）する。そして、ユーザが入力・選択した内容に応じて、時間的に連続した仮想視点を定義した情報（仮想視点情報）が、スイッチングハブ１０４を介して画像処理サーバ１０１へ送られる。仮想視点情報の詳細については後述する。なお、図１では、１つの仮想視点コントローラ１０２しか存在しないが、複数の仮想視点コントローラ１０２を設けてもよい。

【0016】

データベース１０３は、レンダリングに必要な映像素材である上述のレンダリング用データを格納するストレージサーバである。画像処理サーバ１０１からのデータ取得要求に応じて、レンダリング用データを提供する。

【0017】

（画像処理サーバの構成）
次に、画像処理サーバ１０１についてより詳細に説明する。図２は、画像処理サーバ１０１の内部構成を示す機能ブロック図である。前述のとおり、画像処理サーバ１０１は、レンダリングに関する処理を担うレンダリング処理部１１１と、映像フォーマットに関する処理を担うフォーマット処理部１１２とを有する。

【0018】

まず、レンダリング処理部１１１の内部構成について説明する。レンダリング処理部１０１は、レンダラモジュール２０１、レンダラ管理部２０３及びレンダラ割り当て部２０４を有する。

【0019】

レンダラモジュール２０１は、レンダリング実行主体としての基礎的な単位の処理部であるレンダラ２０２を複数有し、それぞれのレンダラ２０２で、後述する変換後の仮想視点情報に従ったレンダリング画像をフレーム単位で生成する。本実施形態のレンダラモジュール２０１は、第１レンダラから第１６レンダラまでの１６個のレンダラ２０２を備えるものとする。但し、レンダリング処理部１１１が有するレンダラ２０２の数は本実施形態の１６個に限定されるものではない。個々のレンダラ２０２は、後述のレンダラ割り当て部２０４によって自身に割り当てられた分のレンダリング処理を行って、ユーザが指定した任意の視点からの３次元モデルの見えを表す画像を、所定の演算処理を行って生成する。レンダラ２０２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing）といった演算器上で動作するソフトウェアによって実現される。或いは、ＤＳＰ（Digital Signal）やＡＳＩＣ（Application Specific Integration Circuit）といったハードウェアなどで実現される。図２では、レンダラ２０２それぞれを識別するため、第１レンダラ２０２a、第２レンダラ２０２ｂ、・・・第１６レンダラ２０２pのようにアルファベットの下付き文字を沿えて表記している。なお、以下の説明において、第１レンダラ２０２a～第１６レンダラ２０２pに共通して当て嵌まる内容については、単に「レンダラ２０２」と表す場合がある。

【0020】

レンダラ管理部２０３は、レンダラモジュール２０１が有する複数のレンダラ２０２に関する情報（以下、「レンダラ情報」と表記）を格納・管理する。ここで、レンダラ情報には、レンダラモジュール２０１に搭載されるレンダラ２０２の数（本実施形態では１６個）や、各レンダラ２０２の性能に関する情報が含まれる。そして、性能に関する情報には、描画可能な画像解像度やフレームレートの情報が含まれる。本実施形態では、第１レンダラ２０２ａ～第１６レンダラ２０２ｐそれぞれが、いわゆる２Ｋ画質（１９２０画素×１０８０画素）の画像解像度、６０ｆｐｓのフレームレートで生成する能力を持つものとする。レンダラ管理部２０３の具体的な構成要素としては、不揮発メモリなどが挙げられ、レンダラモジュール２０１の仕様に基づき予め作成したレンダラ情報を、レンダラモジュール２０１に固有の情報として保持する。

【0021】

レンダラ割り当て部２０４は、後述の仮想視点変換部２１１から提供される変換後の仮想視点情報を基に、レンダラモジュール２０１内の各レンダラ２０２ａ～２０２ｐに対しそれぞれが担当するレンダリング内容（描画対象となる画像領域やフレーム等）を割り当てる。割り当てが決まるとその情報がレンダラモジュール２０１に渡され、各レンダラ２０２が自身の担当分のレンダリングを実行することになる。

【0022】

次に、フォーマット処理部１１２の内部構成について説明する。フォーマット処理部１１２は、仮想視点変換部２１１、フォーマット適合部２１２、映像出力部２１３を有する。

【0023】

仮想視点変換部２１１は、仮想視点コントローラ１０２から入力された仮想視点情報について、レンダラモジュール２０１の構成に応じた変換方式を決定し、変換する。変換方式の決定は、仮想視点コントローラ１０２から別途入力される映像フォーマットに関する情報（以下、「フォーマット情報」と表記。）と、レンダラ管理部２０３に保持されたレンダラ情報に基づいてなされる。本実施形態のフォーマット情報には、一般的な２Ｄ方式における画像解像度とフレームレートが少なくとも定義されているものとする。仮想視点変換部２１１は、決定した変換方式の内容をフォーマット情報と合わせて（まとめて「仮想視点変換情報」と呼ぶ。）、フォーマット適合部２１２に通知する。変換方式の決定や決定した変換方式に従った仮想視点情報の変換処理の詳細については後述する。変換後の仮想視点情報は、上述のレンダリング処理部１１１に送られる。

【0024】

フォーマット適合部２１２は、レンダリング処理部１１１から受け取ったレンダリング結果を用いて、仮想視点変換情報内のフォーマット情報で特定される所定の映像フォーマットに適合する仮想視点映像を生成する。レンダラモジュール２０１におけるレンダリング結果（本実施形態では最大で１６個のレンダリング画像）から、所定の映像フォーマットに適合する仮想視点映像を生成する処理の詳細は後述する。生成された仮想視点映像のデータは、映像出力部２１３に渡される。

【0025】

映像出力部２１３は、フォーマット適合部２１２から提供された、所定の映像フォーマットに則った仮想視点映像のデータを、ユーザ視聴用端末（不図示）等に出力する。映像データの出力用インタフェースには、ＨＤＭＩ（登録商標）（High Definition Multimedia）やＳＤＩ（Serial Digital Interface）といった公知の通信インタフェースを利用すればよい。また、ＶｏＩＰ（Ｖｉｄｅｏ ｏｖｅｒ ＩＰ）など、ネットワークを介した映像出力用のインタフェースを利用してもよい。

【0026】

（仮想視点映像生成処理の流れ）
次に、画像処理サーバ１０１における仮想視点映像を生成する処理の全体的な流れを説明する。図３は、本実施形態に係る、入力仮想視点情報をレンダラモジュール２０１の構成に応じて適宜変換した上でレンダリングを行って仮想視点映像を生成する処理の全体の流れを示すフローチャートである。図３のフローチャートに示す一連の処理は、画像処理サーバ１０１内の不図示のＣＰＵが、所定のプログラムを不図示のワークメモリ（ＲＡＭ）に展開して実行することで実現される。なお、図３を含むフローチャートの説明において登場する符号「Ｓ」はステップを表す。

【0027】

まず、Ｓ３０１にて、仮想視点コントローラ１０２から入力される仮想視点情報に対する変換方式が決定される。この変換方式を決定する処理は、レンダリング処理の実行に先立って、フォーマット処理部１１２内の仮想視点変換部２１１において実施される準備的な処理（事前処理）である。

【0028】

次に、Ｓ３０２では、フォーマット情報で特定される所定の映像フォーマットに準拠した仮想視点情報が仮想視点コントローラ１０２から、仮想視点映像の素材となるレンダリング用データがデータベース１０３から、それぞれ受信される。入力された仮想視点情報は仮想視点変換部２１１に入力され、レンダリング用データはレンダラモジュール２０１に入力される。

【0029】

そして、Ｓ３０３では、入力された仮想視点情報とレンダリング用データに基づき、仮想視点映像の生成処理が実行される。この仮想視点映像生成処理では、まず、Ｓ３０１で決定された変換方式に従って仮想視点情報を変換する処理が実行される。そして、変換後の仮想視点情報に従ったレンダリング処理、レンダリング結果から所定の映像フォーマットに適合した仮想視点映像を生成する処理が順に実行される。仮想視点映像生成処理の詳細については後述する。

【0030】

以上が、全体の処理フローである。

【0031】

（仮想視点情報の変換方式決定処理）
続いて、事前処理としての仮想視点情報の変換方式決定処理（Ｓ３０１）の詳細について、図４に示すフローチャートを参照して説明する。

【0032】

変換方式決定処理の説明に入る前に、仮想視点情報について確認しておく。図５（ａ）は仮想視点の概念を説明する図、同（ｂ）は８Ｋ画質の映像フォーマットに準拠した仮想視点画像を生成するための仮想視点情報の一例を示す図である。仮想視点は、位置５０１、向き５０２、焦点距離５０３、画角５０４に、時刻を加えた５つの要素で特定される。位置５０１は、三次元空間上における仮想的な視点位置を示す座標情報である。向き５０２は、位置５０１からの向き（視線方向）を示す情報であり、三次元ベクトルで表現される。焦点距離５０３は、位置５０１から仮想視点映像平面までの距離に該当する。画角５０４は、生成する仮想視点映像において被写体が映る範囲を画定する情報であって、原点オフセットと幅・高さによって特定される。ここで原点オフセットとは、仮想視点映像平面上における、生成する仮想視点画像の原点（例えば左上隅の点）を示す情報である。具体的には、原点オフセットは、位置５０１から仮想視点映像平面へ下した垂線が仮想視点映像平面に交わる交点の位置と、生成すべき仮想視点画像の原点の位置との、差を示す座標情報である。図５（ｂ）のとおり、焦点距離と画角は、本実施形態ではピクセルを単位とする。時刻は、生成元となる複数視点映像が撮像された時刻のうち仮想視点映像の生成対象となる時刻を示す情報であり、時、分、秒、フレーム番号で特定される。以下では、仮想視点コントローラ１０２から、画像解像度がいわゆる８Ｋ画質（７６８０画素×４３２０画素）で、かつ、フレームレートが６０ｆｐｓの映像フォーマットに準拠した仮想視点画像を生成するための仮想視点情報が入力されるものとして、図４のフローの説明を行うこととする。

【0033】

まず、Ｓ４０１では、上述のレンダラ情報が、レンダリング処理部１１１のレンダラ管理部２０３から取得される。続くＳ４０２では、生成対象となる仮想視点映像の映像フォーマットを規定するフォーマット情報が、仮想視点コントローラ１０２からスイッチングハブ１０４を介して取得される。

【0034】

そして、Ｓ４０３では、フォーマット情報が示すユーザ指定の映像フォーマット（以下、「指定フォーマット」と呼ぶ。）が、レンダラ情報が示すレンダラモジュール２０１の構成によって対応可能な映像フォーマットであるかどうかが判定される。前述のとおり本実施形態のレンダラモジュール２０１を構成する各レンダラ２０２は、２Ｋの解像度でレンダリングする能力を有している。ここで、図を参照しつつ、レンダラモジュール２０１が指定フォーマットに対応可能か否かの判定について説明する。図６（ａ）に示す横長の矩形６００は、仮想視点コントローラ１０２から入力される仮想視点情報が準拠する８Ｋ画質の描画領域を示す。そして、図６（ｂ）に示す１６個の横長矩形６０１～６１６それぞれは、各レンダラ２０２が処理可能な２Ｋ画質の描画領域を示している。本実施形態の場合、８Ｋ画質の映像フォーマットに従った仮想視点映像は、レンダラ２０２単独では生成できない。しかしながら、図６（ｂ）に示すように、２Ｋ画質の単位で１６個の仮想視点映像を生成（すなわち、１６個のレンダラ２０２で分担してレンダリング）を行い、得られた１６個のレンダリング画像を結合することで８Ｋ画質の仮想視点映像を得ることができる。このように、本実施形態において、仮想視点コントローラ１０２から入力される仮想視点情報が８Ｋ画質の映像フォーマットに準拠したものである場合は、レンダラモジュール２０１において対応可能と判定されることになる。また、同様に、がいわゆる４Ｋ画質（３８４０画素×２１６０画素）の映像フォーマットに準拠した仮想視点情報の場合も、４個のレンダラ２０２で分担できるため、対応可能と判定されることになる。このような判定処理の結果、指定フォーマットが対応可能な映像フォーマットである場合はＳ４０４に進み、対応不可能な映像フォーマットである場合はＳ４０５に進む。

【0035】

Ｓ４０４では、生成対象となる仮想視点映像の映像フォーマットに準拠した、仮想視点コントローラ１０２から入力される仮想視点情報に対する変換方式が決定される。各レンダラ２０２が２Ｋ画質でレンダリングする能力を持つ場合において、８Ｋ画質用の仮想視点情報が入力されるとすれば、図７の（ａ）及び（ｂ）に示すように、１６個の２Ｋ画質用の仮想視点情報に分割することが決定されることになる。図７において、（ａ）は仮想視点コントローラ１０２から入力される８Ｋ画質用の仮想視点情報を説明する図であり、８Ｋ画質の描画領域７０１とその画角情報７０２が示されている。図７（ｂ）はレンダラモジュール２０１の構成に基づき変換した後の２Ｋ画質用の仮想視点情報を説明する図であり、変換後の単位描画領域７０３とその画角情報７０４が示されている。図７の（ａ）と（ｂ）とを比較すると明らかなように、この例の場合は画角情報が変化することになる。なお、画角情報の項目のうち、両図に記載のない項目（時刻、位置・向き・焦点距離）については、変換前と変わらないため省略している。

【0036】

Ｓ４０５では、指定フォーマットが対応不可能な映像フォーマットである旨の通知が、仮想視点コントローラ１０２に送信される。

【0037】

最後に、Ｓ４０６にて、Ｓ４０４で決定された変換方式の内容を示す仮想視点変換情報が、フォーマット適合部２１２に通知され、仮想視点変換方式の決定処理を終了する。

【0038】

（仮想視点映像生成処理）
次に、仮想視点映像の生成処理（Ｓ３０３）の詳細について、図８に示すフローチャートを参照して説明することとする。図８に示す一連の処理は、フレーム単位で実行される。ここでも、仮想視点コントローラ１０２から、８Ｋ画質の映像フォーマットに準拠した仮想視点情報が入力される場合を想定して説明を行うこととする。

【0039】

まず、Ｓ８０１では、仮想視点コントローラ１０２から受信した仮想視点情報がフォーマット処理部１１２に入力される。続くＳ８０２では、仮想視点変換部２１１において、事前処理にて決定された変換方式に従って、Ｓ８０１で入力された仮想視点情報が変換される。変換後の仮想視点情報は、レンダリング処理部１１１に送られる。

【0040】

Ｓ８０３では、レンダリング処理部１１１にて、変換後の仮想視点情報に基づくレンダリング処理が実行される。具体的には、まず、レンダラ割り当て部２０４が、仮想視点変換部２１１から受け取った変換後の仮想視点情報に基づき、レンダラモジュール２０１内の各レンダラ２０２ａ～２０２ｐに対する担当の割り当てを行う。図９は、各レンダラ２０２ａ～２０２ｐへの割り当て結果の一例を示している。ここでは、第１レンダラ２０２ａが２Ｋの描画領域６０１、第２レンダラ２０２ｂが２Ｋの描画領域６０２、・・・第１６レンダラ２０２ｐが２Ｋの描画領域６１６といった具合に割り当てられている。１６個のレンダラ２０２a～２０２pのそれぞれは、１６個に分割された変換後の仮想視点情報に従って、自身が担当する描画領域についてのレンダリングを、データベース１０３から提供されたレンダリング用データを用いて実行する。１６個のレンダラ２０２ａ～２０２ｐによるレンダリング結果（１６個のレンダリング画像）は、フォーマット処理部１１２に送られる。

【0041】

Ｓ８０４では、フォーマット処理部１１２にて、レンダリング結果を用いて指定フォーマットに適合した仮想視点映像を生成する処理が実行される。本実施形態の場合、フォーマット適合部２１２において、レンダラモジュール２０１から受け取った１６個の２Ｋ画質の仮想視点映像を結合して、指定フォーマットである８Ｋ画質の仮想視点映像が生成される。生成された仮想視点映像のデータは、映像出力部２１３に渡される。

【0042】

Ｓ８０５では、映像出力部２１３が、Ｓ８０４にて生成された指定フォーマットの仮想視点映像データを出力する。

【0043】

以上が、仮想視点映像生成処理の内容である。

【0044】

＜変形例＞
前述のとおり、仮想視点コントローラ１０２は複数設けてもよい。異なる映像フォーマットそれぞれに準拠した複数の仮想視点情報が、複数の仮想視点コントローラから送られてくるケースについて、変形例として説明する。

【0045】

≪変形例１≫
図１０は、本変形例に係る、複数の仮想視点コントローラを備えた画像生成システムの構成の一例を示す図である。本変形例の画像生成システム１００’は、第１から第７まで計７つの仮想視点コントローラ１０２ａ～１０２ｇを備えている。そして、第１仮想視点コントローラ１０２ａ～第３仮想視点コントローラ１０２ｃは、４Ｋ画質の映像フォーマットに準拠した仮想視点を設定するための仮想視点コントローラである。そして、残りの第４仮想視点コントローラ１０２ｄ～第７仮想視点コントローラ１０２ｇは、２Ｋ画質の映像フォーマットに準拠した仮想視点を設定するための仮想視点コントローラである。図では省略しているが、これら７つの仮想視点コントローラ１０２ａ～１０２ｇはそれぞれ仮想視点情報とフォーマット情報を、スイッチングハブ１０４を介して画像処理サーバ１０１に対し送信する。複数の仮想視点コントローラそれぞれから仮想視点情報とフォーマット情報が入力される以外は、図１の画像生成システム１００と同じシステム構成である。

【0046】

図１１の（ａ）及び（ｂ）は、前述の図６の（ａ）及び（ｂ）にそれぞれ対応する図であり、本変形例における１６個の各レンダラ２０２ａ～２０２ｐへの変換後の仮想視点情報の割り当てを示している。図１１（ａ）において、３つの横長の矩形１１０１～１１０３は、第１仮想視点コントローラ１０２ａ～第３仮想視点コントローラ１０２ｃからそれぞれ入力される仮想視点情報の前提となっている４Ｋ画質の描画領域を示している。また、図１１（ａ）において、４つの横長の矩形１１０４～１１０７は、第４仮想視点コントローラ１０２ｄ～第７仮想視点コントローラ１０２ｇからそれぞれ入力される仮想視点情報の前提となっている２Ｋ画質の描画領域を示している。そして、図１１（ｂ）は、１６個のレンダラ２０２ａ～２０２ｇに割り当てられた描画領域を示している。本変形例の場合、４Ｋ画質の映像フォーマットに従った仮想視点映像は、レンダラ２０２単独では生成できない。しかしながら、図１１（ｂ）に示すように、それぞれ４個のレンダラ２０２で分担して２Ｋ画質でレンダリングを行い、得られた４個のレンダリング画像を結合することで４Ｋ画質の仮想視点映像を得ることができる。例えば、第１仮想視点コントローラ１０２ａから入力される仮想視点情報については４つの仮想視点情報に分割・変換し、第１レンダラ２０２ａ～第４レンダラ２０２ｄが分担してレンダリングを行うことで４Ｋ画質の仮想視点映像を得ることができる。第２仮想視点コントローラ１０２ｂ及び第３仮想視点コントローラ１０２ｃから入力される仮想視点情報についても同様である。すなわち、第２仮想視点コントローラ１０２ｂから入力される仮想視点情報についても４つの仮想視点情報に分割・変換し、第５レンダラ２０２ｅ～第８レンダラ２０２ｈが分担してレンダリングを行うことで４Ｋ画質の仮想視点映像を得ることができる。また、第３仮想視点コントローラ１０２ｃから入力される仮想視点情報についても４つの仮想視点情報に分割・変換し、第９レンダラ２０２ｉ～第１２レンダラ２０２ｌが分担してレンダリングを行うことで４Ｋ画質の仮想視点映像を得ることができる。一方、第４仮想視点コントローラ１０２ｄ～第７仮想視点コントローラ１０２ｇから入力される仮想視点情報については、レンダラ２０２の単位処理能力と同じ２Ｋ画質を前提としている。よって、入力された仮想視点情報に従ったレンダリングをそのまま第１３レンダラ２０２ｍ～第１６レンダラ２０２ｐにそれぞれ割り当て、各レンダラが自身の担当分をレンダリングすることで２Ｋ画質の仮想視点映像を生成できる。

【0047】

≪変形例２≫
次に、画像解像度が各レンダラ２０２の単位処理能力を超えるものの、フレームレートが各レンダラ２０２の単位処理能力に満たない映像フォーマットに準拠した仮想視点情報が、２つの仮想視点コントローラそれぞれから入力されるケースを説明する。ここでは、画像解像度が８Ｋで、フレームレートが３０ｆｐｓの映像フォーマットに準拠した仮想視点情報が、別々の仮想視点コントローラ１０２から入力されるケースを想定する。いま、１６個ある各レンダラ２０２の処理能力は、画像解像度が２Ｋ、フレームレートが６０ｆｐｓである。つまり、フレームレートを基準とすると、各レンダラ２０２は２倍の処理能力を持つことになる。なので、１６個のレンダラ２０２ａ～２０２ｐが協働することによって、８Ｋ画質・６０ｆｐｓの時と同じレンダリング負荷で、８Ｋ画質・３０ｆｐｓの仮想視点映像を２つ得ることができることになる。例えば、一方の仮想視点コントローラ１０２からの仮想視点情報を、２Ｋ画質に準拠した１６個の仮想視点情報に分割した上で、単位描画領域（前述の図６（ｂ）を参照）２個分のレンダリングを１つのレンダラ２０２が担当するように変換後の仮想視点情報を割り当てる。こうして、２つの仮想視点情報のうちの一方を第１レンダラ２０２ａ～第８レンダラ２０２ｈで分担して処理させ、これと並行して、もう一方の仮想視点情報を第９レンダラ２０２ｉ～第１６レンダラ２０２ｐで分担して処理させる。このようにすることで、８Ｋ画質・３０ｆｐｓの映像フォーマットに従った２種類の仮想視点映像を、同時並行的に生成することが可能となる。

【0048】

このように、複数の仮想視点コントローラから異なる映像フォーマットに従った仮想視点情報が別個に入力されるケースでも、レンダラ２０２の単位処理能力に応じてレンダリングを割り当てることで、所望の仮想視点映像を得ることが可能となる。なお、上述の変形例では複数の仮想視点コントローラ１０２が同時に起動している前提で説明を行ったが、これに限らない。例えば、既存の画像生成システムが稼働中に新規に仮想視点コントローラ１０２が追加されるということも考え得る。この場合も、いずれかのレンダラ２０２が空いており新規割り当てが可能であれば、他の仮想視点コントローラ１０２が動作中でも、当該新規の仮想視点コントローラ１０２から入力された仮想視点情報に従った仮想視点映像の生成を開始してもよい。

【0049】

以上のとおり本実施形態によれば、高解像度の映像フォーマットに準拠した仮想視点情報を、低解像度の映像フォーマットに準拠した仮想視点情報に分割して複数のレンダラで分担してレンダリングを行う。これにより、様々な解像度の映像フォーマットに則った仮想視点映像を、短期間・低コストで効率的に生成することが可能となる。

【0050】

［実施形態２］
実施形態１では、各レンダラ２０２の性能のうち画像解像度に着目し、画像解像度に応じて複数のレンダラ２０２でレンダリングを分担する態様を説明した。次に、各レンダラ２０２の性能のうちフレームレートに着目し、フレームレートに応じて複数のレンダラ２０２でレンダリングを分担する態様を、実施形態２として説明する。基本的なシステム構成や仮想視点映像生成の大まかな流れは実施形態１と共通であるため、以下では実施形態１との差異点を中心に説明を行うものとする。

【0051】

図１２は、本実施形態における仮想視点情報の変換を模式的に示す図である。図１２において、フレーム群１２００は、フレームレートが１２０ｆｐｓの場合のフレーム間隔を示している。いま、仮想視点コントローラ１０２から入力されるフォーマット情報には、解像度が２Ｋ画質であって、フレームレートが１２０ｆｐｓであることが規定されているものとする。

【0052】

図２の機能ブロック図で示すレンダラモジュール２０１の各レンダラ２０２のレンダリング能力は、前述のとおり、解像度が２Ｋ画質、フレームレートが６０ｆｐｓである。そこで、２個のレンダラ２０でレンダリングを分担することで、１２０ｆｐｓのフレームレートに対応した仮想視点映像を生成する。つまり、前述の図４のフローのＳ４０４において、各レンダラ２０２が対応可能な６０ｆｐｓの単位で、仮想視点コントローラ１０２から入力される１２０ｆｐｓを前提とする仮想視点情報を２つに分割し、レンダリングを分担する。図１２の例では、入力フレーム群１２００のうち偶数番目のフレーム群１２０１のレンダリングを第１レンダラ２０２aが行い、残りの奇数番目のフレーム群１２０２を第２レンダラ２０２ｂが行うように、入力仮想視点情報が分割されることになる。

【0053】

図１３は、本実施形態における仮想視点情報の変換を説明する図である。図１３において、「１２０ｆｐｓ」のテーブルが仮想視点コントローラ１０２から入力される変換前の１秒分の仮想視点情報を示し、「第１レンダラ用６０ｆｐｓ」のテーブル及び「第２レンダラ用６０ｆｐｓ」のテーブル」が変換後の仮想視点情報を示している。図１３に示すように、フレーム番号が偶数番目のフレーム群１２０１を第１レンダラ２０２ａでレンダリングし、フレーム番号が奇数番目のフレーム群１２０２を第２レンダラ２０２ｂでレンダリングするよう、１フレーム分ずつ順に振り分けられている。これにより、それぞれのレンダラ２０２から６０ｆｐｓ分のレンダリング画像を得ることができる。そして、双方のレンダリング画像を１フレーム毎に順に並べる処理をフォーマット適合部２１２にて行うことで、１２０ｆｐｓの仮想視点映像を生成することができる。

【0054】

＜変形例＞
なお、本実施形態では、各レンダラ２０２の性能を超えるフレームレートに準拠した仮想視点情報が入力された場合を想定し、レンダラ２０２の処理能力単位でレンダリングの対象フレームを分担する態様を説明したが、性能に満たないフレームレートが要求される場合もある。例えば、欧州などで採用されている５０ｆｐｓや映画などで採用されている２４ｆｐｓといったフレームレートの仮想視点映像を生成する場合である。このように各レンダラ２０２の単位処理能力に満たないフレームレートが要求される場合は、入力仮想視点情報に従ったレンダリングを、任意のレンダラ２０２において所定数のフレームを間引いて行えばよい。

【0055】

以上のとおり本実施形態によれば、各レンダラの性能を超えるフレームレートの仮想視点映像を前提とした仮想視点情報を、レンダラが処理可能な単位のフレームレートに分離してレンダリングする。これにより、様々なフレームレートの映像フォーマットに則った仮想視点映像を短期間・低コストで効率的に生成することが可能となる。

【0056】

［実施形態３］
次に、実施形態１で説明した、画像解像度に基づく仮想視点情報の変換の際に、画角に余剰領域を持たせる態様を、実施形態３として説明する。なお、以下の説明では、画像生成システムの基本的な構成は実施形態１と同じであるものとする。ただし、本実施形態の各レンダラ２０２は、２Ｋ画質よりもピクセル数が縦横共に多い２０４８画素×１２００画素の解像度に対応したレンダリング能力を有するものとする。そして、実施形態１の場合と同様、解像度が８Ｋ画質であることを示すフォーマット情報と、８Ｋ画質を前提とした仮想視点情報が仮想視点コントローラ１０２から入力されるものとして説明を行うこととする。

【0057】

図１４の（ａ）及び（ｂ）は、実施形態１の図７の（ａ）及び（ｂ）にそれぞれ対応する図である。図１４において、（ａ）は仮想視点コントローラ１０２から入力される仮想視点情報を説明する図であり、８Ｋ画質の描画領域１４０１に対応する画角情報１４０２が示されている。図１４（ｂ）はレンダラモジュール２０１を構成する各レンダラ２０２の性能に応じて変換した後の仮想視点情報を説明する図であり、変換後の単位描画領域１４０３に対応する画角情報１４０４が示されている。実施形態１の場合と同様、画角情報が変化しているが、図７（ｂ）の画角情報７０４と比較すると、図１４（ｂ）の画角情報１４０４の方が上下左右それぞれ２０ピクセルずつ増加しているのが分かる。なお、ここでは増加分を２０ピクセルとしているが、レンダラ２０２の解像度性能の範囲内であれば、余剰領域のピクセル数を増加させて仮想視点情報の変換を行えばよい。

【0058】

図１５は、図１４（ｂ）で示した変換後の仮想視点情報に従って生成されたレンダリング結果（１６個のレンダリング画像）を、指定フォーマットである８Ｋ画質に適合させる際の処理を説明する図である。図１５において、破線で示す矩形が第１レンダラ２０２ａ～第１６レンダラ２０２ｐそれぞれの担当描画領域を示している。図１５に示すように、各レンダラ２０２ａ～２０２ｐで生成された１９６０画素×１１２０画素の画像を、余剰領域（ここでは上下左右２０ピクセル）を除いて、すなわち、余剰領域分だけ重複させて結合することで、最終的に８Ｋ画質を得ることができる。

【0059】

以上のとおり本実施形態によれば、余剰領域分を重複させた上で分担してレンダリングを行うので、各レンダラが担当する描画領域間の境界における不連続性を抑えた、自然な結合画像を得ることが可能となる。

【0060】

［実施形態４］
続いて、仮想視点コントローラ１０２から入力された仮想視点情報を画像解像度に基づき分割する際に、各レンダラ２０２に等分しない態様を実施形態４として説明する。なお、以下の説明では、画像生成システムの基本的な構成は実施形態１と同じであるものとする。すなわち、各レンダラ２０２がレンダリング可能な画像解像度は、実施形態１と同様に１９２０画素×１０８０画素とする。そして、本実施形態では、仮想視点コントローラ１０２からは、解像度が４０９６画素×２１６０画素（すなわち、４Ｋ画質よりも縦横共にピクセル数が多い）の映像フォーマットに対応した仮想視点情報が入力されるものとする。

【0061】

図１６の（ａ）及び（ｂ）は、実施形態１の図７の（ａ）及び（ｂ）にそれぞれ対応する図である。図１６において、（ａ）は仮想視点コントローラ１０２から入力される仮想視点情報を説明する図であり、画像解像度が４０９６画素×２１６０画素の描画領域１６０１に対応する画角情報１６０２が示されている。図１６（ｂ）はレンダラモジュール２０１を構成する各レンダラ２０２の性能に応じて変換した後の仮想視点情報を説明する図である。図１６（ｂ）には、変換後の単位描画領域１６０３（解像度：１９２０画素×１０８０画素）に対応する画角情報１６０５と、変換後の単位描画領域１６０３（解像度：１２８画素×１０８０画素）に対応する画角情報１６０６が示されている。入力される仮想視点情報が、４０９６画素×２１６０画素の映像フォーマットを前提とする場合、幅が１９２０画素で割り切れない。そのため、単位描画領域に満たない残余領域（ここでは、１２８画素×１０８０画素）の画角情報を含む仮想視点情報を一部のレンダラ２０２に割り当てることになる。詳細には、まず、（ｗ，ｈ）＝（４０９６，２１６０）の画角情報を含む仮想視点情報を、（ｗ，ｈ）＝（１９２０，１０８０）の画角情報を含む４つの仮想視点情報と、（ｗ，ｈ）＝（１２８，１０８０）の画角情報を含む２つの仮想視点情報に分割する。そして、得られた計６個の仮想視点情報を、６個のレンダラ２０２に割り当て、各レンダラ２０２にて割り当てられた担当分をレンダリングする。なお、ここで述べた分割の割合は一例であって、上記と異なる割合に分割してもよい。

【0062】

以上のとおり、各レンダラの処理能力単位で仮想視点情報を等分に分割・変換できない場合であっても、上述のように割合を変えて分割・変換することで、複数のレンダラを協働させて仮想視点映像を生成することができる。

【0063】

［その他の実施形態］
実施形態１～４では、投影方式が一般的な２Ｄ方式であることを念頭に、画像解像度やフレームレートが異なる仮想視点映像を生成する場合について説明を行ったが、これらに限定されない。例えば、２Ｄ方式を前提とした仮想視点情報を、２Ｄ方式以外の投影方式、例えば、視差のある２枚の画像を用いて立体視を実現する３Ｄ方式に対応した仮想視点情報に変換して、３Ｄの仮想視点映像を生成するようなケースにも適用可能である。この場合は、実施形態２で説明した手法を応用すればよい。すなわち、視差の異なる２種類の映像それぞれについてのレンダリングを２個のレンダラ２０２に分担させるように仮想視点情報を変換することで、立体視に必要な２種類の仮想視点映像を得ることができる。同様に、最大３６０度の範囲で視線方向を変更可能なパノラマ方式や、パノラマ方式で得た２枚の画像を用いて立体視を実現する３Ｄパノラマ方式で出力したい場合にも応用可能である。

【0064】

また、実施形態１～４では、レンダラモジュール２０１が有する１６個のレンダラがすべて同一性能を有しているものとして説明したが、レンダラモジュール２０１の構成はこれに限定されない。例えば、４Ｋ画質の画像解像度を持つレンダラと２Ｋ画質の解像度を持つレンダラの組み合わせによって、レンダラモジュール２０１が構成されていてもよい。レンダラモジュール２０１に含まれる複数のレンダラが協働してレンダリングを実行し、そのレンダリング結果を結合等することで、仮想視点コントローラ１０２から入力される所定の映像フォーマットに従った仮想視点映像が生成できればよい。

【0065】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0066】

１００ 画像生成システム
２０１ レンダラモジュール
２０２ａ～２０２ｐ レンダラ
２１１ 仮想視点変換部
２１２ フォーマット適合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】