特許 7475831 形状データ生成装置、形状データ生成方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】形状データ生成装置、形状データ生成方法、及び、プログラム

(51)【国際特許分類】

   G06T 17/10 20060101AFI20240422BHJP

   G06T 7/564 20170101ALI20240422BHJP

   H04N 5/262 20060101ALI20240422BHJP

【ＦＩ】

G06T17/10

G06T7/564

H04N5/262

【請求項の数】 9

(21)【出願番号】P 2019172190

(22)【出願日】2019-09-20

(65)【公開番号】P2021051374

(43)【公開日】2021-04-01

【審査請求日】2022-09-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】▲高▼間 康文

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１８－０６７１０６（ＪＰ，Ａ）

【文献】特開２０１８－１９４９８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／１０

Ｇ０６Ｔ ７／５６４

Ｈ０４Ｎ ５／２６２

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置のうち一以上の撮像装置から取得される一以上の撮像画像と、前記複数の撮像装置により撮像される撮像空間における複数の部分空間に含まれる第１の部分空間に対応する第１のパラメータとに基づいて前記第１の部分空間に含まれる被写体の形状データを生成する第１の生成手段と、
前記複数の撮像装置のうち一以上の撮像装置から取得される一以上の撮像画像と、前記複数の部分空間に含まれる第２の部分空間に対応する第２のパラメータであって、前記第１のパラメータとは異なる第２のパラメータとに基づいて前記第２の部分空間に含まれる被写体の形状データを生成する第２の生成手段と、を有し、
前記第１のパラメータは、前記一以上の撮像画像に基づく前記第１の部分空間に含まれる被写体の形状データの生成において、前記被写体の形状データを構成する要素について、被写体を構成しないと判定される数に関する閾値を示すパラメータを含み、
前記第２のパラメータは、前記一以上の撮像画像に基づく前記第２の部分空間に含まれる被写体の形状データの生成において、前記被写体の形状データを構成する要素について、被写体を構成しないと判定される数に関する閾値を示すパラメータを含む
ことを特徴とする形状データ生成装置。

【請求項2】

前記第１の生成手段及び前記第２の生成手段は、前記一以上の撮像画像に基づいて生成される画像データであって、前記一以上の撮像画像における被写体の領域を示す画像データに基づいて、当該被写体の形状データを生成することを特徴とする請求項１に記載の形状データ生成装置。

【請求項3】

前記第１の部分空間を撮像する一以上の撮像装置は、前記第２の部分空間を撮像する一以上の撮像装置と画角の異なる撮像装置を含むことを特徴とする請求項１又は２に記載の形状データ生成装置。

【請求項4】

前記撮像空間は、境界を示す情報に基づいて、前記第１の部分空間と前記第２の部分空間とを含む複数の部分空間に分割されることを特徴とする請求項１乃至３のいずれか１項に記載の形状データ生成装置。

【請求項5】

前記境界を示す情報は、前記撮像空間における高さを示す情報を含むことを特徴とする請求項４に記載の形状データ生成装置。

【請求項6】

前記第１の部分空間に含まれ得る被写体、及び、前記第２の部分空間に含まれ得る被写体は、それぞれ、大きさ及び動き特性の少なくともいずれかが異なることを特徴とする請求項１乃至５のいずれか１項に記載の形状データ生成装置。

【請求項7】

前記第１の部分空間に含まれる被写体の数が、前記第２の部分空間に含まれる被写体の数と異なることを特徴とする請求項１乃至６のいずれか１項に記載の形状データ生成装置。

【請求項8】

複数の撮像装置のうち一以上の撮像装置から取得される一以上の撮像画像と、前記複数の撮像装置により撮像される撮像空間における複数の部分空間に含まれる第１の部分空間に対応する第１のパラメータとに基づいて前記第１の部分空間に含まれる被写体の形状データを生成する第１の生成工程と、
前記複数の撮像装置のうち一以上の撮像装置から取得される一以上の撮像画像と、前記複数の部分空間に含まれる第２の部分空間に対応する第２のパラメータであって、前記第１のパラメータとは異なる第２のパラメータとに基づいて前記第２の部分空間に含まれる被写体の形状データを生成する第２の生成工程と、を有し、
前記第１のパラメータは、前記一以上の撮像画像に基づく前記第１の部分空間に含まれる被写体の形状データの生成において、前記被写体の形状データを構成する要素について、被写体を構成しないと判定される数に関する閾値を示すパラメータを含み、
前記第２のパラメータは、前記一以上の撮像画像に基づく前記第２の部分空間に含まれる被写体の形状データの生成において、前記被写体の形状データを構成する要素について、被写体を構成しないと判定される数に関する閾値を示すパラメータを含む
ことを特徴とする形状データ生成方法。

【請求項9】

コンピュータを、請求項１乃至７のいずれか１項に記載の形状データ生成装置として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点画像を生成する技術に関するものである。

【背景技術】

【0002】

近年、複数の撮像装置を異なる位置に設置して複数の方向から同期撮影し、当該撮像装置から得られた複数の画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。上記のような仮想視点画像を生成する技術によれば、スポーツの試合、コンサート、及び演劇等といった様々なイベントについて、指定した視点から見た画像を生成することができる。

【0003】

特許文献１には、異なる位置に設置された複数の撮像装置による撮像に基づいて得られた被写体を示す画像（以下、前景画像と呼ぶ）に基づいて被写体の形状データを生成し、その形状データを用いて、仮想視点画像を生成する方法について記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－４５９２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数の撮像装置により撮像される撮像空間に、大きさや動き特性等が異なる被写体が含まれる場合がある。例えば、ラグビーの試合における被写体は選手とボールであるが、ボールは、選手である人物に比べて小さく、また移動する速さが速い。そして、撮像空間において地上近くの第１の空間では、被写体としては選手とボールが含まれるが、上空の第２の空間では、選手は含まれずボールのみが存在しうる。この第１及び第２の部分空間に対し、前景画像の生成や形状データの生成などの処理を同様に行うと、前景画像の生成精度にばらつきが生じたり、形状データが精度よく生成されないなど、形状データの生成に係る処理が適切に行えない虞があった。

【0006】

本発明は上記の課題に鑑みてなされたものである。その目的は、撮像空間全体において、形状データの生成に係る処理を適切に行うことである。

【課題を解決するための手段】

【0007】

本発明に係る形状データ生成装置は、複数の撮像装置のうち一以上の撮像装置から取得される一以上の撮像画像と、前記複数の撮像装置により撮像される撮像空間における複数の部分空間に含まれる第１の部分空間に対応する第１のパラメータとに基づいて前記第１の部分空間に含まれる被写体の形状データを生成する第１の生成手段と、前記複数の撮像装置のうち一以上の撮像装置から取得される一以上の撮像画像と、前記複数の部分空間に含まれる第２の部分空間に対応する第２のパラメータであって、前記第１のパラメータとは異なる第２のパラメータとに基づいて前記第２の部分空間に含まれる被写体の形状データを生成する第２の生成手段とを有し、前記第１のパラメータは、前記一以上の撮像画像に基づく前記第１の部分空間に含まれる被写体の形状データの生成において、前記被写体の形状データを構成する要素について、被写体を構成しないと判定される数に関する閾値を示すパラメータを含み、前記第２のパラメータは、前記一以上の撮像画像に基づく前記第２の部分空間に含まれる被写体の形状データの生成において、前記被写体の形状データを構成する要素について、被写体を構成しないと判定される数に関する閾値を示すパラメータを含むことを特徴とする。

【発明の効果】

【0008】

本発明によれば、撮像空間全体において、形状データの生成に係る処理を適切に行うことができる。

【図面の簡単な説明】

【0009】

【図1】複数の撮像装置２が配置される一例を示す図である。

【図2】形状推定装置１のハードウェア構成を説明するための図である。

【図3】形状推定装置１を含む画像処理システム１０００の構成を説明するための図である。

【図4】撮像システム２の構成の一例を説明するための図である。

【図5】複数の部分空間に分割された撮像空間の一例を模式的に表した図である。

【図6】形状推定装置１が行う処理の一例を説明するためのフローチャートである。

【図7】形状推定装置７を含む画像処理システム１１００の構成を説明するための図である。

【図8】第１撮像システム８及び第２撮像システム９の構成の一例を説明するための図である。

【図9】形状推定装置７が行う処理の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の形態の一例を示すものであり、本発明をそれらのみに限定するものではない。

【0011】

（第１の実施形態）
本実施形態は、複数の撮像装置が撮像する撮像空間における被写体の形状データを生成する形状推定装置に関する。初めに、本実施形態における課題について説明する。複数の撮像装置により撮像される撮像空間における被写体の形状データを生成するとき、大きさや動き特性が異なる被写体が撮像空間に含まれている場合に形状データの生成に係る処理が適切に行われない可能性がある。例えば、ラグビーの試合が撮像される場合、撮像空間には選手及びボールが含まれる。ボールは、選手と比べて大きさが小さく移動する速さが速いため、前景画像が適切に生成されない場合がある。このため、ボールと選手とで同様に形状データの生成処理を行うと、形状データの生成も適切に行われないという可能性があった。それに対して、被写体の種類（ここでは、選手とボール）に応じて形状データの生成に際して異なる処理を行うことが考えられる。しかしながら、形状データの生成に係る処理を行う前に、被写体の種類を特定することは困難であった。

【0012】

ところで、ラグビーの例においては、フィールドの地上付近の空間には、被写体として選手とボールとが混在しうるが、例えば地上から１０ｍ上方の空間には選手が含まれず、被写体としてボールのみが含まれ得る。つまり、撮像空間において特定の被写体のみが存在しうる部分空間が存在する場合がある。本実施形態における形状推定装置は、上記の点に着目して、部分空間ごとに形状データの生成に係る処理を異ならせて行う構成にした。したがって、例えばラグビーの試合における地上付近の部分空間と１０ｍ上方の部分空間とで形状データの生成に係る処理を異ならせることにより、撮像空間全体において被写体の形状データの生成に係る処理が適切に行われるようになる。

【0013】

上記の例によらず、以下のような場合でも本実施形態を適用できる。例えば、撮像空間を画角の異なる撮像装置を含む複数の撮像装置で撮像する場合がある。この場合に、例えば重要なシーン（例えば、サッカーにおけるゴールシーン等）が発生しうる空間を望遠カメラ及び広角カメラで撮像し、その他の空間全体を広角カメラのみで撮像する形態が想定される。また、例えば、選手を高解像に撮像するため地上付近の空間を望遠カメラで撮像し、ボールのみが含まれ得るフィールド上空の空間は広角カメラのみで撮像する形態も想定される。広角カメラで被写体が撮像されると、同一の被写体が望遠カメラで撮像される場合と比べて、撮像画像における被写体の領域が小さくなる。これにより、形状データの生成に係る処理が適切に行われない場合がある。このような場合も、本実施形態における形状推定装置を用いれば、撮像空間全体において被写体の形状データの生成に係る処理が適切に行われるようになる。

【0014】

以下では、本実施形態における形状推定装置について説明する。形状推定装置により生成された形状データは、仮想視点画像の生成に使用される。ここで、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、仮想視点の指定は、ユーザ操作により行われてもよいし、画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が静止画である場合を中心に説明するが、仮想視点画像は動画であってもよい。

【0015】

また、仮想視点画像を生成するために用いられる複数の撮像装置は、例えば、図１に示す撮像装置２０のように、撮像空間を囲むように配置されうる。複数の撮像装置により撮像される対象としては、スポーツの試合、コンサート、及び演劇等のイベントが想定される。また、撮像空間は上記のイベントが行われる空間を指し、例えばラグビーの場合、ラグビーが行われる競技場における地面と、任意の高さとからなる三次元空間等である。また、被写体は、上記の撮像空間におけるオブジェクトを指し、例えば、フィールド内の選手、及び球技におけるボール等である。撮像装置は、それぞれ異なる位置に設置され、異なる撮像方向から同期して撮像を行う。なお、撮像装置は撮像空間の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像空間の一部の方向にのみ設置されていてもよい。また、撮像装置の数は限定されず、例えば撮像空間をサッカーの競技場とする場合、競技場の周囲に数十～数百台程度の撮像装置が設置されてもよい。

【0016】

なお、本実施形態における撮像システムは、望遠カメラ及び広角カメラを含む複数の撮像装置により構成される。例えば、ラグビーの試合における選手については望遠カメラを用いて撮像することにより、高解像な撮像画像を得ることができ、生成される仮想視点画像の解像度が向上する。一方、ボールは移動範囲が広いため、望遠カメラで撮像するためには多くの台数を設置する必要がある。そこで、ボールについては画角の広い広角カメラを用いて撮像することにより、設置する撮像装置の台数を削減することができる。また、例えばラグビーの試合においては、選手がフィールドの地上付近に分布し、ボールがフィールドの上方に含まれ得ることが想定される。したがって、撮像空間において選手がプレーする地上付近における部分空間と、例えば地上から１０ｍ上方の、ボールが到達する部分空間とを、それぞれ画角の異なる撮像装置で撮像することも可能である。この他にも、例えば、サッカーにおけるゴール前及びペナルティーエリアのように、選手が集まりやすく重要なシーン（例えば、ゴールシーン等）が発生しやすい空間を望遠カメラで撮像し、その他の空間を広角カメラで撮像する構成であってもよい。以上のように、望遠カメラ及び広角カメラのように画角の異なる撮像装置を含む撮像システムによれば、撮像装置の設置台数を削減しつつ高解像度な仮想視点画像の生成が可能になるという効果がある。なお、撮像システムの構成はこれに限定されない。例えば、同じ画角の撮像装置によって構成されてもよいし、上記とは異なる種類の撮像装置を含むような構成であってもよい。

【0017】

図２は、本実施形態における形状推定装置１のハードウェア構成を説明するための図である。形状推定装置１は、ＣＰＵ５１１、ＲＯＭ５１２、ＲＡＭ５１３、補助記憶装置５１４、通信Ｉ／Ｆ５１５、及びバス５１６を有する。ＣＰＵ５１１は、ＲＯＭ５１２やＲＡＭ５１３に格納されているコンピュータプログラムやデータを用いて形状推定装置１の全体を制御することで、形状推定装置１の各機能を実現する。なお、形状推定装置１がＣＰＵ５１１とは異なる一又は複数の専用のハードウェアを有し、ＣＰＵ５１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ５１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ５１３は、補助記憶装置５１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ５１５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置５１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0018】

通信Ｉ／Ｆ５１５は、形状推定装置１の外部の装置との通信に用いられる。例えば、形状推定装置１が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ５１５に接続される。形状推定装置１が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ５１５はアンテナを備える。本実施形態における形状推定装置１は、通信Ｉ／Ｆ５１５を介して撮像システム、及び後述する画像生成装置等と通信する。バス５１６は、形状推定装置１の各部をつないで情報を伝達する。なお、本実施形態では補助記憶装置５１４が形状推定装置１の内部に存在するものとするが、形状推定装置１の外部に接続される構成であってもよい。

【0019】

図３は、本実施形態における形状推定装置１を含む画像処理システム１０００の構成を説明するための図である。図３を用いて、画像処理システム１０００に含まれるシステム及び装置について説明する。画像処理システム１０００は、形状推定装置１、撮像システム２、画像生成装置３、及び、表示装置４を含む。形状推定装置１は、撮像システム２により撮像される撮像空間における被写体の形状データを生成し、生成した形状データを画像生成装置３に送信する。形状推定装置１の詳細な説明については後述する。

【0020】

撮像システム２は、上述したように複数の撮像装置により構成されるシステムである。図４は、本実施形態における撮像システム２の構成の一例を説明するための図である。図４は、７台の撮像装置２０ａ～２０ｇにより構成される撮像システム２０を示す。なお、撮像システム２に含まれる撮像装置の台数はこれに限定されない。本実施形態における撮像システム２０は、前景背景分離部２１ａ～２１ｇを有し、撮像装置２０ａ～２０ｇは、それぞれ、前景背景分離部２１ａ～２１ｇと接続される。以降の説明においては、特に区別をしない場合、撮像装置２０ａ～２０ｇ及び前景背景分離部２１ａ～２１ｇを、単に撮像装置２０及び分離部２１とよぶ。

【0021】

複数の撮像装置２０は、それぞれ、撮像装置２０を識別するための識別番号及び主に撮像する被写体を示す被写体情報を有する。本実施形態における被写体情報は、「選手」あるいは「ボール」等、人物かボールなどの人物以外の移動物体かを示す被写体の種別を表す情報であるものとする。なお、人物を示す被写体情報の場合、その被写体情報が「選手Ａ」及び「選手Ｂ」のようにより詳細な情報を有していてもよい。識別番号及び被写体情報は、あらかじめ設定される。なお、本実施形態においては、一つの撮像装置２０に対し一つの被写体情報が付されるものとする。分離部２１は、撮像装置２０が撮像空間を撮像することにより得られた撮像画像から、前景に対応する領域と背景に対応する領域とを分離し、前景画像及び背景画像を生成する。本実施形態における前景とは、被写体に対応するオブジェクトのうち、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。動的オブジェクトは、例えば、上述した選手及びボールの他に、コンサート及びエンタテイメントにおける歌手、演奏者、パフォーマー及び司会者等である。前景画像は、撮像画像において、上記の動的オブジェクトに対応する領域を抽出することにより得られる画像である。

【0022】

また、背景とは、被写体に対応するオブジェクトのうち、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、及びフィールド等である。すなわち、背景は少なくとも前景に対応するオブジェクトとは異なる領域である。背景画像は、撮像画像から前景に対応するオブジェクトを取り除くことにより得られる。なお、撮像装置が撮像する被写体としては、上記の前景及び背景の他に、別の物体が含まれていてもよい。

【0023】

分離部２１は、撮像装置２０が有する被写体情報に応じて、前景を抽出し前景画像を生成する分離処理を行う。例えば、撮像装置２０が有する被写体情報が「選手」であった場合、分離部２１は分離処理として背景差分法を使用する。背景差分法は、撮像画像と背景画像との差分を計算することにより前景を抽出する方法である。また、背景画像を一定時間ごとに更新することにより、明るさの変動等が生じる場合も頑健に前景が抽出される。また、例えば、撮像装置２０が有する被写体情報が「ボール」であった場合、分離部２１は分離処理としてフレーム間差分法を使用する。フレーム間差分法は、連続して撮像された撮像フレームを使用することにより前景を抽出する方法である。ボールのように、物理法則に従って高速かつ広範囲に動く被写体の場合は、前景を抽出する対象の撮像画像と、連続して撮像された撮像フレームにおける数フレーム前のフレームとの差分を計算することにより、被写体が頑健に抽出される。上記のように、分離部２１は、撮像装置２０が主に撮像する被写体に応じて異なる分離処理を使用することにより、各撮像装置２０が撮像する被写体の大きさ及び動き特性の少なくともいずれかが異なる場合でも、前景画像の精度を向上させることができる。なお、撮像装置２０それぞれに対応する各分離部２１が被写体情報を有する構成であってもよく、この場合分離部２１は、撮像装置２０から取得した撮像画像に対し、各分離部２１が有する被写体情報に対応する手法を用いて分離処理を行う。

【0024】

また、分離部２１は、生成した前景画像に対しノイズ除去処理を行う。ノイズ除去処理の一例としては、ノイズ領域をフィルタリングにより削減する方法がある。フィルタリングの際の処理パラメータについても、撮像装置２０が有する被写体情報に応じて異なる値が設定される。上記の処理パラメータは、前景画像における特定の領域がノイズであるか否かを判定するために使用するパラメータであり、例えば画素面積等によって表される。ここでいう画素面積とは、撮像画像における、被写体に対応する領域の面積を画素数により表したものである。例えば、被写体情報が「選手」である場合、選手の標準的な体型等に基づいて処理パラメータが設定される。これにより、選手の大きさに対応する画素面積と極端に異なる領域はノイズ領域であると判定されるようになる。また、例えば、被写体情報が「ボール」である場合、サッカーボールあるいはラグビーボールの大きさ及び形状等に基づいて処理パラメータが設定される。なお、ノイズ除去処理に使用される処理パラメータは、撮像装置２０の画角に応じて決定されてもよい。例えば広角カメラにより被写体を撮像する場合、撮像画像における被写体に対応する画素面積は、望遠カメラで撮像される場合よりも小さくなることが想定される。したがって、広角カメラにより被写体が撮像される場合は、被写体の画素面積よりも極端に大きい領域をノイズ領域として判定するように処理パラメータを決定する。反対に、望遠カメラで被写体が撮像される場合は、被写体の画素面積よりも極端に小さい領域をノイズ領域として判定するように処理パラメータを決定する。これにより、撮像装置２０の画角が異なる場合でも、被写体領域を残しつつノイズを除去することができる。また、分離部２１は、複数の処理パラメータを有し、撮像装置２０が有する被写体情報に応じて複数の処理パラメータの中から使用する処理パラメータを選択することも可能である。

【0025】

分離部２１は、生成した前景画像を形状推定装置１に送信する。なお、分離部２１が行う分離処理及びノイズ除去処理の種類については上記に限定されず、他の処理が行われてもよい。また、本実施形態においては分離部２１が撮像システム２に含まれる構成であるが、分離部２１が各撮像装置２０又は形状推定装置１に含まれる、若しくは他の装置として外部に接続される構成であってもよい。

【0026】

図３に戻り、画像生成装置３は、形状推定装置１が生成した形状データを用いて、仮想視点画像を生成する。仮想視点画像の生成方法については後述する。画像生成装置３は、生成した仮想視点画像を表示装置４に送信する。表示装置４は、例えば液晶ディスプレイやＬＥＤ等で構成され、画像生成装置３から送信された仮想視点画像を表示する。表示装置４は、仮想視点画像の他に、ユーザが仮想視点画像を生成するために必要な入力操作等を行うためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等も表示する。

【0027】

次に、図３を用いて形状推定装置１の機能構成について説明する。形状推定装置１は、被写体情報取得部１００、空間設定部１１０、撮像情報取得部１２０、及び、形状推定部１３０を有する。以下、各処理部について説明する。

【0028】

被写体情報取得部１００は、撮像システム２から、複数の撮像装置２０それぞれが有する識別番号と被写体情報とを取得する。なお、被写体情報取得部１００は、外部の記憶装置等から撮像装置２０の識別番号と被写体情報とが紐づけられたファイルを取得する構成であってもよい。

【0029】

空間設定部１１０は、撮像システム２により撮像される撮像空間を、複数の部分空間に分割し、各部分空間に被写体情報を対応付ける設定を行う。ここでいう撮像空間を分割するとは、空間を仮想的に複数の部分空間に分割することを意味する。図５は、複数の部分空間に分割された撮像空間の一例を模式的に表した図である。本実施形態における形状推定装置１は、破線により示される撮像空間３００における被写体の形状データを生成する。なお、撮像空間と形状推定が行われる空間（形状推定空間）は異なる空間であるが、本実施形態においては、撮像空間と形状推定空間とを同じものとして説明することとする。

【0030】

撮像空間３００は三次元空間であり、撮像システム２により取得される撮像画像上の座標と対応づけて設定される。図５（ａ）に示す例においては、スポーツイベントが行われる競技場等の地面をｘ軸とｙ軸で表されるｘｙ面とし、また地面３０１と垂直な方向３０２にｚ軸が定義される。地面３０１はｚ＝０とする。また、撮像空間３００を部分空間３２０及び部分空間３３０に分割するための境界３１０が設定される。境界３１０は、例えば「ｚ＝２ｍ」のように高さを表す三次元座標を用いて表される。撮像空間３００及び境界３１０は、空間設定部１１０が補助記憶装置５１４又は外部の記憶装置等から三次元座標の情報を取得することにより設定される。また、撮像空間を表す座標の原点及び座標軸は、任意の位置及び方向に設定可能である。

【0031】

図５（ｂ）及び図５（ｃ）は、撮像空間及び境界に基づいて決定される部分空間の他の例を示す図である。図５（ｂ）における撮像空間３００は、境界４１０により、直方体状の部分空間４３０及びその他の部分空間４２０に分割される。また、図５（ｃ）は、３つの部分空間に分割される例である。図５（ｃ）における撮像空間３００は、境界４１１により、直方体状の部分空間４３１及び部分空間４３２、並びにその他の部分空間４２１に分割される。このように、空間設定部１１０は、任意の境界により、撮像空間を二以上の部分空間に分割する。

【0032】

空間設定部１１０は、撮像空間３００及び境界３１０に基づいて決定される複数の部分空間のそれぞれに対し、被写体情報取得部１００において取得された被写体情報を対応付ける。各部分空間には、それぞれの部分空間に含まれる割合が高い被写体を示す被写体情報が対応付けられる。例えば、ラグビーの試合が撮像される撮像空間に対し、図５（ａ）に示す部分空間が設定された場合について説明する。このとき、地面３０１から境界３１０までの部分空間３３０には、被写体として選手とボールとの両方が含まれ得る。しかしながら、地上付近では含まれる被写体として、ボールよりも選手の割合が高いことが想定されるため、被写体情報として「選手」が対応付けられる。一方、境界３１０より上方は、選手はほとんど含まれず、高く上がったボールが頻繁に含まれ得る。したがって、部分空間３２０には被写体情報として「ボール」が対応付けられる。

【0033】

図５（ｂ）及び図５（ｃ）に示すような部分空間が設定された場合にも、上記と同様の考え方により被写体情報が対応付けられる。図５（ｂ）のような部分空間には、例えば野球における「内野手」及び「外野手」を示す被写体情報が対応付けられる。また、図５（ｃ）のような部分空間には、例えばバレーボールのように自陣でプレーする競技において、チームごとに選手を分類した「Ａチーム選手」、「Ｂチーム選手」及び「ボール」を示す被写体情報が対応付けられる。空間設定部１１０は、各部分空間を示す情報と、各部分空間に対応付けられた被写体情報と紐づけられた撮像装置の識別番号とを形状推定部１３０に送信する。

【0034】

また、空間設定部１１０は、各部分空間に対応付けられた被写体情報に応じて、後述する形状推定部１３０が形状推定処理を行う際に使用する処理パラメータを設定する。空間設定部１１０は、例えば、撮像空間３００に含まれる第１の部分空間である部分空間３２０に第１の処理パラメータを設定し、且つ第２の部分空間である部分空間３３０に、第１の処理パラメータとは異なる第１の処理パラメータを設定する。３つ以上の部分空間を有する撮像空間（例えば、図５（ｃ）に示す撮像空間３００）に対しても、同様に処理パラメータを設定する。したがって、異なる処理パラメータが設定される部分空間の組み合わせが少なくとも一つ存在しうる。なお、異なる処理パラメータが設定される第１及び第２の部分空間を含む複数の部分空間において、第１及び第２の部分空間以外の部分空間に対して、第１又は第２の処理パラメータが設定されてもよい。空間設定部１１０は、設定した処理パラメータについても形状推定部１３０に送信する。

【0035】

なお、本実施形態においては、部分空間に含まれる割合の高い被写体ごとに部分空間が設定される例について説明したが、重要なシーンの発生のしやすさに応じて部分空間が設定されてもよい。例えば、サッカーにおけるゴール前は、ゴールシーン等の重要なシーンが発生しやすいことが想定される。この場合、空間設定部１１０は、ゴール前を含む部分空間と、それ以外の領域を含む部分空間とを設定し、それぞれに「重要度：高」及び「重要度：低」のような情報を対応付ける。また、撮像空間において被写体の数が多い空間と少ない空間とに応じて、部分空間が設定されてもよい。

【0036】

撮像情報取得部１２０は、撮像システム２において生成された前景画像を取得する。また、撮像情報取得部１２０は、撮像システム２から、撮像システム２に含まれる各撮像装置２０の撮像パラメータを取得する。撮像パラメータは、撮像装置２０が設置される位置及び撮像装置２０の姿勢を示す外部パラメータと、撮像装置２０の焦点距離、光学中心、及びレンズ歪み等を示す内部パラメータとを含むパラメータである。なお、撮像情報取得部１２０は、撮像システム２から得られる撮像画像に基づいて、既存のキャリブレーション処理を用いて撮像パラメータを算出することも可能である。既存のキャリブレーション処理の一例として、撮像情報取得部１２０は、撮像システム２から複数の撮像画像を取得し、該複数の撮像画像における特徴点を用いて、撮像画像どうしの対応点を算出する。撮像情報取得部１２０は、算出した対応点を各撮像装置２０に投影したときの誤差が最小になるように最適化し、各撮像装置２０を校正することで撮像パラメータを算出する。使用されるキャリブレーション処理は上記に限定されない。また、撮像パラメータは、撮像装置２０が設置される事前準備の段階で取得されてもよいし、撮像情報取得部１２０が撮像画像を取得するごとに算出されてもよい。また、撮像パラメータは、過去に取得された撮像画像に基づいて算出されてもよい。撮像情報取得部１２０は、取得した前景画像及び撮像パラメータを、形状推定部１３０及び画像生成装置３に送信する。

【0037】

形状推定部１３０は、空間設定部１１０から取得される部分空間を示す情報及び識別番号、並びに撮像情報取得部１２０から取得される前景画像及び撮像パラメータに基づいて、被写体の形状推定処理を行い、形状データを生成する。本実施形態における形状推定部１３０は、公知技術である視体積交差法（ｓｈａｐｅ－ｆｒｏｍ－ｓｉｌｈｏｕｅｔｔｅ法）を用いて三次元モデルデータを生成する。なお、三次元モデルデータを生成する方法として、視体積交差法以外の手法が使用されてもよい。

【0038】

形状推定部１３０は、空間設定部１１０から取得される部分空間を示す情報及び識別番号に基づいて、当該部分空間に対応する識別番号を有する一以上の撮像装置２０を特定する。また、形状推定部１３０は、特定した一以上の撮像装置２０から得られる一以上の撮像画像に基づいて生成された前景画像を用いて、被写体の形状推定を行う。例えば、図５（ａ）に示す部分空間３２０及び部分空間３３０に、それぞれ「ボール」及び「選手」を示す被写体情報が対応付けられているとする。このとき、形状推定部１３０は、部分空間３２０においては「ボール」を示す被写体情報と紐づけられた識別番号を有する一以上の撮像装置２０から得られる一以上の撮像画像に基づいて生成された前景画像を用いて形状推定を行う。また、形状推定部１３０は、部分空間３３０においては「選手」を示す被写体情報と紐づけられた識別番号を有する一以上の撮像装置２０からえら得る一以上の撮像画像に基づいて生成された前景画像を用いて形状推定を行う。

【0039】

ここで、形状推定部１３０が行う形状推定処理について説明する。形状推定部１３０は、前景画像に基づいて、撮像画像において前景に対応する領域とそれ以外の領域とを２値で表したシルエット画像を生成する。シルエット画像は、例えば、前景に対応する領域の画素値を１、それ以外の領域の画素値を０とした画像である。形状推定部１３０は、処理の対象となるボクセル（三次元空間を単位体積の立方体の集合により表現する手法における一単位）の代表点（例えば中心）の座標を、撮像パラメータを用いて各撮像装置２０が取得した撮像画像系の座標に変換する。形状推定部１３０は、撮像画像系の座標が前景領域に含まれるか否かを判定する。具体的には、形状推定部１３０は、撮像画像上の座標に対応するシルエット画像上の画素値が、前景領域に対応する値（上記の例における画素値１）であるか否かを判定する。すべての撮像画像系において上記の座標が前景領域であると判定された場合、形状推定部１３０は当該座標に対応するボクセルを被写体の形状の一部であると判定する。一方、上記の座標が前景領域でない領域（当該座標に対応するシルエット画像上の画素値が０）であると判定される撮像画像がある場合、形状推定部１３０は、当該画素に対応するボクセルを被写体の形状の一部ではないと判定する。形状推定部１３０は、上記の処理を撮像空間に対応する形状推定空間を構成するボクセルごとに行い、被写体の形状の一部であると判定されなかったボクセルを削除することにより被写体の形状が推定される。なお、本実施形態においては形状推定部１３０がシルエット画像を生成する構成としたが、シルエット画像が分離部２１で生成され、撮像情報取得部１２０がシルエット画像を取得する構成であってもよい。

【0040】

形状推定部１３０は、上記の形状推定処理において、空間設定部１１０において設定された処理パラメータを使用して形状推定を行う。ここでは、処理パラメータとして、形状推定パラメータを用いて形状推定処理を行う例について説明する。形状推定パラメータは、上述した形状推定処理において、処理対象のボクセルに対応する撮像画像上の画素が前景領域でないと判定される撮像画像を所定の数まで許容することを示すパラメータである。例えば、形状推定パラメータが１と設定されている場合、形状推定部１３０は、処理対象のボクセルに対応する撮像画像上の画素が前景領域でないと判定される撮像画像の枚数が１枚以下の場合は、当該ボクセルは被写体の形状の一部であると判定する。一方、処理対象のボクセルに対応する撮像画像上の画素が前景領域でないと判定される撮像画像の枚数が２枚以上の場合は、当該ボクセルは被写体の形状の一部ではないと判定される。形状推定部１３０は、上記のような形状推定パラメータを用いて、各部分空間における被写体の形状推定を行う。

【0041】

図５（ａ）に示す部分空間３２０及び部分空間３３０に、それぞれ「ボール」及び「選手」を示す被写体情報が対応付けられている場合の形状推定処理の一例について説明する。ボールは大きさが小さく、且つ移動する速さが速いため、分離部２１における前景抽出が失敗しやすい。そのため、形状推定部１３０は、部分空間３２０における形状推定処理を行う場合は形状推定パラメータを１として処理を行う。これにより、形状推定部１３０は、前景抽出に失敗した撮像画像が存在しても形状推定を行うことができる。一方、選手はボールよりも精度よく前景抽出がされやすい。したがって、形状推定部１３０は、部分空間３２０における形状推定処理を行う場合は形状推定パラメータを０として処理を行う。これにより、形状推定部１３０は、選手の形状推定を精度良く行うことができる。上述したように、ボールなどの前景抽出が失敗しやすい被写体は、前景抽出が失敗しにくい被写体よりも大きい値の形状推定パラメータを用いて形状推定処理を行うことにより、精度の良い形状推定が可能になる。なお、上記の形状推定パラメータは、空間設定部１１０において各部分空間に対して設定される。したがって、形状推定部１３０は、例えば撮像空間３００に含まれる第１の部分空間である部分空間３２０においては、１に設定された形状推定パラメータを使用して形状推定処理を行う。また、形状推定部１３０は、第２の部分空間である部分空間３３０においては、０に設定された形状推定パラメータを使用して形状推定処理を行う。

【0042】

また、被写体を撮像する撮像装置の台数に応じて形状推定パラメータの値が決定されてもよい。例えば、「ボール」及び「選手」を示す被写体情報が対応付けられた撮像装置が、それぞれ１０台及び５０台であった場合について考える。「選手」に対応する撮像装置は「ボール」に対応する撮像装置よりも台数が多いため、故障等により前景抽出に失敗する撮像装置が含まれる可能性も高くなることが想定される。この場合は、例えば「ボール」に対応する部分空間における形状推定を行う場合は形状パラメータを１とし、「選手」に対応する部分空間における形状推定を行う場合は形状パラメータを４とする。これにより、形状推定部１３０は、撮像装置の台数も考慮して精度よく形状推定を行うことができる。なお、上記の形状推定パラメータは一例であり、上記以外の値が形状推定パラメータとして使用されてもよい。形状推定部１３０は、形状推定処理の結果に基づいて形状データを生成し、画像生成装置３に送信する。

【0043】

なお、本実施形態においては、形状推定部１３０が三次元モデルデータを生成する例について説明したが、形状推定部１３０が二次元形状データを生成する構成とすることも可能である。この場合、形状推定部１３０は、形状データの生成処理として、撮像画像に基づいて前景画像の生成を行う。このとき、撮像情報取得部１２０は撮像システム２から撮像画像を取得し、形状推定部１３０に送信する。また、空間設定部１１０は、前景画像を生成するための処理の手法を特定するための処理パラメータを設定する。例えば、背景差分法を示すパラメータとして「１」が割り当てられ、且つフレーム間差分法を示すパラメータとして「２」が割り当てられているものとする。空間設定部１１０は、対応する被写体情報が「選手」である部分空間３３０には、処理パラメータとして２を設定し、被写体情報が「ボール」である部分空間３２０には、処理パラメータとして１を設定する。これにより、形状推定部１３０は、被写体に応じて精度よく前景画像を生成することができる。

【0044】

また、形状推定部１３０が二次元形状データを生成する場合の処理パラメータとして、空間設定部１１０は、上述した前景画像のノイズ除去処理に使用する処理パラメータを設定する。この場合も、複数の部分空間（例えば、部分空間３２０及び部分空間３３０）に対応する被写体情報（例えば、「ボール」と「選手」）に応じて異なる処理パラメータが設定される。これにより、形状推定部１３０は、二次元形状データを生成する際に、前景として抽出されたが前景領域と極端に大きさ（画素面積）の異なる領域をノイズ領域として除去することができ、前景画像の精度が向上する。

【0045】

図６は、形状推定装置１が行う処理を説明するためのフローチャートである。図６に示す処理は、ＣＰＵ５１１がＲＯＭ５１２または補助記憶装置５１４に記憶されたプログラムを読み出して実行することにより実行される。以下の説明においては、処理の一例として、図５（ａ）に示す撮像空間３００に含まれる部分空間３２０及び部分空間３３０に、それぞれ「ボール」及び「選手」を示す被写体情報が対応付けられる場合における形状推定装置１の処理について説明する。形状推定装置１が、撮像システム２と被写体情報等のデータの通信を行うことにより、処理が開始される。なお、以降の説明においては、処理ステップのことを単にＳと表記する。

【0046】

Ｓ６００において、被写体情報取得部１００は、撮像システム２から複数の撮像装置２０それぞれが有する識別番号と被写体情報とを取得する。被写体情報取得部１００は、取得した識別番号及び被写体情報を空間設定部１１０に送信する。Ｓ６０１において、空間設定部１１０は、補助記憶装置５１４又は外部の記憶装置等から、撮像空間３００及び境界３１０を決定するための情報を取得する。また、空間設定部１１０は、取得した情報に基づいて部分空間を設定する。本処理においては、境界３１０は「ｚ＝２ｍ」であるとし、部分空間３２０及び部分空間３３０が設定される。

【0047】

Ｓ６０２において、空間設定部１１０は、Ｓ６０１において設定された部分空間３２０及び部分空間３３０のそれぞれに、予め設定された情報に基づいて、被写体情報を対応付ける。ここでいう予め設定された情報は、境界３１０を示すｚ座標以上の部分空間に対して「ボール」を被写体情報として対応付ける情報と、境界３１０を示すｚ座標未満の部分空間に対して「選手」を被写体情報として対応付ける情報と、を含む。そのため、本処理においては、境界３１０が示す「ｚ＝２ｍ」の上方の部分空間３２０には「ボール」が対応付けられ、「ｚ＝２ｍ」の下方の部分空間３３０には「選手」が対応付けられる。空間設定部１１０は、各部分空間を示す情報と、各部分空間に対応付けられた被写体情報と紐づけられた撮像装置の識別番号とを形状推定部１３０に送信する。なお、予め設定された情報は、境界３１０を決定するための情報に合わせて、どの部分空間にどの被写体情報を対応付けるかを示す情報が設定されればよい。

【0048】

Ｓ６０３において、撮像情報取得部１２０は、撮像システム２において生成された前景画像及び各撮像装置２０の撮像パラメータを取得する。なお、撮像パラメータは、撮像装置２０の設置状態が不変であれば一度のみ取得され、補助記憶装置５１４等に記憶されていればよい。しかしながら、風あるいは障害物との接触等により撮像装置２０の設置状態が変化する場合が想定される。この場合、撮像情報取得部１２０は、必要に応じて撮像パラメータの算出を行うことが可能である。撮像情報取得部１２０は、取得した前景画像及び撮像パラメータを、形状推定部１３０及び画像生成装置３に送信する。なお、撮像情報取得部１２０は、撮像システム２から撮像画像を取得し、形状推定部１３０及び画像生成装置３に送信する構成であってもよい。この場合、形状推定部１３０は、取得した撮像画像に基づいて前景画像を生成する。ここで、前景画像は、対応する撮像装置に紐づけられた被写体情報に応じて適切な処理パラメータを用いて、撮像装置２０又は形状推定部１３０により生成される。

【0049】

Ｓ６０４において、形状推定部１３０は、部分空間を示す情報と、各部分空間に紐づけられた撮像装置２０の識別番号とに基づいて、形状推定処理に使用する撮像装置２０を特定する。本処理においては、境界３１０は「ｚ＝２ｍ」と設定されているため、形状推定部１３０は、形状推定処理の対象となるボクセルの代表点の座標について、ｚ＞２ｍを満たすか否かを判定する。ｚ＞２ｍを満たす場合、形状推定部１３０は当該ボクセルが部分空間３２０に含まれていると判定し、Ｓ６０５に処理を進める。ｚ＞２ｍを満たさない場合、形状推定部１３０は当該ボクセルが部分空間３３０に含まれていると判定し、Ｓ６０６に処理を進める。なお、形状推定部１３０は、処理の対象となるボクセルが部分空間３２０に含まれるか否かを判定し、含まれると判定した場合にＳ６０５へ処理を進め、含まれないと判定した場合にＳ６０６に処理を進める構成であってもよい。

【0050】

Ｓ６０５において、形状推定部１３０は、部分空間３２０に対応する被写体情報（この場合、被写体情報は「ボール」である）と同じ被写体情報が紐づけられている識別番号を有する撮像装置２０を形状推定処理に使用すると判定する。

【0051】

Ｓ６０６において、形状推定部１３０は、部分空間３３０に対応する被写体情報（この場合、被写体情報は「選手」である）と同じ被写体情報が紐づけられている識別番号を有する撮像装置２０を形状推定処理に使用すると判定する。

【0052】

Ｓ６０７において、形状推定部１３０は、Ｓ６０５又はＳ６０６において使用すると判定された撮像装置２０から取得された前景画像に基づいてシルエット画像を生成し、生成されたシルエット画像を用いて形状推定処理を行う。このとき、形状推定部１３０は、各部分空間に対応付けられた被写体情報に応じて異なる形状推定パラメータを使用して、ボクセルが被写体の形状の一部であるか否かの判定を行う。例えば、Ｓ６０５において「ボール」に対応する撮像装置２０を使用すると判定された場合、形状推定パラメータとして１が使用され、Ｓ６０６において「選手」に対応する撮像装置２０を使用すると判定された場合、形状推定パラメータとして０が使用される。形状推定部１３０は、処理対象のボクセルを撮像画像系に変換した座標に対応するシルエット画像上の画素値が、前景領域に対応する値（上記の例における画素値１）であるか否かを判定する。使用される形状推定パラメータが１のときは、処理対象のボクセルが、すべての撮像画像系において上記の座標が前景領域であると判定された場合、形状推定部１３０は処理対象のボクセルを被写体の形状の一部であると判定する。一方、上記の座標が前景領域でない領域（当該座標に対応するシルエット画像上の画素値が０）であると判定される撮像画像がある場合、形状推定部１３０は、処理対象のボクセルを被写体の形状の一部ではないと判定する。使用される形状推定パラメータの値が１のときは、上記の座標が前景領域でない領域であると判定される撮像画像の枚数が１枚以下の場合、形状推定部１３０は処理対象のボクセルを被写体の一部であると判定する。使用される形状推定パラメータの値が１のときは、上記の座標が前景領域でない領域であると判定される撮像画像の枚数が２枚以上の場合、形状推定部１３０は処理対象のボクセルを被写体の一部ではないと判定する。

【0053】

Ｓ６０８において、形状推定部１３０は、撮像空間におけるすべてのボクセルの処理が終了したか否かを判定する。未処理のボクセルが存在すると判定した場合、形状推定部１３０はＳ６０４以降の処理を再度行う。すべてのボクセルの処理が終了したと判定した場合、形状推定部１３０はＳ６０９へ処理を進める。

【0054】

Ｓ６０９において、形状推定部１３０は、形状推定処理の結果に基づいて形状データを生成し、画像処理装置３に送信する。形状推定部１３０が形状データを送信すると、処理が終了する。

【0055】

以上が、形状推定装置１が行う処理の一例である。なお、形状推定装置１は、被写体の種類又は境界が上記の例と異なる場合、及び部分空間が三以上の場合においても同様に処理を行うことが可能である。この場合は、Ｓ６０４において、部分空間の数に応じて境界判定が行われる。また、形状推定部１３０は、Ｓ６０４における判定の結果に基づいて、ボクセルが含まれる部分空間に対応する被写体情報を有する撮像装置を使用し、形状推定処理を行う。また、形状推定処理において使用される形状推定パラメータも、被写体の種別及び部分空間に応じて任意の値を使用することが可能である。

【0056】

以上説明したように、本実施形態における空間設定部１１０は、撮像空間に含まれる複数の部分空間に対して、被写体の形状データ生成の処理に使用される処理パラメータを異ならせて設定する。上記の構成によれば、部分空間ごとに適切な処理パラメータを用いて形状データの生成を行うことができるため、撮像空間全体において被写体の形状データを精度よく生成することが可能になる。

【0057】

＜仮想視点画像の生成方法＞
画像生成装置３が行う仮想視点画像の生成処理について説明する。画像生成装置３は、形状推定装置１から送信される前景画像、撮像パラメータ及び形状データを用いて、前景の仮想視点画像を生成する処理と、背景の仮想視点画像を生成する処理を実行する。画像生成装置３は、生成した前景の仮想視点画像及び背景の仮想視点画像を合成することにより、仮想視点画像を生成する。以下、それぞれの生成処理について説明する。

【0058】

前景の仮想視点画像を生成する方法について説明する。前景の仮想視点画像は、形状データにおける各ボクセルに対し色付けを行うことにより生成される。ボクセルに色付けされる色の算出方法について説明する。画像生成装置３は、形状データと撮像パラメータとに基づいて、撮像装置２０から被写体の形状データの表面のボクセルまでの距離ｄを算出し、算出した距離と画素値とを対応付けた距離画像を生成する。また、画像生成装置３は、撮像空間におけるある座標Ｘｗに対し、座標Ｘｗを画角内に含む撮像装置２０の撮像パラメータを用いて、座標Ｘｗを撮像画像（距離画像）上における座標Ｘｉに変換する。また、画像生成装置３は、座標Ｘｗと、上記の座標Ｘｗを画角内に含む撮像装置２０との距離ｄｘを算出する。画像生成装置３は、距離画像上の座標Ｘｉの画素値を参照することにより、距離ｄと距離ｄｘとの比較を行う。距離ｄと距離ｄｘとの差が所定の閾値以下である場合、座標Ｘｗは上記の撮像装置２０から可視であると判定される。このときの所定の閾値を、以降の説明においては可視判定パラメータと呼ぶ。座標Ｘｗが可視である場合、座標Ｘｗと対応する撮像画像上の座標Ｘｉにおける画像値が、形状データの表面の色として算出される。

【0059】

上記の処理を複数の撮像装置２０に対して行うことにより、形状データの表面における一つのボクセルに対し、可視であると判定される座標が複数特定され得る。画像生成装置３は、特定された複数の座標に対応する画素値の平均値を算出する（ブレンドする）ことにより、ボクセルの色を決定し色付けを行う。以上の処理を形状データにおけるすべてのボクセルに対して行うことにより、形状データの色付けがなされ、前景の仮想視点画像が生成される。なお、上記の処理において使用された可視判定パラメータは、部分空間ごとに異なる値を使用することができる。可視判定パラメータが小さいほど、可視であると判定される座標が少なくなるため、ブレンドされる色が少なくなり、色が鮮明になるという効果が期待できる。したがって、例えば「選手」に対応する部分空間における形状データの色付けを行う場合、可視判定パラメータを小さい値に設定することにより、選手の色が鮮明になり、高品質な仮想視点画像を生成することができる。一方、可視判定パラメータが大きいほど、可視であると判定される座標が多くなるため、多くの色がブレンドされる。例えば、ボールのように大きさが小さく高速に移動しうる被写体の場合、被写体の色が厳密に算出されなくてもよい。したがって、「ボール」に対応する部分空間における形状データの色付けを行う場合、可視判定パラメータを大きい値に設定する。

【0060】

なお、可視判定パラメータは、撮像空間全体で同じ値を用いてもよい。また、色の算出方法については上記に限定されず、例えば、指定された仮想視点に最も近い撮像装置２０により取得された撮像画像の色を使用する等、種々の方法が用いられてもよい。また、本実施形態においては、上記の処理はすべての撮像装置２０のうち処理対象の座標を画角に含む撮像装置２０を使用して行われるが、処理対象の座標が含まれる部分空間に対応する撮像装置２０のみを使用してもよい。

【0061】

次に、背景の仮想視点画像を生成する方法について説明する。背景の仮想視点画像は、背景の三次元形状データを用いて生成される。背景の三次元形状データとしては、あらかじめ生成され、記憶装置等に記憶された競技場等のＣＧモデルが用いられる。当該ＣＧモデルは複数の面により背景の形状を再現している。このとき、画像生成装置３は、面の法線ベクトルと撮像装置２０の撮像方向とを比較することにより、面を画角に含み、且つ面と最も正対する撮像装置２０を特定する。画像生成装置３は、特定した撮像装置２０により取得される撮像画像を用いて当該面に対応するテクスチャ画像を生成し、既存のテクスチャマッピング手法を用いることにより、面にテクスチャを貼り付ける。上記の処理を各面に対して行うことにより、背景の仮想視点画像が生成される。

【0062】

画像生成装置３は、上述した処理によって生成された前景の仮想視点画像及び背景の仮想視点画像を合成することにより、仮想視点画像を生成する。また、画像生成装置３は、画像生成装置３の内部又は外部に接続される入力装置等により、仮想視点の視点位置及び仮想視点からの視線方向等を指定するためのユーザ操作を受け付ける、又は仮想視点を指定するための情報を記憶装置等から取得する。上記の処理を行うことにより、画像生成装置３は、指定された視点から見た仮想視点画像を生成し、表示装置４に表示することができる。

【0063】

（第２の実施形態）
本実施形態においては、複数の撮像システムを使用して形状データを生成する形状推定装置７について説明する。なお、ハードウェア構成、機能構成及び処理について第１の実施形態と同様の箇所については同じ符号を付し、説明は省略する。

【0064】

図７は、形状推定装置７を含む画像処理システム１１００の構成を説明するための図である。画像処理システム１１００は、形状推定装置７、第１撮像システム８、第２撮像システム９、画像生成装置３、及び、表示装置４を含む。なお、形状推定装置７のハードウェア構成は第１の実施形態と同様であるため、説明を省略する。

【0065】

第１撮像システム８及び第２撮像システム９は、それぞれ、同じ被写体情報を有する複数の撮像装置により構成されるシステムである。図８は、第１撮像システム８及び第２撮像システム９の構成の一例を説明するための図である。図８は、４台の撮像装置８０ａ～８０ｄにより構成される第１撮像システム８及び３台の撮像装置９０ａ～９０ｃにより構成される第２撮像システム９を示す。なお、各撮像システムに含まれる撮像装置の台数はこれに限定されない。第１撮像システムに含まれる撮像装置８０ａ～８０ｄは、同じ被写体情報（例えば、選手等）を有し、被写体情報によって示される被写体を主に撮像するように設置される。同様に、第２撮像システムに含まれる撮像装置９０ａ～９０ｄは、同じ被写体情報（例えば、ボール等）を有し、被写体情報によって示される被写体を主に撮像するように設置される。撮像システム８及び撮像システム９は、それぞれのシステム内における分離部８１ａ～８１ｄ及び分離部９１ａ～９１～ｃにおいて前景画像の生成を行い、形状推定装置７に送信する。以降の説明においては、特に区別をしない場合、撮像装置８０ａ～８０ｄ及び撮像装置９０ａ～９０ｃを、単に撮像装置８０及び撮像装置９０とよぶ。

【0066】

図７に戻り、形状推定装置７の機能構成について説明する。形状推定装置１は、被写体情報取得部１００、空間設定部１１０、第１撮像情報取得部７００、第２撮像情報取得部７１０、及び、形状推定部１３０を有する。ここで、第１の実施形態における形状推定装置１と異なる処理部について説明する。

【0067】

第１撮像情報取得部７００は、第１撮像システム８において生成された前景画像及び第１撮像システム８に含まれる各撮像装置２０の撮像パラメータを取得する。第２撮像情報取得部７１０は、第２撮像システム９において生成された前景画像及び第２撮像システム９に含まれる各撮像装置２０の撮像パラメータを取得する。第１撮像情報取得部７００及び第２撮像情報取得部７１０は、それぞれ、取得した前景画像及び撮像パラメータを形状推定部１３０及び画像生成装置３に送信する。

【0068】

図９は、形状推定装置７が行う処理を説明するためのフローチャートである。図６に示すフローチャートにおけるＳ６０３、Ｓ６０５及びＳ６０６の代わりに、Ｓ９００、Ｓ９０１及びＳ９０２の処理が行われる。以下の説明においては、図６と同様、図５（ａ）に示す撮像空間３００に含まれる部分空間３２０及び部分空間３３０に、それぞれ「ボール」及び「選手」を示す被写体情報が対応付けられる場合における形状推定装置７の処理について説明する。また、第１撮像システム８に含まれる撮像装置８０は、被写体情報として「選手」を有し、第２撮像システム９に含まれる撮像装置９０は、被写体情報として「ボール」を有する場合について説明する。以下、図６に示す処理と異なる点について説明する。

【0069】

Ｓ９００において、第１撮像情報取得部７００は、第１撮像システム８において生成された前景画像及び各撮像装置８０の撮像パラメータを取得する。また、第２撮像情報取得部７１０は、第２撮像システム９において生成された前景画像及び各撮像装置９０の撮像パラメータを取得する。第１撮像情報取得部７００及び第２撮像情報取得部７１０は、それぞれ、取得した前景画像及び撮像パラメータを、形状推定部１３０に送信する。

【0070】

Ｓ６０４においては、図６と同様にボクセルがどの部分空間に含まれるかを判定する。境界が「ｚ＝２ｍ」と設定されている場合、形状推定部１３０は、形状推定処理の対象となるボクセルの代表点の座標について、ｚ＞２ｍを満たすか否かを判定する。ｚ＞２ｍを満たす場合、形状推定部１３０は当該ボクセルが部分空間３２０に含まれていると判定し、Ｓ９０１に処理を進める。ｚ＞２ｍを満たさない場合、形状推定部１３０は当該ボクセルが部分空間３３０に含まれていると判定し、Ｓ９０２に処理を進める。Ｓ９０１において、形状推定部１３０は、部分空間３２０に対応する被写体情報が「ボール」であるため、第２撮像システム９に含まれる撮像装置９０を形状推定処理に使用すると判定する。Ｓ９０２において、形状推定部１３０は、部分空間３２０に対応する被写体情報が「選手」であるため、第１撮像システム８に含まれる撮像装置８０を形状推定処理に使用すると判定する。

【0071】

以降は、第１の実施形態と同様に、部分空間ごとに異なる形状推定パラメータを用いて形状推定処理が行われ、被写体の形状データが生成される。図９に示す処理についても、第１の実施形態と同様、被写体の種類又は境界が上記の例と異なる場合、及び部分空間が三以上の場合においても適用可能である。本実施形態において説明したように、同じ被写体情報を有する撮像装置により構成される撮像システムを用いることにより、形状推定処理に使用する撮像装置の特定が容易になる。また、撮像システムに含まれる撮像装置は同じ被写体情報を有するため、撮像システムごとに同じ処理パラメータを割りあてることもできる。なお、本実施形態においては、画像処理システム１１００が２つの撮像システムを含む場合について説明したが、被写体の種類に応じて任意の数の撮像システムを含んでいてもよい。

【0072】

（その他の実施形態）
上述の実施形態においては、撮像空間が境界に基づいて複数の部分空間に分割され、各部分空間に対して処理パラメータが設定される例について説明した。ここで、上記以外の処理パラメータの設定の一例について説明する。例えば、図５（ａ）に示す撮像空間３００において、被写体が境界３１０を跨いだ状態で撮像された場合、部分空間３２０に含まれるボクセルと部分空間３３０に含まれるボクセルとで異なる処理パラメータを使用して形状データの生成が行われる。このため、生成される被写体の形状が境界３１０付近で歪になる可能性がある。この問題を解決するために、空間設定部１１０は、例えば境界３１０付近の処理パラメータが緩やかに変化するように処理パラメータを設定する。例えば、空間設定部１１０は、境界３１０がｚ＝３ｍの場合に、境界付近の空間（以下、境界空間という）であるｚ＝３±０．３ｍに対して形状推定パラメータを１として設定する。また、空間設定部１１０は、部分空間３２０には形状推定パラメータとして２を設定し、部分空間３３０には形状推定パラメータとして０を設定する。このようにパラメータに傾斜をつけることにより、境界付近で形状データが歪になることを軽減することができる。なお、境界空間の設定は上記の値に限定されない。

【0073】

また、形状データの生成処理時に、被写体の位置等に基づいて被写体が境界を跨いでいることを特定可能な場合は、同じ処理パラメータを用いて境界付近の形状データ生成の処理を行う構成であってもよい。この場合、例えば、境界を跨いでいる被写体の部分がより多く含まれる部分領域に対応する処理パラメータが使用される。

【0074】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0075】

１ 形状推定装置
１１０ 空間設定部
１３０ 形状推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】