特許 7427468 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20240129BHJP

   G06T 19/00 20110101ALI20240129BHJP

   H04N 7/18 20060101ALI20240129BHJP

   H04N 23/60 20230101ALI20240129BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

H04N7/18 E

H04N7/18 K

H04N23/60 500

【請求項の数】 21

(21)【出願番号】P 2020024926

(22)【出願日】2020-02-18

(65)【公開番号】P2021131583

(43)【公開日】2021-09-09

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】阿達 大地

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１９－０９５９３６（ＪＰ，Ａ）

【文献】特開２０１１－１５１４４６（ＪＰ，Ａ）

【文献】特開２０１９－０６１５５８（ＪＰ，Ａ）

【文献】特許第６５５５５１３（ＪＰ，Ｂ２）

【文献】特開２０１９－０８３４０２（ＪＰ，Ａ）

【文献】特開２０１９－０２１３３３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５００３８（ＷＯ，Ａ１）

【文献】特開２０１５－１８７７９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ２１／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

複数の撮影装置によりそれぞれ異なる方向から撮影される撮影領域内のオブジェクトの位置及び形状を表すオブジェクト情報を取得する取得手段と、
前記撮影領域内の特定位置から見える可視領域と、オブジェクトによる遮蔽によって前記特定位置から見えない遮蔽領域とを、前記取得手段により取得されたオブジェクト情報に基づいて識別する識別手段と、
前記複数の撮影装置による撮影に基づく画像データと仮想視点の位置及び向きを示す仮想視点情報とに基づく仮想視点画像であって、前記識別手段による識別の結果に基づく情報が表示される仮想視点画像を生成する生成手段と、を有することを特徴とする情報処理装置。

【請求項2】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記可視領域を示す情報と前記遮蔽領域を示す情報との少なくとも何れかを含むことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記仮想視点画像における前記可視領域を覆う画像と、前記仮想視点画像における前記遮蔽領域を覆う画像との、少なくとも何れかを含むことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記特定位置の視点に関する視野情報であって、前記視点の位置としての前記特定位置と、前記視点の位置からの視線方向と、前記視線方向を中心とする視野の広さとを示す視野情報を取得する視野情報取得手段を有し、
前記識別手段は、前記視野情報取得手段により取得された視野情報により規定される視野の範囲に含まれる領域のうち、前記視点の位置との間にオブジェクトが存在しない領域を前記可視領域として識別し、前記視点の位置との間にオブジェクトが存在する領域を前記遮蔽領域として識別することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

前記可視領域は、前記特定位置から見て所定の角度範囲に含まれ、
前記識別手段は、前記可視領域と、前記特定位置から見て前記所定の角度範囲に含まれない範囲外領域とを識別することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。

【請求項6】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記遮蔽領域と前記範囲外領域とを含む不可視領域を示す情報を含むことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記仮想視点画像における前記不可視領域を覆う画像を含むことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記撮影領域内の特定のオブジェクトが前記可視領域に位置するかを示す情報を含むことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。

【請求項9】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記遮蔽領域の面積又は体積を示す情報を含むことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。

【請求項10】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記撮影領域内の複数の特定位置のうち、遮蔽により見えない領域がより小さい特定位置を示す情報を含むことを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。

【請求項11】

前記特定位置は、前記撮影領域内の指定されたオブジェクトに応じた位置であり、
前記遮蔽領域は、他のオブジェクトによる遮蔽によって前記特定位置から見えない領域であることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。

【請求項12】

複数の撮影装置によりそれぞれ異なる方向から撮影領域を撮影することにより得られる画像データに基づいて生成されたオブジェクト情報であって、前記撮影領域内のオブジェクトの位置及び形状を表すオブジェクト情報を取得する取得手段と、
前記撮影領域内の指定されたオブジェクトに応じた特定位置から見える可視領域と、他のオブジェクトによる遮蔽によって前記特定位置から見えない遮蔽領域とを識別可能にする情報を、前記取得手段により取得されたオブジェクト情報に基づいて生成する生成手段と、
前記生成手段により生成された情報を出力する出力手段と、を有することを特徴とする情報処理装置。

【請求項13】

前記可視領域は、前記特定位置から見て所定の角度範囲に含まれ、
前記生成手段により生成される情報は、前記可視領域と、前記特定位置から見て前記所定の角度範囲に含まれない範囲外領域とを識別可能にすることを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

前記生成手段により生成される情報は、前記遮蔽領域と前記範囲外領域とを識別可能にすることを特徴とする請求項１３に記載の情報処理装置。

【請求項15】

前記指定されたオブジェクトは人物であり、
前記特定位置は前記人物の頭部の位置又は目の位置であることを特徴とする請求項１１乃至１４の何れか１項に記載の情報処理装置。

【請求項16】

前記オブジェクト情報は、オブジェクトの三次元位置及び三次元形状を表すことを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。

【請求項17】

複数の撮影装置によりそれぞれ異なる方向から撮影される撮影領域内のオブジェクトの位置及び形状を表すオブジェクト情報を取得する取得工程と、
前記撮影領域内の特定位置から見える可視領域と、オブジェクトによる遮蔽によって前記特定位置から見えない遮蔽領域とを、前記取得工程において取得されたオブジェクト情報に基づいて識別する識別工程と、
前記複数の撮影装置による撮影に基づく画像データと仮想視点の位置及び向きを示す仮想視点情報とに基づく仮想視点画像であって、前記識別工程における識別の結果に基づく情報が表示される仮想視点画像を生成する生成工程と、を有することを特徴とする情報処理方法。

【請求項18】

前記仮想視点画像に表示される前記識別の結果に基づく情報は、前記可視領域を示す情報と前記遮蔽領域を示す情報との少なくとも何れかを含むことを特徴とする請求項１７に記載の情報処理方法。

【請求項19】

前記特定位置は、前記撮影領域内の指定されたオブジェクトに応じた位置であり、
前記遮蔽領域は、他のオブジェクトによる遮蔽によって前記特定位置から見えない領域であることを特徴とする請求項１７又は１８に記載の情報処理方法。

【請求項20】

複数の撮影装置によりそれぞれ異なる方向から撮影領域を撮影することにより得られる画像データに基づいて生成されたオブジェクト情報であって、前記撮影領域内のオブジェクトの位置及び形状を表すオブジェクト情報を取得する取得工程と、
前記撮影領域内の指定されたオブジェクトに応じた特定位置から見える可視領域と、他のオブジェクトによる遮蔽によって前記特定位置から見えない遮蔽領域とを識別可能にする情報を、前記取得工程において取得されたオブジェクト情報に基づいて生成する生成工程と、
前記生成工程において生成された情報を出力する出力工程と、を有することを特徴とする情報処理方法。

【請求項21】

コンピュータを、請求項１乃至１６の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の撮影装置によりオブジェクトを複数の方向から撮影することにより得られる情報の処理に関する。

【背景技術】

【0002】

複数の撮影装置を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。例えば、サッカーやバスケットボールなどの競技を撮影した複数の撮影画像に基づいて、ユーザにより設定された視点に応じた仮想視点画像を生成することにより、ユーザは様々な視点から競技を観戦することができる。また、サッカーの選手や審判など撮影領域内の特定のオブジェクトの位置及び向きに応じて仮想視点の位置及び向きを設定することで、選手や審判の視界を再現したような仮想視点画像を生成することもできる。

【0003】

特許文献１には、複数の方向からサッカーの試合を撮影して得られたデータを用いて、特定のプレイヤの視点に応じた映像コンテンツを提供することが記載されている。また、他のプレイヤの視点座標、視線方向、及び視野角で規定される視野を推定し、他のプレイヤの視野に入らない死角領域を映像コンテンツ内に表示することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６５５５５１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の方法で特定される死角領域には、撮影領域内のオブジェクトにより遮蔽されて見えない領域が反映されていない。例えば、あるプレイヤの視線方向近辺の領域であっても、そのプレイヤから見て別のプレイヤにより遮蔽されている領域は見ることができない。そのため、特許文献１に記載の映像コンテンツに表示された死角領域に含まれない領域であっても、実際には死角となっている領域が含まれることがある。

【0006】

本発明は上記の課題に鑑みてなされたものであり、特定の位置から見える領域と遮蔽により見えない領域とを容易に識別可能にすることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明にかかる情報処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置によりそれぞれ異なる方向から撮影される撮影領域内のオブジェクトの位置及び形状を表すオブジェクト情報を取得する取得手段と、前記撮影領域内の特定位置から見える可視領域と、オブジェクトによる遮蔽によって前記特定位置から見えない遮蔽領域とを、前記取得手段により取得されたオブジェクト情報に基づいて識別する識別手段と、前記複数の撮影装置による撮影に基づく画像データと仮想視点の位置及び向きを示す仮想視点情報とに基づく仮想視点画像であって、前記識別手段による識別の結果に基づく情報が表示される仮想視点画像を生成する生成手段と、を有する。

【発明の効果】

【0008】

本発明によれば、特定の位置から見える領域と遮蔽により見えない領域とを容易に識別可能にすることができる。

【図面の簡単な説明】

【0009】

【図1】画像処理システムの構成例を示す図である。

【図2】情報処理装置のハードウェア構成例を示す図である。

【図3】情報処理装置および表示装置の動作の例を示すフローチャートである。

【図4】可視判定の処理について説明するための図である。

【図5】可視性情報の例を示す図である。

【図6】情報処理装置の動作の例を示すフローチャートである。

【図7】可視性情報の例を示す図である。

【図8】可視性情報の出力の例を示す図である。

【発明を実施するための形態】

【0010】

［システム構成］
図１は、画像処理システム１の構成例を示す図である。画像処理システム１は、複数の撮影装置による撮影に基づく複数の画像（複数視点画像）と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が静止画である場合を中心に説明するが、仮想視点画像は動画であってもよい。すなわち、画像処理システム１は、静止画及び動画の何れについても処理可能である。以降の説明に於いては、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。

【0011】

画像処理システム１は、複数の撮影装置１００、画像処理装置１１０、情報処理装置２００、及び表示装置３００を有する。複数の撮影装置１００は、撮影領域内の被写体（オブジェクト）を複数の方向から撮影する。撮影領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。本実施形態では、撮影領域がサッカーの競技場である場合を中心に説明する。複数の撮影装置１００は、このような撮影領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮影を行う。なお、複数の撮影装置１００は撮影領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮影領域の一部の方向にのみ設置されていてもよい。また、撮影装置の数は図１に示す例に限定されず、例えば撮影領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮影装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮影装置が設置されていてもよい。

【0012】

なお、本実施形態における複数の撮影装置１００は、それぞれが独立した筐体を有し単一の視点で撮影可能なカメラであるものとする。ただしこれに限らず、２以上の撮影装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサーを備えており複数視点から撮影可能な単体のカメラが、複数の撮影装置１００として設置されていてもよい。

【0013】

画像処理装置１１０は、複数の撮影装置１００から取得した画像データに基づいて、撮影領域内の人物やボールなどの前景オブジェクトおよびスタジアムやフィールドなどの背景オブジェクトのオブジェクト情報１０１を生成する。オブジェクト情報１０１は、各オブジェクトの三次元位置及び三次元形状を表す。各オブジェクトのオブジェクト情報１０１は個別に記憶されてもよいし、撮影領域内の複数のオブジェクトのオブジェクト情報１０１がまとめて記憶されてもよい。

【0014】

情報処理装置２００は、画像処理装置１１０からオブジェクト情報を取得するオブジェクト情報取得部２０１、視野情報１０２を取得する視野情報取得部２０２、及び仮想視点情報１０３を取得する仮想視点取得部２０３を有する。また情報処理装置２００は、可視判定部２０４及び情報生成部２０５を有する。

【0015】

視野情報１０２は、後述する可視判定の基準となる撮影領域内の所定の視点に対応する視野を表す情報であり、三次元空間における視点の位置、向き（視点位置からの視線方向）、及び水平方向と垂直方向の視野の広さに対応する画角を示す情報を含む。なお、視野情報１０２の内容はこれに限定されず、視野の広さが焦点距離又はズーム値で表されていてもよい。また視野情報１０２には、視点の位置から視野の境界であるニア面及びファー面までの距離を示す情報が含まれていてもよい。視野情報１０２はユーザ操作に基づいて指定されてもよいし、視野情報１０２の少なくとも一部が自動で指定されてもよい。例えば、画像処理システム１は、視点の位置、向き、及び画角を指定するユーザ操作を受け付けて、視野情報１０２を生成してもよい。

【0016】

また例えば、画像処理システム１は、撮影領域内のオブジェクトである特定の人物を指定するユーザ操作を受け付けて、その人物の視野を表す視野情報１０２など、指定されたオブジェクトに応じた視野情報１０２を生成してもよい。この場合、視野情報１０２が示す視点の位置は指定されたオブジェクトの頭部又は目の位置に対応し、視野情報１０２が示す視線方向は指定されたオブジェクトの頭部又は目の向きに対応する。

【0017】

人物の視野を表す視野情報１０２は、その人物の頭部又は目の位置及び向きを検出するセンサー（例えばモーションキャプチャ、電子コンパス、ＧＰＳなど）から取得したデータに基づいて生成されてもよい。また、撮影装置１００から取得した画像データ又は画像処理装置１１０が生成したオブジェクト情報１０１を解析した結果に基づいて視野情報１０２が生成されてもよい。例えば、視野情報１０２が示す視点の位置としての人物の頭部の位置の座標は、センサー又は画像解析により検出された頭頂部の位置から、顔の前方及び下方に予め定められた距離離れた位置の三次元座標であってもよい。また例えば、頭部の位置の座標が、検出された頭部の中心の位置から顔の前方に予め定められた距離離れた位置の三次元座標であってもよい。また、視野情報１０２が示す視点の位置としての人物の目の位置の座標は、センサー又は画像解析により検出された左目と右目の中間の位置の三次元座標であってもよい。なお、画像処理システム１は視野情報１０２を外部から取得してもよい。

【0018】

仮想視点情報１０３は、仮想視点画像に対応する仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、仮想視点情報１０３は、三次元空間における仮想視点の位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットを有する。なお、仮想視点情報１０３の内容は上記に限定されない。例えば、仮想視点情報１０３としてのパラメータセットには、ズーム率や焦点距離など仮想視点に対応する視野の大きさを表すパラメータや、時刻を表すパラメータが含まれてもよい。仮想視点情報１０３はユーザ操作に基づいて指定されてもよいし、仮想視点情報１０３の少なくとも一部が自動で指定されてもよい。例えば、画像処理システム１は、仮想視点の位置、向き、及び画角を指定するユーザ操作を受け付けて、仮想視点情報１０３を生成してもよい。なお、画像処理システム１は仮想視点情報１０３を外部から取得してもよい。

【0019】

可視判定部２０４は、オブジェクト情報取得部２０１が取得したオブジェクト情報１０１、視野情報取得部２０２が取得した視野情報１０２、及び仮想視点取得部２０３が取得した仮想視点情報１０３を用いて、可視判定を行う。可視判定部２０４による可視判定は、撮影領域のうち、視野情報１０２が示す視点から見える領域と見えない領域とを識別する処理である。情報生成部２０５は、可視判定部２０４による可視判定の結果に応じた情報を生成して表示装置３００へ出力する。なお、情報生成部２０５は可視判定の結果と仮想視点情報１０３とを用いて、仮想視点に応じた情報を生成して出力してもよい。可視判定処理と情報生成部２０５により生成される情報の詳細については後述する。

【0020】

表示装置３００はディスプレイを有するコンピュータであり、情報生成部２０５から取得した情報と仮想視点画像１０４とを合成して表示する。表示装置３００により表示される画像には、視野情報１０２を表すＣＧ（コンピュータグラフィックス）が含まれていてもよい。なお、表示装置３００はディスプレイの代わりにプロジェクタなどの視覚提示デバイスを備えていてもよい。

【0021】

仮想視点画像１０４は、撮影装置１００により取得された画像データ及び仮想視点情報１０３に基づいて、画像処理システム１により生成される。仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮影装置１００によりそれぞれ異なる方向から撮影することで得られた複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、仮想視点情報１０３が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像１０４が生成される。ただし、仮想視点画像１０４の生成方法はこれに限定されず、三次元モデルを用いずに撮影画像の射影変換により仮想視点画像１０４を生成する方法など、種々の方法を用いることができる。なお、画像処理システム１は、仮想視点画像１０４を外部から取得してもよい。

【0022】

なお、画像処理システム１の構成は図１に示した例に限定されるものではない。例えば、画像処理装置１１０と情報処理装置２００とが一体となって構成されていてもよいし、視野情報１０２、仮想視点情報１０３、及び仮想視点画像１０４が情報処理装置２００により生成されてもよい。また、情報生成部２０５が生成した情報と仮想視点画像１０４とを合成して表示装置３００へ出力してもよい。なお、画像処理システム１は、オブジェクト情報１０１、視野情報１０２、仮想視点情報１０３、及び仮想視点画像１０４を記憶する記憶部と、ユーザ操作を受け付ける入力部を有する。

【0023】

［ハードウェア構成］
図２に情報処理装置２００のハードウェア構成例を示す。なお、画像処理装置１１０および表示装置３００のハードウェア構成も、以下で説明する情報処理装置２００の構成と同様である。情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

【0024】

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御することで、図１に示す情報処理装置２００の各機能を実現する。なお、情報処理装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0025】

表示部２１５は、例えば液晶ディスプレイヤＬＥＤ等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。本実施形態では表示部２１５と操作部２１６が情報処理装置２００の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。

【0026】

［動作フロー］
図３（ａ）は、情報処理装置２００の動作の例を示すフローチャートである。図３（ａ）に示す処理は、情報処理装置２００のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図３（ａ）に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。後述する図６に示すフローチャートの処理も同様である。図３（ａ）に示す処理は、可視性判定に関する情報の生成を行うための指示が情報処理装置２００に入力されたタイミングで開始される。ただし、図３（ａ）に示す処理の開始タイミングはこれに限定されない。なお、仮想視点画像が動画である場合には、図３（ａ）の処理は、仮想視点画像の動画を構成するフレームごとに実行されてもよい。

【0027】

Ｓ２０１０では、オブジェクト情報取得部２０１がオブジェクト情報１０１を取得する。Ｓ２０７０では、視野情報取得部２０２が視野情報１０２を取得する。Ｓ２０３０では、仮想視点取得部２０３が仮想視点情報１０３を取得する。なお、Ｓ２０１０からＳ２０３０の処理の順はこれに限らず、またこれらの少なくとも一部が並行して実行されてもよい。Ｓ２０４０では、可視判定部２０４が可視判定を行う。可視判定の詳細について図４を用いて説明する。

【0028】

図４（ａ）は、撮影領域内のフィールド１０上に二人のプレイヤ２０及びプレイヤ２１が存在し、プレイヤ２０の左手付近にボール１５が位置している様子を示す。プレイヤ２０、プレイヤ２１、及びボール１５の位置及び形状は、オブジェクト情報１０１により表される。図４の例において、視野情報１０２は、撮影領域内で且つフィールド１０の外の位置からプレイヤ２０を見る審判２２の視野に対応するように指定されているものとする。四角錐３０は、審判２２の視点の位置、向き、及び視野の画角（角度範囲）を示す。

【0029】

図４（ｂ）は、可視判定の結果を示す図である。図４（ｂ）においてフラグ「１」が付されている可視領域５１は、視野情報１０２に対応する視点から見える領域である。フラグ「－１」が付されている範囲外領域５２は、視野情報１０２に対応する視野の画角外に位置するために、視野情報１０２に対応する視点からは見えない領域である。フラグ「０」が付されている遮蔽領域５０は、視野情報１０２に対応する視野の画角内に位置するが、プレイヤ２１により遮蔽されることによって見えない領域である。上記の範囲外領域と遮蔽領域を合わせた領域が、視野情報１０２から見えない不可視領域となる。遮蔽領域５０には、プレイヤ２１によって遮蔽されているプレイヤ２０上の領域６０が含まれ、範囲外領域５２には、視野情報１０２に対応する視野の画角から外れたプレイヤ２１上の領域７２が含まれる。

【0030】

可視判定は、例えば以下のように行われる。可視判定の処理において、視野情報１０２に対応する視点の位置から画角内の各方向に向けて仮想的な光線４０が飛ばされる。光線４０は、四角錐３０の底面を１９２０×１０８０画素の画像と見立てた場合の各画素の方向に飛ばされる。この光線が最初に当たった（交差した）オブジェクトの表面に対してフラグ「１」が付され、２回目以降に当たったオブジェクトの表面にはフラグ「０」が付される。また、画角外であり光線が一度も当たらないオブジェクトの表面にはフラグ「－１」が付される。なお、視野情報１０２が視野のニア面及びファー面を規定している場合、視点位置と光線がオブジェクトに当たる位置との距離がニア面よりも近いまたはファー面よりも遠ければフラグ「－１」が付される。

【0031】

なお、可視判定の方法は上記に限定されず、視野情報１０２とオブジェクト情報１０１とに基づいて可視判定が行われればよい。例えば、光線４０の飛ばし方は上記に限定されず、光線４０が画角内の一定角度ごとに飛ばされてもよい。フラグはオブジェクトの三次元モデルを構成するメッシュごとに付されてもよいし、三次元モデルにマッピングされるテクスチャの画素ごとに付されてもよい。また、光線４０とオブジェクトの表面の交点の三次元座標値（ｘ、ｙ、ｚ）とフラグ値が関連付けて記録されてもよい。また例えば、デプスバッファを用いて遮蔽を判定した結果を用いてフラグ値を決定してもよい。具体的には、仮想視点情報１０３が示す仮想視点から飛ばした光線とオブジェクト表面との交点から視野情報１０２が示す視点の位置までの距離を求め、その距離と視野情報１０２が示す視点に応じたデプス値とを比較することで、遮蔽を判定してもよい。

【0032】

Ｓ２０５０では、情報生成部２０５が可視性判定の結果に応じた可視性情報を生成する。ここでは可視性情報の一例として、オブジェクト上の各位置に付されたフラグを仮想視点情報１０３が示す仮想視点に投影し、仮想視点から見た各位置のフラグ値を所定の輝度値に置き換えて構成されたフラグ画像が生成される場合について説明する。例えば、フラグ値「１」が輝度値「０」に置換され、フラグ値「０」が輝度値「５０」に置換され、フラグ値「－１」が輝度値「１００」に置換される。なお、フラグ値「－１」に対応する輝度値とフラグ値「０」に対応する輝度値に同じ値を用いてもよい。この場合、フラグ画像において範囲外領域５２と遮蔽領域５０とが区別されなくなる。Ｓ２０６０では、情報生成部２０５がフラグ画像を表示装置３００に出力する。

【0033】

図３（ｂ）は、表示装置３００の動作の例を示すフローチャートである。図３（ｂ）に示す処理は、表示装置３００のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムをＲＡＭ２１３に展開して実行することで実現される。なお、図３（ｂ）に示す処理の少なくとも一部を、ＣＰＵ２１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。図３（ｂ）に示す処理は、情報処理装置２００と表示装置３００が接続され通信可能となったタイミングで開始される。ただし、図３（ｂ）に示す処理の開始タイミングはこれに限定されない。なお、仮想視点画像が動画である場合には、図３（ｂ）の処理は、仮想視点画像の動画を構成するフレームごとに実行されてもよい。

【0034】

Ｓ３０１０では、表示装置３００が仮想視点画像１０４を取得する。ここで取得される仮想視点画像１０４は、情報処理装置２００が可視性情報を生成する際に用いた仮想視点に対応する画像である。Ｓ３０２０では、表示装置３００が情報処理装置２００から出力された可視性情報を取得する。なお、Ｓ３０１０とＳ３０２０の処理の順はこれに限らず、またこれらの処理の少なくとも一部が並行して実行されてもよい。

【0035】

Ｓ３０３０では、表示装置３００が情報処理装置２００から取得したフラグ画像を仮想視点画像１０４に重畳する。また表示装置３００は、情報処理装置２００が可視性情報を生成する際に用いた視野情報１０２を取得し、視野情報１０２に応じた視点を表すＣＧも併せて仮想視点画像１０４に重畳してもよい。

【0036】

図５（ａ）に、フラグ画像及び視野情報１０２に応じたＣＧを仮想視点画像１０４に重畳（オーバーレイ表示）することで生成された新たな仮想視点画像である重畳画像９５を示す。フラグ画像は半透明で重畳されており、重畳画像９５においてフラグ「０」に対応する遮蔽領域８０は半透明の所定の色（例えば赤色）で覆われている。重畳画像９５におけるカメラモデル９０は視野情報１０２に応じた視点（審判２２の視点）の位置を表しており、境界８５は視野情報１０２に応じた視野の画角端を表している。

【0037】

なお、可視性判定結果の表現方法は上記に限らず、仮想視点画像における遮蔽領域の輝度値や色を変えたり、コントラストを変えたり、テクスチャのレンダリング方法を変えたり、遮蔽領域の境界を表示したりしてもよい。また、図５（ａ）の例では仮想視点画像内の遮蔽領域に対応する部分を加工することで遮蔽領域とその他の領域を識別可能にしているが、可視性情報の表示方法はこれに限定されない。例えば、仮想視点画像内の可視領域を加工（可視領域を覆う画像を重畳）してもよいし、範囲外領域を加工してもよい。可視領域、範囲外領域、及び遮蔽領域をそれぞれ識別可能にするように、これらの領域のうち２つ以上をそれぞれ異なる態様で加工してもよい。また、範囲外領域と遮蔽領域を含む不可視領域を識別可能に示すように、不可視領域全体を一様に加工（不可視領域を覆う画像を重畳）してもよい。

【0038】

また、図５（ｂ）に示すように、カメラモデル９０に代えて、視野情報１０２に応じた視点の位置と向きを示す矢印アイコン８９を仮想視点画像に表示させてもよい。なお、実施形態では、画像処理システム１が、可視性情報が表示されない仮想視点画像１０４を取得して、その仮想視点画像１０４に可視性情報を重畳表示させるものとした。ただし、画像処理システム１は、可視性情報が表示されない仮想視点画像１０４を取得せずに、撮影装置１００により取得された画像データと、仮想視点情報１０３と、可視性情報とに基づいて、可視性情報が表示される仮想視点画像を直接生成してもよい。

【0039】

以上のように、審判２２の視点から見えない領域、つまり死角を特定し、俯瞰した仮想視点画像上に死角を識別可能にする表示を行うことにより、仮想視点画像の視聴者は審判２２の死角を容易に確認することができるようになる。例えば図５（ｂ）に示す重畳画像９５を見ることで、視聴者は、ボール１５およびプレイヤ２０の一部が審判２２の死角に隠れていることを容易に認識できる。

【0040】

上記の例では視野情報１０２が審判２２の視野を表すものとして、審判２２の視点からの可視性を判定したが、視野情報１０２はこれに限定されない。例えば、視野情報１０２がプレイヤ２１の視野に対応するように視野情報１０２を指定することで、プレイヤ２１の視点からの各領域の可視性を識別可能にすることができる。また、プレイヤが存在しない位置が視点位置となるように視野情報１０２を指定することで、仮にその位置にプレイヤがいた場合にどの領域が見えていたかを識別可能にすることができる。

【0041】

また例えば、視野情報１０２が示す視点位置をボール１５の位置に指定することで、ボール１５の位置からどの領域が見えるか、言い換えれば、どの領域からボール１５が見えるかを、容易に識別可能にすることができる。視野情報１０２が示す視点位置を、ボール１５の代わりに例えばゴールに指定することで、どの領域からゴールが見えるかを識別可能にすることができる。また、視野情報１０２は視線方向及び視野の大きさを示す情報を有していなくてもよい。すなわち、視点位置から見て全方位が視野に含まれるものとしてもよい。

【0042】

［可視性情報の別の例］
上記では、図４及び図５を用いて、情報処理装置２００が出力する可視性判定結果に応じた可視性情報が、撮影領域内の可視領域と不可視領域とを識別可能に示す情報である場合の例について説明した。以下では、可視性情報の別の例について説明する。

【0043】

まず、複数の視点からの可視性を比較した結果が可視性情報として使用される場合について説明する。この場合、情報処理装置２００は、図３（ａ）に示す処理フローに替えて図６に示す処理フローを実行する。図６に示す処理は、図３（ａ）に示す処理と同様のタイミングで開始される。

【0044】

Ｓ２０１０では、オブジェクト情報取得部２０１がオブジェクト情報１０１を取得する。Ｓ２０２０では、視野情報取得部２０２が複数の視野情報１０２を取得する。この複数の視野情報１０２は、それぞれ視点の位置、向き、及び視野の画角の少なくともいずれかが異なる。ここでは、複数の視野情報１０２が示す視点の位置が異なっており、審判２２の視野を表す視野情報１０２と、審判２２の視点位置から前後左右にそれぞれ５ｍ並進移動した４つの視点に対応する視野情報１０２が取得されるものとする。ただし、取得される視野情報１０２の数やそれぞれの視野情報１０２の関係はこれに限らない。

【0045】

Ｓ２０４０では、可視判定部２０４が各視野情報１０２について可視判定を行い、視野情報１０２毎に遮蔽領域の面積を算出する。遮蔽領域の面積は、オブジェクトを構成するメッシュのうち、フラグ「０」が付されたメッシュの面積を加算することで求められる。

【0046】

Ｓ２０５０では、情報生成部２０５が可視性判定の結果に応じた可視性情報を生成する。具体的には、情報生成部２０５は、複数の視野情報１０２それぞれに対応する遮蔽領域を示すフラグ画像を生成する。さらに情報生成部２０５は、可視判定部２０４により視野情報１０２ごとに求められた遮蔽領域の面積に基づき複数の視野情報１０２をソート（順位づけ）した結果を示す情報を生成する。ソートアルゴリズムにはクイックソートを用いることができるが、これに限らずバブルソートなど他のアルゴリズムを用いてもよい。Ｓ２０６０では、情報生成部２０５がフラグ画像とソート結果を示す情報とを可視性情報として表示装置３００に出力する。表示装置３００は、図３（ｂ）を用いて説明した処理により、可視性情報が重畳された仮想視点画像を生成して表示する。

【0047】

図７に、可視性情報を重畳表示した仮想視点画像の例である重畳画像９６を示す。審判２２の視点を示すカメラモデル９０の前後左右に、４つの異なる視点を示すアイコン９１が表示される。各アイコン９１には、それぞれの視点から見た場合の遮蔽領域の面積を示す数値が表示される。また、遮蔽領域の面積が最小の視点に対応するアイコン９１は、「Ｂｅｓｔ」の文字と共に強調表示（図７の例では矢印の色の変更）がされる。なお、アイコン９１を強調する方法はこれに限らず、アイコン９１のレンダリング方法を変えるなどしてもよい。

【0048】

審判２２より後ろに位置する視点は重畳画像９６の範囲外に位置するため、その視点に対応するカメラモデルは表示されず、その視点が位置する方向を示す矢印と遮蔽領域の面積のみが表示されている。遮蔽領域８０は、基準となる審判２２の視点から見た遮蔽領域を示している。ただしこれに限らず、複数の視点それぞれに対応する遮蔽領域が識別可能に表示されたり、面積が最小となる遮蔽領域が表示されたりしてもよい。境界８５の表示についても同様である。

【0049】

以上のように、審判２２の近傍に位置する複数の視点からの死角を特定し、死角となる領域が小さい視点を示す表示を行うことにより、仮想視点画像の視聴者は、審判２２がどの位置に動けば死角をより小さくできたかを容易に確認することができるようになる。

【0050】

なお、上記の例では遮蔽領域がより小さい視点を示す表示を行うものとしたが、これに限らず、例えば各視点に対応する遮蔽領域の大きさの順位を示す表示を行ってもよいし、遮蔽領域がより大きい視点を示す表示を行ってもよい。遮蔽領域の大きさが閾値未満である視点を示す表示を行ってもよいし、逆に遮蔽領域の大きさが閾値以上である視点を示す表示を行ってもよい。また、上記の例では複数の視点それぞれに対応する遮蔽領域の大きさを比較した結果が表示されるものとした。ただしこれに限らず、複数の視点それぞれに対応する可視領域の大きさを比較した結果が表示されてもよいし、複数の視点それぞれに対応する不可視領域の大きさを比較した結果が表示されてもよい。

【0051】

また、上記の例では領域の大きさ表す指標として面積が用いられるものとしたが、領域の大きさ表す指標として体積が用いられてもよい。この場合、撮影領域に関連付けられた三次元空間内の各ボクセルに対して視野情報１０２が示す視点から光線４０を飛ばし、光線４０が最初にオブジェクトに当たるまでの空間に存在するボクセルにフラグを「１」が付される。このようにしてフラグ「１」が付された三次元位置は、視野情報１０２が示す視点から見える位置となる。そして、フラグ「１」が付されたボクセル数を数えることで、可視領域の体積を求めることができる。遮蔽領域及び範囲外領域についても同様にして体積を求めることができる。この場合、重畳画像９６には各視点に対応する遮蔽領域の体積が可視性情報の一部として表示されてもよい。

【0052】

また、上記の例では比較される複数の視点が等間隔に位置するものとしたが、これに限らず、例えば複数の審判の視点にそれぞれ対応する複数の視野情報１０２を取得し、それらの視点が比較されてもよい。これにより、どの審判の視点が最も死角が少なかったかを確認することができる。また、比較される複数の視点はそれぞれユーザ操作に基づいて任意に指定されてもよい。

【0053】

次に、指定された視点から見た際の特定のオブジェクトの可視性を示す情報が可視性情報として使用される場合について説明する。この場合、図３（ａ）のＳ２０４０において可視判定部２０４は、視野情報１０２が示す視点から撮影領域内の特定のオブジェクトが見えるか否かを判定する。例えば、可視性判定の対象となるオブジェクトとしてボール１５が選択されたものとする。可視判定部２０４は、ボール１５の三次元モデルを構成する複数のメッシュのうち、可視を示すフラグ「１」が付されたメッシュと不可視を示すフラグ「０」又は「－１」が付されたメッシュの比率を算出する。

【0054】

そして情報生成部２０５は、フラグ「０」又は「－１」の割合が所定の割合、例えば５割を超えた場合に、ボール１５が審判２２から見えていないことを示す情報を可視性情報として表示装置３００に出力する。上記の所定の割合は、情報処理装置２００に対するユーザ操作に基づいて設定されてもよいし、情報処理装置２００の外部から取得されたパラメータに応じた割合であってもよい。図８は、撮影領域の状況と表示装置３００における表示の例を示す図である。視野情報１０２が示す審判２２の視点からボール１５のモデルを構成するメッシュのうち所定以上の割合が見えていない場合、表示装置３００には、可視判定の結果を示す可視性情報としてアイコン９４が表示される。なお、アイコン９４は仮想視点画像に重畳して表示されてもよい。

【0055】

以上のように、審判２２の視点からの死角を特定し、ボール１５が死角に入っているか（不可視領域に位置するか）を示す表示を行うことにより、仮想視点画像の視聴者は、審判２２からボール１５が見えていないことを容易に確認することができるようになる。

【0056】

なお、上記の例では視野情報１０２に応じた視点からボール１５の所定割合以上の部分が見えていない場合に可視性情報の表示が行われるものとしたが、逆に、ボール１５の所定割合以上の部分が見えている場合に、それを示す可視性情報が表示されてもよい。すなわち、可視性情報は、特定のオブジェクトであるボール１５が可視領域に位置するかを示す情報であってもよい。また、ボール１５が見えている場合と見えていない場合とでそれぞれ異なる可視性情報が表示されてもよい。また、ボール１５が遮蔽領域に位置する場合と範囲外領域に位置する場合とで異なる可視性情報が表示されてもよい。上記の例では可視性判定の対象となるオブジェクトがボール１５であるものとしたが、これに限らず、特定のプレイヤであってもよいし、撮影領域内の特定の位置であってもよい。可視性判定の対象は、情報処理装置２００が受け付けたユーザ操作に基づいて設定されてもよく、可視性判定の対象となるオブジェクトが複数であってもよい。

【0057】

また、情報処理装置２００は、複数の視野情報１０２にそれぞれ対応する複数の視点から見た場合の特定オブジェクトの可視性を判定してもよい。例えば、複数の審判の視点それぞれからボール１５が見えているかを判定し、どの審判からボール１５が見えているかを示す情報が可視性情報として表示されてもよい。

【0058】

以上、複数の例を用いて説明したように、画像処理システム１は、複数の撮影装置１００によりそれぞれ異なる方向から撮影される撮影領域内のオブジェクトの位置及び形状を表すオブジェクト情報１０１を取得する。また画像処理システム１は、撮影領域内の特定位置から見える可視領域と、オブジェクトによる遮蔽によって前記特定位置から見えない遮蔽領域とを、オブジェクト情報１０１に基づいて識別する。そして画像処理システム１は、複数の撮影装置１００による撮影に基づく画像データと仮想視点の位置及び向きを示す仮想視点情報１０３とに基づく仮想視点画像であって、識別の結果に基づく情報が表示される仮想視点画像を生成する。上記のような構成によれば、特定の位置から見える領域と遮蔽により見えない領域とを容易に識別可能にすることができる。

【0059】

なお、上述の実施形態では、審判２２に応じた視点に関する視野情報１０２とオブジェクト情報１０１とに基づいて、撮影領域内の各領域が審判２２から見えるか見えないかを示す可視性情報が生成される場合を中心に説明した。ただし、例えば情報処理装置２００は、審判２２の左目に対応する視野情報１０２と右目に対応する視野情報１０２とをそれぞれ取得し、左目でのみ見える領域、右目でのみ見える領域、及び両目で見える領域を識別可能に示す可視性情報を生成してもよい。また、視野情報１０２には、視点の位置、向き、及び視野の広さに関する情報に限らず、人物（例えば審判２２）の視力に関する情報や、撮影領域の環境に関する情報（例えば天候や明るさ、光源の位置に関する情報）が含まれていてもよい。そして情報処理装置２００は、このような視野情報１０２を用いることで、特定の視点から明瞭に見える領域と明瞭には見えない領域とを識別可能に示す可視性情報を生成してもよい。このような構成によれば、あるシーンにおける特定の視点からの可視性をより詳細に検証することが可能になる。

【0060】

また、上述の実施形態では、情報処理装置２００が、特定の時刻における視点からの可視性判定の結果を出力する場合について述べたが、視点が変化する複数の時刻における可視性判定の結果を集計して出力してもよい。例えば、動き回る審判２２の視点から見た場合の各時刻における不可視領域の面積や体積がプロットされて出力されてもよい。もしくは、不可視領域の面積や体積が閾値を上回ったり、ボール１５が不可視領域に入ったりした期間の長さが計測されて出力されてもよい。一試合を通したこの期間の長さを用いて、審判２２の動きを採点することができる。また例えば、複数の時刻における可視領域の重複部分（いずれの時刻でも可視となる領域）や、不可視領域の加算部分（いずれかの時刻で不可視となる領域）を示す情報が、可視性情報として出力されてもよい。

【0061】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0062】

１ 画像処理システム
１００ 撮影装置
１０１ オブジェクト情報
１０２ 視野情報
１０３ 仮想視点情報
１０４ 仮想視点画像
１１０ 画像処理装置
２００ 情報処理装置
３００ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】