特許 7418981 画像処理装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】画像処理装置、制御方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240115BHJP

   G06T 15/20 20110101ALI20240115BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

【請求項の数】 15

(21)【出願番号】P 2019117209

(22)【出願日】2019-06-25

(65)【公開番号】P2021005139

(43)【公開日】2021-01-14

【審査請求日】2022-06-24

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】伊藤 秀憲

【審査官】橘 高志

(56)【参考文献】

【文献】特表２０１８－５２３８６８（ＪＰ，Ａ）

【文献】特開２０１９－０３６７９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／２０

(57)【特許請求の範囲】

【請求項1】

撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得手段と、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出手段と、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも１つの成分が固定値になるように前記座標の値を修正する修正手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記複数の成分は、原点からの距離成分、角度成分、および高さを示す成分であり、
前記修正手段は、前記角度成分が固定値になるように前記座標の値を修正する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを少なくとも含む２以上の三次元モデルを重畳するモデル重畳手段をさらに有する
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて仮想視点画像を生成する生成手段をさらに有する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて生成された仮想視点画像を少なくとも含む２以上の仮想視点画像を重畳する重畳手段をさらに有する
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記修正手段は、第１の三次元モデルに対応する第１の注目対象物の移動方向に関する複数の成分のうち第１の成分と、前記第１の三次元モデルと前記モデル重畳手段によって重畳される第２の三次元モデルに対応する第２の注目対象物の移動方向に関する前記第１の成分とが同じ固定値になるように、前記第１の注目対象物及び前記第２の注目対象物の座標の値を修正する、ことを特徴とする請求項３に記載の画像処理装置。

【請求項7】

前記修正手段は、第１の仮想視点画像に含まれる第１の注目対象物の移動方向に関する複数の成分のうち第１の成分と、前記第１の仮想視点画像と前記重畳手段によって重畳される第２の仮想視点画像に含まれる第２の注目対象物の前記第１の成分とが同じ固定値になるように、前記第１の注目対象物及び前記第２の注目対象物の座標の値を修正する、ことを特徴とする請求項５に記載の画像処理装置。

【請求項8】

前記座標の値の修正方法を指定する方法指定手段をさらに有し、
前記方法指定手段は、複数フレームにより構成される前記仮想視点画像に含まれる、前記複数フレームそれぞれの前記注目対象物の前記座標の値の修正方法については同一の修正方法を指定する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記複数の成分は時間によって変化する成分であり、
前記修正手段は、それぞれの時間における前記注目対象物の前記座標の値を修正する
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる前記三次元モデルのデータを取得する取得ステップと、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出ステップと、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも１つの成分が固定値になるように前記座標の値を修正する修正ステップと、
を含むことを特徴とする制御方法。

【請求項11】

コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項12】

撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得手段と、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出手段と、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも１つの成分に関する前記座標の値を修正する修正手段と、
前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを少なくとも含む２以上の三次元モデルを重畳するモデル重畳手段とを有し、
前記修正手段は、第１の三次元モデルに対応する第１の注目対象物の移動方向に関する複数の成分のうち第１の成分に関する前記座標を、前記第１の三次元モデルと前記モデル重畳手段によって重畳される第２の三次元モデルに対応する第２の注目対象物の移動方向に関する前記第１の成分に基づいて、修正する
ことを特徴とする画像処理装置。

【請求項13】

撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得ステップと、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出ステップと、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも１つの成分に関する前記座標の値を修正する修正ステップと、
前記修正ステップによって前記座標の値が修正された前記注目対象物の三次元モデルを少なくとも含む２以上の三次元モデルを重畳するモデル重畳ステップとを有し、
前記修正ステップでは、第１の三次元モデルに対応する第１の注目対象物の移動方向に関する複数の成分のうち第１の成分に関する前記座標を、前記第１の三次元モデルと前記モデル重畳ステップによって重畳される第２の三次元モデルに対応する第２の注目対象物の移動方向に関する前記第１の成分に基づいて、修正する
ことを特徴とする制御方法。

【請求項14】

撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得手段と、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出手段と、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも１つの成分に関する前記座標の値を修正する修正手段と、
前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて仮想視点画像を生成する生成手段と、
前記修正手段によって前記座標の値が修正された前記注目対象物の三次元モデルを用いて生成された仮想視点画像を少なくとも含む２以上の仮想視点画像を重畳する重畳手段とを有し、
前記修正手段は、第１の三次元モデルに対応する第１の注目対象物の移動方向に関する複数の成分のうち第１の成分に関する前記座標を、前記第１の三次元モデルと前記重畳手段によって重畳される第２の三次元モデルに対応する第２の注目対象物の移動方向に関する前記第１の成分に基づいて、修正する
ことを特徴とする画像処理装置。

【請求項15】

撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得ステップと、
前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出ステップと、
前記注目対象物の移動方向に関する複数の成分のうち少なくとも１つの成分に関する前記座標の値を修正する修正ステップと、
前記修正ステップによって前記座標の値が修正された前記注目対象物の三次元モデルを用いて仮想視点画像を生成する生成ステップと、
前記修正ステップによって前記座標の値が修正された前記注目対象物の三次元モデルを用いて生成された仮想視点画像を少なくとも含む２以上の仮想視点画像を重畳する重畳ステップとを有し、
前記修正ステップでは、第１の三次元モデルに対応する第１の注目対象物の移動方向に関する複数の成分のうち第１の成分に関する前記座標を、前記第１の三次元モデルと前記重畳ステップによって重畳される第２の三次元モデルに対応する第２の注目対象物の移動方向に関する前記第１の成分に基づいて、修正する
ことを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オブジェクトの座標情報を処理するための技術に関する。

【背景技術】

【0002】

複数のカメラを異なる位置に設置して複数視点で同期撮像し、その撮像により得られた複数視点画像を用いて三次元モデルを生成し、三次元モデルのデータを基に仮想視点画像を生成する技術がある。

【0003】

一方、二つの画像を重畳表示して効果的に視聴者に提供する技術として、特許文献１には、あらかじめ蓄積した過去の競技映像を現在の競技映像に重ね合わせて表示する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１０１４００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

仮想視点画像をより効果的に視聴者に提供するための方法の一つとして、二つの仮想視点画像を重畳して表示させる方法が考えられる。例えば、陸上の投てき競技における複数の試技の仮想視点画像を重畳表示することで、複数の試技の比較を容易にすることができる。ここで、陸上の投てき競技において視聴者が注目するのは投てき物のような注目対象物の飛距離である。つまり、注目対象物の移動に関して、視聴者が注目する方向（注目方向）は、主に注目対象物の飛距離の測定方向である。しかしながら、仮想視点画像における注目対象物の移動方向の成分には注目方向の成分以外の成分が含まれることがある。このため、例えば、比較のために、投てき競技の二つの異なる試技の仮想視点画像を重畳して表示させても、視聴者がそれぞれの試技の注目対象物の注目方向における動きを比較するのが難しくなることがある。

【0006】

本発明は上記の課題に鑑み、注目対象物の動きを効果的に示すための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係わる画像処理装置は、撮像手段による複数の方向からの撮像によって得られた撮像画像の画像データに基づいて生成された対象物の三次元モデルであって、仮想視点画像の生成に用いられる三次元モデルのデータを取得する取得手段と、前記三次元モデルのうち、注目対象物の三次元モデルの位置を示す三次元の座標を検出する検出手段と、前記注目対象物の移動方向に関する複数の成分のうち少なくとも１つの成分が固定値になるように前記座標の値を修正する修正手段と、を有することを特徴とする。

【発明の効果】

【0008】

本開示の技術によれば、注目対象物の動きを効果的に示すための技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】システムの構成を示す図。

【図2】画像処理装置のハードウェア構成を示す図。

【図3】画像処理装置の機能ブロックを示す図。

【図4】注目対象物の座標を示す図。

【図5】注目対象物の軌跡を示す図。

【図6】画像処理装置の動作を示すフローチャート。

【図7】修正処理前後の注目対象物の軌跡を示す図。

【図8】画像処理装置の機能ブロックを示す図。

【図9】画像処理装置の動作を示すフローチャート。

【図10】修正処理前後の注目対象物の軌跡を示す図。

【図11】画像処理装置の動作を示すフローチャート。

【図12】修正処理後の注目対象物の軌跡を示す図。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。以下の実施形態の説明では、陸上の投てき競技を撮像対象として説明するが、これに限定されるものではなく、ある空間内を移動する物体に注目する任意のケースに対し適用可能である。

【0011】

また、以下の実施形態では、参照符号において番号の後ろに付与したアルファベットのみが異なる用語については、同一機能を持つ装置の別インスタンスを示すものとする。例えば、カメラ１０２Ａとカメラ１０２Ｂは同一の機能を持つ別インスタンスを示している。なお、同一の機能を持つとは、少なくとも特定の機能（撮像機能など）を有することを指すものであり、例えばカメラ１０２Ａとカメラ１０２Ｂが有する機能及び性能の一部が異なっていてもよい。

【0012】

＜実施形態１＞
はじめに、仮想視点画像の概要を簡単に説明する。複数のカメラを異なる位置に設置して複数視点で同期撮像し、その撮像により得られた複数視点画像を用いて、実在しないカメラの視点から見た仮想視点画像を生成する技術がある。この技術によれば、例えば、陸上競技のハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。なお、仮想視点画像は、動画であっても、静止画であってもよい。以下の実施形態では、仮想視点画像は動画であるものとして説明を行う。

【0013】

本実施形態では、仮想視点画像の生成に用いられる三次元モデルに含まれる注目対象物の移動方向の特定の成分を修正する例を説明する。注目対象物は、例えば、陸上の投てき競技における投てき物のようなオブジェクトである。注目対象物の座標変化のうち特定の方向の成分を修正することで、視聴者が注目する方向における注目対象物の移動を視聴者が比較しやすくすることができる。

【0014】

［システム構成］
図１は、仮想視点画像を生成するシステム１００の一例を示す図である。システム１００は、競技場を撮像対象とした撮像対象フィールド１０１の周囲に配置されている撮像手段であるカメラ１０２Ａ～１０２Ｌと、画像処理装置２００とを有する。

【0015】

カメラ１０２は、注目対象物が存在する撮像対象フィールド１０１を撮像し、撮像画像を生成する撮像手段である。この撮像画像は、三次元モデル生成のために用いる画像であるため、撮像対象フィールド１０１における複数の異なる位置から撮像した画像である。システム１００は複数のカメラを有する。カメラ１０２は、データ伝送のための入出力ハードウェアを備えている。カメラ１０２同士は例えばネットワークケーブルを使ってリング型の接続（不図示）がされており、ネットワークを介して隣のカメラへ画像を順次伝送するように構成されている。カメラ１０２のうちの一つは画像処理装置２００に接続されている。カメラ１０２と画像処理装置２００との接続は、例えば映像信号そのものを伝送するＳＤＩケーブルでもよいし、撮像画像を画像データとしてネットワーク伝送するためのＥｔｈｅｒｎｅｔケーブルまたは無線ＬＡＮ接続でもよい。ＳＤＩはＳｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅの略称であり、ＬＡＮはＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略称である。

【0016】

［ハードウェア構成］
図２は、本実施形態における画像処理装置２００のハードウェア構成の一例を示す図である。本実施形態の画像処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７、及びバス２０８を有する。

【0017】

ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２に格納されたプログラムを実行し、画像処理装置２００の各構成部を統括的に制御するプロセッサである。
ＣＰＵ２０１は、画像処理装置２００の全体を制御することで、図３に示す画像処理装置２００の各部を実現する。なお、画像処理装置２００は、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。そしてＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0018】

ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。またＲＯＭ２０２は、後述する座標を変更する上で必要なデータを格納する。例えば、座標の変更方法を示すデータを格納する。

【0019】

ＲＡＭ２０３は、ＲＯＭ２０２または補助記憶装置２０４から供給されるプログラム、データ、及び通信Ｉ／Ｆ２０７を介して外部から供給されるデータなどを一時記憶する。

【0020】

補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0021】

表示部２０５は、例えば液晶ディスプレイやＬＥＤ等であり、ユーザが画像処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等であり、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。

【0022】

通信Ｉ／Ｆ２０７は、画像処理装置２００の外部の装置との通信に用いられる。例えば、画像処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。画像処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、画像処理装置２００の各部をつないで情報を伝達する。

【0023】

本実施形態では、画像処理装置２００は表示部２０５と操作部２０６とを有するものとして説明するが、表示部２０５と操作部２０６との少なくとも一方は画像処理装置２００の外部に別の装置として存在していてもよい。ＣＰＵ２０１は表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作してもよい。

【0024】

［機能構成］
図３は本実施形態における画像処理装置２００の機能構成を示す図である。本実施形態の画像処理装置２００は、三次元モデル生成部３０１と、座標検出部３０２と、 座標修正部３０５と、修正座標決定部３０４と、修正方法指定部３０３と、仮想視点画像生成部３０６と、を有する。

【0025】

三次元モデル生成部３０１は、カメラ１０２が撮像して生成した撮像画像の画像データを取得し、仮想視点画像を生成するための三次元モデルを生成する。画像データの取得方法はカメラ１０２からの入力に限らない。他にも例えば、三次元モデル生成部３０１は、任意の記憶装置に予め記憶されている動画データまたは画像データを三次元モデル生成のために用いてもよい。三次元モデル生成部３０１は、生成した三次元モデルを座標検出部３０２および座標修正部３０５に出力する。

【0026】

本実施形態では三次元モデルの生成方法については特に限定しないが、ここで一例として視体積交差法による三次元モデルの生成方法について説明する。視体積交差法では、まず三次元モデルの生成対象の三次元空間にボクセル（Ｖｏｘｅｌ）と呼ばれる単位体積の直方体を敷き詰める。そして、各カメラの撮像画像により抽出された注目対象の前景シルエットを各カメラの撮像範囲のボクセル群に投影し、前景シルエットから外れるボクセルを削り落とす。この処理を全カメラについて行うことで、三次元モデルを生成する。また、同時に各カメラの前景シルエットに含まれる画像情報をテクスチャ画像として生成された三次元モデルに貼り付けることで三次元モデルの着色を行う。前景シルエットの抽出方法の一例としては背景差分法がある。背景差分法では、ある期間内の撮像画像を取得し、画素値の変化が閾値以内である画素情報により背景画像を生成する。そして背景画像と撮像画像を比較することで前景シルエットを抽出する。なお、本実施形態では三次元モデルをボクセルとして表すがこれに限られない。他にも例えば、三次元空間を構成する要素として点を用いて、三次元モデルを点群で表してもよい。

【0027】

座標検出部３０２は、三次元モデルの注目対象物の座標を検出する。注目対象物は、三次元モデル内に複数のボクセルの集合として存在する。座標検出部３０２は、検出した注目対象物の座標を修正座標決定部３０４に対して出力する。

【0028】

注目対象物の座標を検出するためには、１つまた複数のオブジェクトを含む三次元モデルから注目対象物であるオブジェクトを抽出する。注目対象物の抽出手法については特に限定しない。例えば一例として、注目対象物の特徴量をあらかじめ抽出して複数のパターンを作成しておき、パターンマッチングによって画像内から注目対象物を抽出する手法がある。この手法を用いる場合は三次元モデル生成時の各カメラの撮像画像から注目対象物を抽出する方がより好適に注目対象物を抽出することが可能である。また、別の方法として、注目対象物が時間経過により連続した座標となることを利用したトラッキングによる方法を用いてもよい。

【0029】

修正方法指定部３０３は、注目対象物の座標の成分の修正方法を指定する。即ち、注目対象物を構成するボクセル群の座標を修正する方法を指定する。注目対象物の座標および座標の修正方法については後述する。

【0030】

修正座標決定部３０４は、注目対象物の座標および修正方法に基づき、三次元モデル空間内で注目対象物を構成するボクセル群の座標の修正値を算出し、修正後の座標を決定する。修正座標決定部３０４が決定した修正後の座標は座標修正部３０５に出力される。

【0031】

座標修正部３０５は、三次元モデルおよび注目対象物の修正後の座標に基づき、三次元モデル空間内で注目対象物を構成するボクセル群の位置変化を示す座標の成分値を修正して、位置を変更する。座標修正部３０５は、座標が修正された注目対象物を含む三次元モデルを仮想視点画像生成部３０６に出力する。

【0032】

仮想視点画像生成部３０６は、位置座標が変更された注目対象物を含む三次元モデルに基づき仮想視点画像を生成する。仮想視点画像の生成方法については特に限定しないが、例えばレイトレーシング法により、三次元モデル空間内のある仮想視点から三次元モデルを撮像することを模擬することにより生成する方法を用いてよい。また、仮想視点の位置は、不図示の仮想視点位置指示入力により三次元モデル空間内の任意の位置に移動できるものとする。

【0033】

なお、本実施形態では三次元モデルの生成は、画像処理装置２００の三次元モデル生成部３０１によって行われる。他にも画像処理装置２００は、他の画像処理装置によって生成された三次元モデルを取得し、その三次元モデルの位置座標を修正する形態でもよい。

【0034】

また、本実施形態では仮想視点画像の生成は、画像処理装置２００の仮想視点画像生成部３０６によって行われるものとして説明するが、仮想視点画像生成部と同様の機能が含まれる他の画像処理装置によって行われてもよい。

【0035】

［注目対象物の位置の座標］
図４は、陸上競技の投てき競技を撮像した撮像対象空間４０１に対して円筒座標系を適用して、注目対象物４０２の位置の座標４０４を表現する方法を説明するための図である。

【0036】

注目対象物４０２は、投てき競技における投てき物（円盤）である。また、本実施形態では、注目対象物の位置の座標４０４を表すために、距離成分（動径成分）、角度成分、高さ成分で表される円筒座標系を適用する。陸上競技の投てき競技を撮像した撮像対象空間４０１に対して円筒座標系を適用した場合、原点は、選手が投てきを行うサークルの中心４０３である。距離成分４０５は、原点を起点として投てき競技の飛距離の測定方向の成分である。角度成分４０６は、フィールドの有効区域を形成するラインの右側を基準として反時計まわり方向の角度成分である。高さ成分４０７は、投てき競技のフィールドが存在する平面を基準としてその上面への長さ方向の成分である。

【0037】

この座標系において、例えば図４に示した注目対象物４０２の位置の座標４０４は、距離成分４０５の値はｒ（ｔ）、角度成分４０６の値はθ（ｔ）、高さ成分４０７の値はｚ（ｔ）である。このように、夫々の成分は時間ｔにより一意に決まる値として表現することが出来る。即ち、注目対象物の時間ｔにおける座標ｐ（ｔ）は、式１のように示すことが出来る。

【0038】

【数1】

【0039】

注目対象物４０２の座標４０４は、注目対象物４０２を構成するボクセルの幾何平均値を求めることにより算出する。なお、注目対象物４０２の座標４０４の算出方法はこれに限るものではなく、例えば構成ボクセルの内、原点からのユークリッド距離が最大となるボクセルの座標を採用する方法も用いてもよい。

【0040】

図５は、図４で示した円筒座標系が適用された投てき競技の撮像対象空間４０１の、ｚ＝０における平面を示す図である。図５の平面に注目対象物である投てき物の移動の軌跡が投影されている。

【0041】

図５（ａ）が示す注目対象物Ａの軌跡および図５（ｂ）が示す注目対象物Ｂの軌跡は異なる投てき競技における試技の注目対象物の軌跡を示している。図５に示すように、異なる試技において、それぞれの注目対象物の軌跡の方向が大きく異なると、視聴者は、注目する中心からの距離成分４０５の大きさを視覚的に比較することが難しくなる。そこで、本実施形態は、投てき物の座標における距離成分４０５のような視聴者が注目する座標成分（注目方向の成分）を比較し易くなるように注目対象物の位置座標の修正を行う形態を説明する。

【0042】

［フローチャート］
図６は、注目対象物の移動方向の成分を修正する一連の処理を示すフローチャートである。図６のフローチャートで示される一連の処理は、ＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図６におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

【0043】

Ｓ６０１において修正方法指定部３０３は、注目対象物の座標の修正方法の指定を行う。修正方法は、例えば、ユーザが指示した修正方法が指定される。複数のフレームにより構成される仮想視点画像のように、生成される仮想視点画像が動画である場合がある。この場合、修正方法指定部３０３は、一連の複数フレーム画像のそれぞれに含まれる注目対象物の座標の修正方法には、同一の修正方法を適用する。一連の複数フレームにより構成される仮想視点画像（仮想視点映像）は、例えば、投てき競技において、注目対象物である投てき物が投げられる瞬間から、投てき物がフィールド上に着地する瞬間までの動画のことである。

【0044】

本実施形態で指定される修正方法は、注目対象物の位置の座標ｐ（ｔ）のうちの少なくとも１つの成分を固定値とする方法である。詳細は後述する。

【0045】

Ｓ６０２では、指定された修正方法を用いて注目対象物の座標を修正し、仮想視点画像を生成する処理をする。図６（ｂ）は本実施形態におけるＳ６０２の処理の詳細を説明するためのフローチャートである。

【0046】

Ｓ６０３において三次元モデル生成部３０１は、カメラ１０２の撮像によって生成された撮像画像の画像データを取得する。Ｓ６０４において三次元モデル生成部３０１は、Ｓ６０３において取得された画像データに基づき三次元モデルを生成する。なお、他の画像処理装置で生成された三次元モデルの注目対象物の座標を修正する場合は、Ｓ６０３およびＳ６０４の代わりに修正する三次元モデルが取得される。

【0047】

Ｓ６０５において座標検出部３０２は、三次元モデルに含まれる注目対象物の位置の座標を、式１に示すように円筒座標系によって検出する。

【0048】

Ｓ６０６において修正座標決定部３０４は、Ｓ６０１において指定された修正方法に基づき注目対象物の座標の修正値を算出して決定する。本実施形態の修正座標決定部３０４は、座標ｐ（ｔ）を構成する３つ成分の内の注目方向の成分以外の成分を固定値とする。注目方向の成分をどの成分とするかは、例えば修正座標決定部３０４が受け付けたユーザ操作に基づいて指定する。ただし注目方向の成分の指定方法はこれに限定されない。

【0049】

投てき競技を例に説明すると、注目対象物である投てき物の位置を示す座標ｐ（ｔ）のうち注目方向の成分は、距離成分４０５および高さ成分４０７である。この場合、注目成分以外の成分である角度成分４０６は、視聴者にとって注目対象物の注目方向の成分を比較する妨げとなる。このため、投てき競技では角度成分４０６の値θ（ｔ）を、時間ｔによって変化する値ではなく、時間ｔに関らず一定の値である固定値θ₀に修正する。θ₀は、例えば、有効フィールドの中心を示す角度とする。修正後の時間ｔにおける注目対象物の座標は式２に示すｐ’（ｔ）となる。

【0050】

【数2】

【0051】

なお、本実施形態では、角度成分４０６を固定値するものとして説明するが、固定値にする成分は角度成分４０６に限られない。また、本実施形態では位置の座標の３つの成分のうちの１つを修正するが、２つの成分を修正してもよい。

【0052】

Ｓ６０７において座標修正部３０５は、注目対象物の座標の修正を行う。本ステップではＳ６０６で求められた式２の座標ｐ’（ｔ）を用いて、時間ｔにおける注目対象物を構成するボクセル群の三次元モデルにおける空間内の位置の座標を修正する。ｐ’（ｔ）はボクセル群の幾何平均による座標を示すものであるため、幾何平均座標からの相対位置により各ボクセルの座標修正後の座標が決まる。

【0053】

複数フレームにより構成される一連の画像から得られた三次元モデルにおいては、座標の修正方法は、一連の複数フレームに対し同一の修正方法が適用される。動画の仮想視点画像を生成する場合、座標修正部３０５は指定された修正方法によって、フレーム単位で注目対象物の座標の修正を行う。即ち、フレームのそれぞれの時間に応じた座標ｐ（ｔ）をｐ’（ｔ）に修正される。こうして、注目対象物を構成するボクセル群の三次元モデル空間の移動方向のうち、視聴者が注目方向の成分を比較しやすくなるように座標が修正されることになる。

【0054】

図７は、座標の修正が行われる前の注目対象物の軌跡と、本ステップによって座標が修正された後の注目対象物の軌跡と、を円筒座標のｚ＝０の平面に投影して示した図である。図７（ａ）は、図５（ａ）で示した注目対象物Ａの座標が修正された結果を示す図であり、図７（ｂ）は、図５（ｂ）で示した注目対象物Ｂの座標が修正された結果を示す図である。

【0055】

図７（ａ）における修正される前の注目対象物Ａの位置の軌跡５０１は、投てきを行った瞬間である時間ｔ０の座標７０５から、時間ｔ１の座標５０２、時間ｔ２の座標５０３を経由して、着地の瞬間である時間ｔ３の座標５０４まで移動を示す。この注目対象物Ａの軌跡を示す座標について、角度成分４０６の値を有効フィールドの中心になるθ₀に修正した後の軌跡が、軌跡７０１である。時間ｔ０における注目対象物Ａの座標の距離成分４０５はｒ（ｔ０）＝０であるため修正前後で位置は変わらない。時間ｔ１における座標５０２は座標７０２に、時間ｔ２における座標５０３は座標７０３に、時間ｔ３における座標５０４は座標７０４にそれぞれ修正されている。図７（ｂ）に示す注目対象物Ｂついても同様である。この座標が修正された注目対象物を有する三次元モデルを用いることで、注目対象物が注目方向以外の方向成分は時間ｔによって変化しないで移動する仮想視点画像を生成することができる。

【0056】

Ｓ６０８において仮想視点画像生成部３０６は、位置が修正された注目対象物を含む三次元モデルを用いて仮想視点画像を生成する。生成された仮想視点画像は、画像処理装置の不図示の表示制御部によって、表示部２０５または画像処理装置２００の外部にある他の表示装置に表示される。

【0057】

以上説明したように本実施形態によれば、視聴者が注目対象物の注目方向の成分の比較が容易となるような三次元モデルを生成することが出来る。このため、三次元モデルを用いて仮想視点画像を生成することにより、視聴者が、それぞれの仮想視点画像に含まれる注目対象物の注目方向を比較することが容易にすることができる。

【0058】

＜実施形態２＞
実施形態２では、２つの仮想視点画像それぞれに存在する注目対象物の注目方向以外の座標成分を同じ固定値に変更し、重畳して表示する形態について説明する。本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

【0059】

図８は、本実施形態における画像処理装置８００の機能構成を示すブロック図である。実施形態１と同一の処理ブロックについては同じ番号を付して説明を省略する。本実施形態の画像処理装置８００は、重畳部８０１を有する。重畳部８０１は、生成された複数の仮想視点画像を重畳する処理を行う。

【0060】

重畳されるそれぞれの仮想視点画像の三次元モデル空間は、その座標系が合うように生成される。例えば、投てき競技を例に説明すると、重畳されるそれぞれの仮想視点画像の三次元モデル空間の座標系は、図４に示した円筒座標系を用いて同一の軸設定が行われる。つまり、それぞれ三次元モデル空間のサークルの中心４０３がそれぞれの座標系の原点として設定される。そして角度成分４０６は、フィールドの有効区域を形成するラインの右側を基準として反時計まわり方向の成分とする。距離成分４０５は原点からフィールドが存在する平面と平行な方向の成分とし、高さ成分４０７は、フィールドが存在する平面を基準としてその上面方向の成分となるようにそれぞれの座標軸を設定する。重畳されるそれぞれの仮想視点画像の三次元モデル空間の座標系が同じように設定されるため、座標の修正方法について、重畳される仮想視点画像の三次元モデルに共通した方法を用いることができる。

【0061】

また、重畳される仮想視点画像が一連の仮想視点画像で構成される動画である場合、その重畳される仮想視点画像のスタートタイミングを合わせておくものとする。例えば、投てき競技の場合は、仮想視点画像生成部３０６は投てき物が競技者から離れたタイミングをスタートタイミングとするように重畳されるそれぞれの仮想視点画像を生成する。これにより、２つの一連の仮想視点画像を重畳することによる比較効果が得られる。

【0062】

重畳部８０１が２つの仮想視点画像を重畳する場合、画像処理装置２００と同一の機能を有する複数の画像処理装置でそれぞれ、重畳される仮想視点画像を生成し、画像処理装置８００が２つの仮想視点画像を取得して重畳してもよい。２つの仮想視点画像を比較することを目的として重畳処理する場合は、２つの仮想視点画像は同一の仮想視点から見た仮想視点画像である。この場合は、仮想視点画像を生成するそれぞれの画像処理装置が指示する仮想視点の位置および向きは、同一の位置および向きとなるように指示される。

【0063】

図９は、仮想視点画像を生成して仮想視点画像を重畳処理するまでの本実施形態における一連の処理を説明するためのフローチャートである。本実施形態では、注目対象物Ａを含む三次元モデルを用いて仮想視点画像Ａを生成し、注目対象物Ｂを含む三次元モデルを用いて仮想視点画像Ｂを生成する。そして、仮想視点画像Ａと仮想視点画像Ｂとを重畳する場合について説明する。また、本実施形態においても撮像対象は投てき競技であるものとして説明する。

【0064】

Ｓ９０１はＳ６０１と同様の処理であり、修正方法指定部３０３は、注目対象物の座標の修正方法を指定する。本実施形態では、以後のステップによって仮想視点画像が２つ生成され、２つの仮想視点画像を重畳する処理が行われる。このため、一方の仮想視点画像Ａに含まれる注目対象物Ａと、他方の仮想視点画像Ｂに含まれる注目対象物Ｂのそれぞれの座標の修正方法を修正方法指定部３０３は指定する。修正方法指定部３０３は、注目対象物Ａの修正方法と注目対象物Ｂの修正方法を同一の方法に指定する。

【0065】

また、本実施形態で指定される修正方法は、実施形態１と同様に注目対象物の位置の座標の成分のうち角度成分４０６を固定値θ₀とする方法を指定するものとして説明する。

【0066】

Ｓ９０２は、注目対象物Ａを含む三次元モデルを生成し、その三次元モデルに基づき仮想視点画像Ａを生成するステップである。処理の詳細は、図６（ｂ）の処理と同一である。Ｓ９０２では座標検出部３０２は、注目対象物Ａの位置の座標を検出する。時間ｔにおける注目対象物Ａの座標ｐ_A（ｔ）は式３のように示すことができる。なお、時間ｔは、注目対象物Ｂを含む三次元モデルとスタートタイミングを合わせたあとの時間である。

【0067】

【数3】

【0068】

そして、修正座標決定部３０４は、Ｓ９０１において指定された修正方法に基づき、角度成分θ_A（ｔ）を固定値θ₀に置き換えて、注目対象物Ａの座標の修正値を決定する。修正後の注目対象物Ａの座標は式４に示すｐ’_A（ｔ）となる。

【0069】

【数4】

【0070】

座標修正部３０５は式４の座標ｐ_A’（ｔ）を用いて、時間ｔにおける注目対象物Ａの三次元モデル空間内の位置の座標を修正する。仮想視点画像生成部３０６は、位置が修正された注目対象物Ａを含む三次元モデルを用いて仮想視点画像Ａを生成する。

【0071】

Ｓ９０３は、注目対象物Ｂを含む三次元モデルを生成し、その三次元モデルに基づき仮想視点画像Ｂを生成するステップである。処理の詳細は、図６（ｂ）の処理と同一である。Ｓ９０３では座標検出部３０２は、注目対象物Ｂの位置の座標を検出する。時間ｔにおける注目対象物Ｂの座標ｐ_B（ｔ）は式５のように示すことができる。

【0072】

【数5】

【0073】

修正座標決定部３０４は、Ｓ９０１において指定された修正方法に基づき角度成分θ_B（ｔ）を固定値θ₀に置き換えて注目対象物Ｂの座標の修正値を決定する。修正後の注目対象物Ｂの時間ｔにおける座標は式６に示すｐ’_B（ｔ）となる。

【0074】

【数6】

【0075】

座標修正部３０５は式６の座標ｐ_B’（ｔ）を用いて、時間ｔにおける注目対象物Ｂの三次元モデル空間内の位置の座標を修正する。仮想視点画像生成部３０６は、位置が修正された注目対象物Ｂを含む三次元モデルを用いて仮想視点画像Ｂを生成する。

【0076】

なお、本フローチャートではＳ９０２とＳ９０３は並列して処理を行うもとして示しているが、Ｓ９０２からＳ９０３の順番に処理を行ってもよい。またはＳ９０３からＳ９０２の順に処理を行ってもよい。

【0077】

Ｓ９０４において重畳部８０１は、仮想視点画像Ａと仮想視点画像Ｂとの重畳を行う。そして、重畳された仮想視点画像は、画像処理装置８００の不図示の表示制御部によって、表示部２０５または画像処理装置２００の外部にある他の表示装置に表示される。

【0078】

図１０は、注目対象物Ａおよび注目対象物Ｂの位置の軌跡を、円筒座標におけるｚ＝０の平面に投影して示した図である。図１０（ａ）は、座標の修正が行われる前の注目対象物ＡおよびＢの位置の軌跡を示す図である。軌跡１００１は、座標の修正が行われる前の注目対象物Ａの軌跡である。軌跡１００１は、投てきを行った瞬間である時間ｔ０の座標１００２から、時間ｔ１における座標１００３、時間ｔ２における座標１００４を経由して、着地の瞬間である時刻ｔ３における座標１００５まで移動する軌跡である。軌跡１００６は座標の修正が行われる前の注目対象物Ｂの軌跡である。軌跡１００６は、投てきを行った瞬間である時間ｔ０における座標１００２から、時間ｔ１における座標１００７、時間ｔ２における座標１００８を経由して、着地の瞬間である時刻ｔ４の座標１００９まで移動する軌跡である。

【0079】

図１０（ｂ）は、重畳処理され、座標の修正が行われた後の注目対象物ＡおよびＢの位置の軌跡を示す図である。図１０（ｂ）に示す軌跡１０１０および１０１５は、図１０（ａ）の注目対象物Ａおよび注目対象物Ｂのそれぞれの座標の時間ｔにおける角度成分の値θ（ｔ）を、有効フィールドの中心であるθ₀に修正した後の軌跡を示している。座標の修正が行われた後の注目対象物Ａの軌跡は軌跡１０１０であり、座標の修正が行われた後の注目対象物Ｂの軌跡が軌跡１０１５である。

【0080】

注目対象物Ａの軌跡１０１０について説明する。時間ｔ０における座標１０１１は、距離成分の値がｒ（ｔ０）＝０であるため修正前の座標１００２と同じである。時間ｔ１における修正前の座標１００３は座標１０１２に、時間ｔ２における修正前の座標１００４は座標１０１３に、時間ｔ３における修正前の座標１００５は座標１０１４にそれぞれ修正されている。

【0081】

次に、注目対象物Ｂの軌跡１０１５について説明する。時間ｔ０における座標１０１６は距離成分の値がｒ（ｔ０）＝０であるため修正前の座標１００２と同じである。時間ｔ１における修正前の座標１００７は座標１０１７に、時間ｔ２における修正前の座標１００８は座標１０１８に、時間ｔ４における修正前の座標１００９は座標１０１９にそれぞれ修正されている。図１０（ｂ）のように、位置の座標が修正された、注目対象物Ａが存在する仮想視点画像Ａ、および注目対象物Ｂが存在する仮想視点画像Ｂが重畳され、表示制御手段によって表示される。

【0082】

以上の説明したとおり本実施形態によれば、注目対象物ＡおよびＢが、距離成分、高さ成分のような注目方向の成分のみが時間変化して移動するような仮想視点画像を表示することができる。よって視聴者が複数の注目対象物の注目方向を比較しやすくすることができる。

【0083】

＜実施形態３＞
実施形態３では、重畳する２つの仮想視点画像のうち、一方の仮想視点画像の注目対象物の注目方向の成分以外の成分の値を、他方の仮想視点画像の同一の成分の値に合わせるようにして注目対象物の座標を修正する形態を説明する。

【0084】

本実施形態の画像処理装置の機能構成は画像処理装置８００と同様であるため説明は省略する。ただし、本実施形態では、後述するように、三次元モデルに含まれる注目対象物の座標の修正を行わない場合がある。その場合は、座標検出部３０２によって座標が検出された後の三次元モデルは、仮想視点画像生成部３０６に出力され、仮想視点画像生成部３０６は座標が修正されていない三次元モデルを用いて仮想視点画像を生成する。すなわち、修正方法指定部３０３、修正座標決定部３０４および座標修正部３０５が不要な場合がある。

【0085】

また、重畳される２つの仮想視点画像を、２つの異なる画像処理装置がそれぞれ生成し、画像処理装置８００が２つの仮想視点画像を取得して仮想視点画像を重畳してもよい。この場合も、注目対象物の座標の修正を行わないで仮想視点画像を生成する画像処理装置には、修正方法指定部３０３、修正座標決定部３０４、および座標修正部３０５は無くてもよい。

【0086】

図１１は、本実施形態における仮想視点画像を生成し仮想視点画像を重畳処理するまでの一連の処理を説明するためのフローチャートである。本実施形態では、注目対象物Ａを含む三次元モデルを用いて仮想視点画像Ａを生成し、注目対象物Ｂを含む三次元モデルを用いて仮想視点画像Ｂを生成する。そして、仮想視点画像Ａと仮想視点画像Ｂとを重畳する場合について説明する。また、本実施形態においても撮像対象空間は投てき競技であるものとして説明する。

【0087】

Ｓ１１０１はＳ６０１と同様の処理であり、修正方法指定部３０３は、注目対象物の座標の修正方法を指定する。本実施形態では修正方法指定部３０３は、注目対象物の注目方向の成分以外の座標成分を、重畳される他方の仮想視点画像に含まれる注目対象物の同一座標成分に合わせる方法を指定する。このため、座標の修正は、重畳する２つの仮想視点画像のうちどちらか一方の仮想視点画像に含まれる注目対象物に対してのみ行われる。本フローチャートでは注目対象物Ａの注目方向の成分以外の座標成分を、注目対象物Ｂの同一座標成分に合わせるように修正を行うものとして説明する。このため、修正方法指定部３０３は、注目対象物Ａの座標の修正方法を本実施形態の修正方法に指定する。本実施形態の修正方法の詳細は後述する。

【0088】

Ｓ１１０２は、注目対象物Ｂを含む仮想視点画像Ｂを生成するステップである。本ステップの処理の詳細は図６（ｂ）のフローチャートと同様である。ただし、本ステップでは注目対象物Ｂの座標成分の修正値を決定し（Ｓ６０６）、注目対象物の座標を修正する（Ｓ６０７）処理は行われないでスキップする。また、Ｓ１１０２によって座標検出部３０２が検出する注目対象物Ｂの時間ｔにおける座標ｐ_B（ｔ）は、式５と同一である。

【0089】

Ｓ１１０３は、注目対象物Ａを含む仮想視点画像Ａを生成するステップである。処理の詳細は、図６（ｂ）の処理と同様であるが、注目対象物Ａの座標の修正方法が実施形態１と異なる。Ｓ１１０３において座標検出部３０２は、注目対象物Ａの時間ｔにおける位置の座標ｐ_A（ｔ）を検出する。座標ｐ_A（ｔ）は式３と同じである。

【0090】

修正座標決定部３０４は、座標ｐ_A（ｔ）を修正するための修正値をＳ１１０１において指定された修正方法に基づき算出して決定する。本実施形態の修正方法は、注目対象物Ａの注目方向の成分以外の座標成分を、注目対象物Ｂの同一座標成分に合わせるように修正する方法である。また本実施形態では、注目方向の成分以外の座標成分として角度成分４０６を修正する方法を説明する。具体的には、修正座標決定部３０４は、注目対象物Ａの角度成分４０６の修正値θ_A’（ｔ）を式７に基づき算出する。

【0091】

【数7】

【0092】

式７に基づき算出される修正値θ_A’（ｔ）は、注目対象物の距離成分４０５が比較しやすくなるように定められた修正値である。このため、θ_A’（ｔ）は距離成分４０５に基づき算出される。

【0093】

修正座標決定部３０４は角度成分θ_A（ｔ）を、式７で示したθ_A’（ｔ）に置き換えて、修正後の注目対象物Ａの座標ｐ_A’（ｔ）を決定する。ｐ_A’（ｔ）は式８のとおりである。

【0094】

【数8】

【0095】

座標修正部３０５は式８の座標ｐ_A’（ｔ）を用いて、時間ｔにおける注目対象物Ａの三次元モデル空間内の位置の座標ｐ_A（ｔ）を座標ｐ_A’（ｔ）に修正する。

【0096】

図１２は、座標の修正がされていない注目対象物Ｂと、座標の修正が行われた注目対象物Ａとの位置の軌跡を、円筒座標におけるｚ＝０の平面に投影した図である。注目対象物Ａの修正が行われる前の注目対象物Ａの軌跡は、図１０（ａ）の注目対象物Ａの軌跡１００１と同一である。時間ｔ２、即ちｔ＝ｔ２における注目対象物Ａの角度成分の値θ_A（ｔ２）の修正値θ_A’（ｔ２）を算出する場合を例にとって、本実施形態における式７による座標の修正について説明する。

【0097】

注目対象物Ａの修正前の座標１００４における距離成分の値ｒ_A（ｔ２）が、注目対象物Ｂの距離成分の値と同じであるときの注目対象物Ｂの座標は図１２の座標１０２０である。つまり、注目対象物Ｂが座標１０２０に位置する時間をｔ２ａとすると、時間ｔ２ａが式７における時間ｔ_rA=rBである。従って、注目対象物Ｂの座標１０２０の角度成分の値であるθ_B（ｔ２ａ）が、注目対象物Ａの座標１００４における角度成分の値θ_A（ｔ２）に置き換えられ、注目対象物Ａの座標１００４が座標１２０４に修正されている。

【0098】

言い換えると、修正座標決定部３０４は、注目対象物Ｂの座標の距離成分の値が注目対象物Ａの時間ｔ２における距離成分の値ｒ_A（ｔ２）と等しくなるときの注目対象物Ｂの座標を求める。注目対象物Ｂがその座標に位置するときの時間ｔ２ａが式７におけるｔ_rA=rBである。よって、時間ｔ２ａにおける注目対象物Ｂの角度成分の値θ_B（ｔ２ａ）を導出し、θ_B（ｔ２ａ）を時間ｔ２における注目対象物の角度成分の修正値θ’_A（ｔ２）として決定する。なお、注目対象物Ａの飛距離が注目対象物Ｂの飛距離より長く、距離成分ｒ_B（ｔ）が距離成分ｒ_A（ｔ２）と等しくなる時間が無い場合は、θ’_A（ｔ２）は例えばθ_A（ｔ）をそのまま用いればよい。また例えば、注目対象物Ａの飛距離が注目対象物Ｂの飛距離を超える場合において注目対象物Ａの位置が不連続に変化することを避けるために、θ’_A（ｔ２）には、注目対象物Ｂが着地した時刻ｔｘにおけるθ_B（ｔｘ）を用いてもよい。

【0099】

時間ｔ１における修正前の座標１００３、時間ｔ３における座標１００５についても同様の方法により、それぞれ時間ｔ１の座標は座標１２０３に、時間ｔ３の座標は座標１２０５に修正されている。

【0100】

図１０（ａ）に示した注目対象物Ａの軌跡に対し、図１２の注目対象物Ａの軌跡は、距離成分のｒ_A（ｔ）は修正前と変わらないが、角度成分のθ_A（ｔ）が注目対象物Ｂに合わせて修正されている様子が分かる。

【0101】

図１２のように、位置の座標が修正された注目対象物Ａが存在する仮想視点画像Ａと、および位置が修正されていない注目対象物Ｂが存在する仮想視点画像Ｂとが重畳された仮想視点画像が表示制御手段によって表示部に表示される。

【0102】

動画の仮想視点画像を生成する場合、座標修正部３０５はＳ１１０１において指定された修正方法によって、フレーム単位で注目対象物Ａの座標の修正を行う。仮想視点画像生成部３０６は、位置が修正された注目対象物Ａを含む三次元モデルを用いて仮想視点画像Ａを生成する。

【0103】

Ｓ１１０４において重畳部８０１は、仮想視点画像Ａと仮想視点画像Ｂとの重畳を行う。なお、本フローチャートではＳ１１０１とＳ１１０２は並列して処理を行うもとして示しているが、Ｓ１１０１からＳ１１０２の順番に処理を行ってもよい。

【0104】

以上説明したように本実施形態によれば、視聴者が注目方向の移動量の認識が容易な仮想視点画像を生成することが出来る。さらに重畳処理をすることによって、視聴者が２つの注目対象物ＡおよびＢの注目方向を比較しやすい仮想視点画像を生成することが出来る。

【0105】

＜その他の実施形態＞
実施形態２および実施形態３では、２つの仮想視点画像を重畳する例について説明したが、３以上の仮想視点画像を重畳するケースに対しても適用可能である。例えば、実施形態２においては、３つ目以降の仮想視点画像の注目対象物の座標についても他の仮想視点画像と同様に角度成分を固定値するように修正する。また、実施形態３においては、注目対象物Ｂの角度成分を基準として、３つ目以降の仮想視点画像に存在する注目対象物の角度成分を修正する。このように処理することで、３つ目以降の注目対象物の注目方向についても、視聴者が認識しやすい仮想視点画像を生成することが出来る。

【0106】

実施形態２および実施形態３では、複数の仮想視点画像を重畳する例について説明したが、三次元モデルを重畳するモデル重畳部をさらに有し、三次元モデルの段階で、２以上の三次元モデルを重畳してから、仮想視点画像を生成してもよい。この場合、モデル重畳部は、座標修正後の注目対象物を含む三次元モデルを取得して三次元モデルを重畳する。そして、仮想視点画像生成部３０６は、重畳処理された三次元モデルを取得して重畳処理された三次元モデルに基づきによる仮想視点画像を生成する。このように三次元モデルを重畳してから仮想視点画像を生成しても、実施形態２または３と同等の効果が得られる。

【0107】

また、仮想視点画像において複数の注目対象物を表示する場合に、それらの位置を合わせて重畳してもよいし、それらの位置を所定量ずらして重畳してもよい。これにより、それぞれの注目対象物の状態を認識しやすくできる。また、複数の注目対象物に対応する複数の３次元モデルや複数の仮想視点画像を並べて表示させてもよい。

【0108】

上記の実施形態では座標系には円筒座標を用いて注目対象物の位置を特定する方法を説明したが、高さを示す成分を角度φで示す球座標系によって注目対象物の位置の座標を示してもよい。または、デカルト座標系で注目対象物の位置を表してもよい。

【0109】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0110】

２００ 画像処理装置
１０２ カメラ
３０１ 三次元モデル生成部
３０２ 座標検出部
３０５ 座標修正部
４０２ 注目対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】