特許 7514346 画像処理装置及び方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-02

(45)【発行日】2024-07-10

(54)【発明の名称】画像処理装置及び方法、プログラム

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20240703BHJP

   H04N 21/262 20110101ALI20240703BHJP

   G06T 15/20 20110101ALI20240703BHJP

   G06T 19/00 20110101ALI20240703BHJP

【ＦＩ】

H04N21/2343

H04N21/262

G06T15/20 500

G06T19/00 A

【請求項の数】 12

(21)【出願番号】P 2023020969

(22)【出願日】2023-02-14

(62)【分割の表示】P 2019025784の分割

【原出願日】2019-02-15

(65)【公開番号】P2023057124

(43)【公開日】2023-04-20

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】水野 祥吾

【審査官】大西 宏

(56)【参考文献】

【文献】特開平１０－１９１２６１（ＪＰ，Ａ）

【文献】特開２００６－１１５２９８（ＪＰ，Ａ）

【文献】特開２０１８－０３６９５５（ＪＰ，Ａ）

【文献】特開２０１８－０９３３１２（ＪＰ，Ａ）

【文献】国際公開第２０１８／０３０２０６（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１９９０５２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｇ０６Ｔ １５／００ －１７／００

Ｇ０６Ｔ １９／００ －１９／２０

(57)【特許請求の範囲】

【請求項1】

仮想視点画像の表示の間にユーザによる仮想視点の変更指示を受け付ける受付手段と、
前記変更指示により前記仮想視点を変更したときの仮想視点画像の第１再生時刻から所定時間を差し引いた第２再生時刻に対応する仮想視点画像であって、当該変更指示による変更後の仮想視点に対応した仮想視点画像を生成する生成手段と、を備え、
前記生成手段により生成される仮想視点画像を用いて前記表示を継続することを特徴とする画像処理装置。

【請求項2】

前記変更後の仮想視点に関連付けて前記所定時間が記憶されていることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記所定時間は、前記変更指示による変更前の仮想視点の撮像範囲と前記変更後の仮想視点の撮像範囲との重複率に基づいて決定されることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記所定時間は、前記重複率が高いほど長くなることを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記所定時間は、前記変更指示による変更前の仮想視点と前記変更後の仮想視点との距離に基づいて決定されることを特徴とする請求項１または２に記載の画像処理装置。

【請求項6】

前記所定時間は、前記距離が長いほど長くなることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

仮想視点の変更指示を受け付ける受付手段と、
前記変更指示による変更後の仮想視点に関連付けられた再生時刻の当該変更後の仮想視点に対応した仮想視点画像を生成する生成手段と、を備え、
前記変更後の仮想視点に関連付けて複数のハイライトシーンの時刻が記憶されており、
前記変更指示は、前記複数のハイライトシーンの時刻から１つの時刻を前記再生時刻として特定する指示を含むことを特徴とする画像処理装置。

【請求項8】

前記変更指示は、前記仮想視点と異なる仮想視点に切り替える指示であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記生成手段は、前記変更指示を受け付けていない場合、前記変更指示による変更前の仮想視点に対応する仮想視点画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

画像処理装置が実行する画像処理方法であって、
仮想視点画像の表示の間にユーザによる仮想視点の変更指示を受け付ける受付工程と、
前記変更指示により前記仮想視点を変更したときの仮想視点画像の第１再生時刻から所定時間を差し引いた第２再生時刻に対応する仮想視点画像であって、当該変更指示による変更後の仮想視点に対応した仮想視点画像を生成する生成工程と、を備え、
前記生成工程により生成される仮想視点画像を用いて前記表示を継続することを特徴とする画像処理方法。

【請求項11】

画像処理装置が実行する画像処理方法であって、
仮想視点の変更指示を受け付ける受付工程と、
前記変更指示による変更後の仮想視点に関連付けられた再生時刻の当該変更後の仮想視点に対応した仮想視点画像を生成する生成工程と、を備え、
前記変更後の仮想視点関連付けて複数のハイライトシーンの時刻が記憶されており、
前記変更指示は、前記複数のハイライトシーンの時刻から１つの時刻を前記再生時刻として特定する指示を含むことを特徴とする画像処理方法。

【請求項12】

コンピュータを請求項１乃至９のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び方法、プログラムに関する。

【背景技術】

【0002】

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像は、複数のカメラが撮影した複数視点画像をサーバなどの画像処理部に集約し、画像処理部にて、仮想視点に基づくレンダリングなどの処理を施すことにより生成される。生成された仮想視点画像はユーザ端末に転送、表示され、ユーザはこれを閲覧する。

【0003】

上記のような仮想視点画像を用いたサービスでは、従来の撮影画像と比較してユーザに高臨場感を与えることができる。例えば、映像制作者は、サッカーやバスケットボールの試合を撮影した映像から、迫力のある視点のコンテンツを制作することが可能になる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合観戦することが出来るようになる。また録画コンテンツを使用することで、視点の移動だけでなく再生時刻の変更により早戻し、一時停止、スロー再生などリプレイ視聴が可能となる。

【0004】

特許文献１では、被写体を取り囲むように複数のカメラを配置して被写体を撮影した画像を用いて、任意の視点に応じた仮想視点画像を生成、表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－１５７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

仮想視点画像の動画コンテンツを視聴するユーザが、ある視点から別の視点へ仮想視点を切り替えた場合、特に仮想視点の位置及び向きが大きく変化した場合には、切り替え後に表示されたシーンの状況がすぐには把握できない場合が考えられる。また、ゴールシーンなどの注目すべきイベントが発生したことに気づいたユーザがそのイベントを見やすい視点に切り替えたとしても、すでにそのイベントは終わってしまっている。そのため、ユーザがそのイベントを所望の視点で改めて見たい場合には、視点を切り替えた後に再生時刻を戻す操作を行うことになり、ユーザの手間が大きくなる。

【0007】

本発明は、仮想視点画像の再生に係る仮想視点を変更する場合のユーザの利便性を向上する技術を提供する。

【課題を解決するための手段】

【0008】

本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
仮想視点画像の表示の間にユーザによる仮想視点の変更指示を受け付ける受付手段と、
前記変更指示により前記仮想視点を変更したときの仮想視点画像の第１再生時刻から所定時間を差し引いた第２再生時刻に対応する仮想視点画像であって、当該変更指示による変更後の仮想視点に対応した仮想視点画像を生成する生成手段と、を備え、
前記生成手段により生成される仮想視点画像を用いて前記表示を継続する。

【発明の効果】

【0009】

本発明によれば、仮想視点画像の再生に係る仮想視点を変更する場合のユーザの利便性が向上する。

【図面の簡単な説明】

【0010】

【図1】（ａ）は第１実施形態による画像処理システムの構成例を示す図、（ｂ）は画像生成装置のハードウェア構成例を示すブロック図。

【図2】画像処理システムにおける撮影装置の設置例を示す図。

【図3】画像生成装置の機能構成例を示すブロック図。

【図4】第１実施形態による仮想視点画像の生成処理を示すフローチャート。

【図5】（ａ）は第１実施形態による仮想空間と仮想視点の配置例を示す概念図、（ｂ）及び（ｃ）は第１実施形態による画面表示例を示す図。

【図6】第２実施形態による仮想視点画像の生成処理を示すフローチャート。

【図7】（ａ）は第２実施形態に係る仮想空間と仮想視点の配置例を示す概念図、（ｂ）及び（ｃ）は第２実施形態による画面表示例を示す図。

【図8】第３実施形態による仮想視点画像の生成処理を示すフローチャート。

【図9】（ａ）は第３実施形態による仮想空間と仮想視点の配置例を示す概念図、（ｂ）及び（ｃ）は第３実施形態による画面表示例を示す図。

【図10】第４実施形態による仮想視点画像の生成処理を示すフローチャート。

【図11】（ａ）は第４実施形態による履歴情報を説明する図、（ｂ）及び（ｃ）は第４実施形態による画面表示例を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

＜第１実施形態＞
図１（ａ）は、第１実施形態に係る画像処理システム１００の構成例を示す図である。画像処理システム１００は、複数の撮影装置１１０と、情報処理装置の一例である画像生成装置１２０と、端末装置１３０と、を有している。複数の撮影装置１１０の各々と画像生成装置１２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、第１実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。

【0013】

撮影装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。複数の撮影装置１１０がサッカー場等の競技場や特定の被写体を取り囲むように設置され、画像（映像）を撮影する。撮影された画像は、撮影装置１１０から画像生成装置１２０に送信される。図２は、撮影装置１１０の設置例を示す図である。第１実施形態においては、複数の撮影装置１１０は、それぞれサッカー場のすべて又は一部を撮影するように設置されているものとする。つまり、第１実施形態の画像処理システム１００には、被写体を複数の方向から撮影するための複数の撮影装置１１０が含まれる。

【0014】

画像生成装置１２０は、撮影装置１１０により得られた撮影画像を蓄積する。画像生成装置１２０は、端末装置１３０におけるユーザ操作により仮想視点情報と再生時刻情報とが入力されると、蓄積した撮影画像と仮想視点情報が示す仮想視点とに基づいて、再生時刻情報が示す再生時刻からの仮想視点画像を生成する。仮想視点情報は、撮影画像から構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置と角度とを示す情報である。仮想視点情報は、撮影した競技場の中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、上下の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含む。また再生時刻情報とは、撮影画像の録画開始時刻からの時刻情報である。画像生成装置１２０は、再生時刻情報により指定される再生時刻の仮想視点画像を生成する。

【0015】

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。画像生成装置１２０は、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影装置１１０により撮影した画像を、背景画像としてデータベースに保持する。また、画像生成装置１２０は、競技中の選手など被写体が存在するシーンでは、被写体となる特定のオブジェクト等を画像処理により前景として分離し、特定オブジェクト画像としてデータベースに保持する。なお、特定オブジェクトは、競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、審判など）であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。

【0016】

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成される。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。より具体的には、ＭＢＲとは、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法には、ＭＢＲ以外のレンダリング手法が用いられてもよい。画像生成装置１２０は、生成した仮想視点画像を、ＬＡＮケーブルなどを介して、端末装置１３０に伝送する。

【0017】

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルであり、これらを用いてユーザは操作し、画面上に静止画像や動画像を表示する。端末装置１３０は、例えば、画像生成装置１２０から受信した仮想視点画像を画面１３２に表示する。端末装置１３０は、さらに、接続されたコントローラ１３１に対するユーザ操作に応じて、再生時刻と仮想視点の移動の指示（移動量と移動方向に関する指示）を受け付け、受け付けた指示に応じた指示情報を示す伝送信号を画像生成装置１２０に送信する。

【0018】

図１（ｂ）は、第１実施形態による情報処理装置としての画像生成装置１２０のハードウェア構成例を示すブロック図である。画像生成装置１２０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６と、通信部２０７とを有している。

【0019】

ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行するプロセッサである。ＲＯＭ２０２は読み出し専用のメモリ（Read Only Memory）である。ＲＡＭ２０３は、随時書き込みが可能なメモリ（Random Access Memory）であり、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、各種データや各種プログラム等を記憶する、ハードディスクなどの記憶媒体である。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部２０７は、ネットワークを介して撮影装置１１０等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例として、通信部２０７は、無線により外部装置との通信を行ってもよい。

【0020】

なお、後述する画像生成装置１２０の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。但し、後述する画像生成装置１２０の機能の一部またはすべてが専用のハードウェアにより実現されてもよいし、あるいは専用のハードウェアとソフトウェアとの協働により実現されてもよい。また、端末装置１３０のハードウェア構成は、画像生成装置１２０のハードウェア構成と同様である。

【0021】

図３は、画像生成装置１２０の機能構成例を示すブロック図である。画像入力部３０１は、撮影装置１１０からＬＡＮケーブルを介して入力された伝送信号を撮影画像データに変換して分離部３０２へ出力する。分離部３０２は、画像入力部３０１から入力された撮影画像のうち、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして画像保存部３０３へ出力する。また、競技中に撮影された画像から選手など被写体を抽出し、前景画像データとして画像保存部３０３へ出力する。画像保存部３０３は、分離部３０２から入力された撮影画像データのうち、被写体が存在しない状態で予め撮影された画像を背景画像データとして保存するデータベースとして機能する。また、画像保存部３０３は、背景画像データと被写体の存在する撮影画像データとの差分データを前景画像データとして保存する。また、画像保存部３０３は、形状生成部３０５に前景画像データを出力する。また、画像保存部３０３は、画像生成部３１０により指定された背景画像データと前景画像データを画像生成部３１０へ出力する。

【0022】

パラメータ保持部３０４は、競技場を取り囲むように配置された複数の撮影装置１１０の各々の位置情報、焦点距離、シャッタースピードなどをカメラパラメータ情報として保持する。撮影装置１１０の設置についてはあらかじめ決められた位置に設置することとする。また、パラメータ保持部３０４は、カメラパラメータ情報を形状生成部３０５と画像生成部３１０へ出力する。形状生成部３０５は、画像保存部３０３から入力された前景画像データと、パラメータ保持部３０４から入力されたカメラパラメータ情報とを用いて、被写体の形状を推定する。例えば、形状生成部３０５は、視体積交差法などの三次元形状復元手法を用いて被写体の被写体形状情報を生成する。形状生成部３０５は、生成した被写体形状情報を画像生成部３１０へ出力する。

【0023】

ユーザ入力部３０６は、端末装置１３０からＬＡＮケーブルを介して入力された伝送信号をユーザ入力データに変換する。ユーザ入力データが再生時刻情報と仮想視点情報である場合、再生時刻情報と仮想視点情報を情報設定部３０７へ出力する。また、ユーザ入力データが仮想視点切り替え指示である場合、仮想視点切り替え指示を情報設定部３０７へ出力する。ここで、仮想視点切り替え指示とは、例えば予めゴール付近の仮想視点の位置と「ゴール前１」などのタグ名を保存管理しておき、そのタグ名をユーザ入力部３０６から入力することにより、この保存された位置へ瞬時に移動する動作を指す。すなわち、ユーザは、サッカーのシュートシーンが発生する録画時刻にタグ名「ゴール前１」を指定することで、ゴール付近の仮想視点からのシュートシーンを見ることができる。

【0024】

情報設定部３０７は、ユーザ入力部３０６から入力された仮想視点情報に基づいて、画像生成部３１０が仮想視点画像の生成に用いる仮想視点を更新する。また、情報設定部３０７は、ユーザ入力部３０６から仮想視点切り替え指示を入力した場合、入力された仮想視点切り替え指示に基づいて視点保持部３０９に保持されている仮想視点情報を取得し、画像生成部３１０が用いる仮想視点情報を更新する。また、情報設定部３０７は、仮想視点切り替え指示を入力した場合、時刻保持部３０８に保存されている再生時刻情報を取得し、画像生成部３１０が用いる再生時刻情報を更新する。情報設定部３０７は、仮想視点情報と再生時刻情報を画像生成部３１０へ出力する。なお、仮想空間の原点として競技場の中心などが予め設定されている。

【0025】

時刻保持部３０８と視点保持部３０９は、所定の仮想視点と再生時刻情報とを対応付けて保持する保持部として機能する構成の一例である。ここで、所定の仮想視点は、仮想視点切り替え指示により仮想視点の切り替え先として指定される仮想視点である。時刻保持部３０８は、所定の仮想視点に対応した再生時刻情報を保持し、情報設定部３０７へ出力する。本実施形態では、再生時刻情報は、例えば、０時０分３秒などのような時刻差分値を含む。なお、ここでは時刻差分値を例としたが、再生時刻情報の内容はこれに限定されるものではなく、録画の開始時刻からの所定の経過時刻を保持するようにしてもよい。視点保持部３０９は、所定の仮想視点（位置、方向）を示す仮想視点情報を保持し、情報設定部３０７へ出力する。視点保持部３０９は、例えばサッカー場のゴールを正面から見る仮想視点を仮想視点情報とし、タグ名と関連付けて保持する。

【0026】

情報設定部３０７は、仮想視点切り替え指示において「ゴール前１」などのタグ名を指定することにより、切り替え後の仮想視点情報と再生時刻情報を取得する。なお、所定の仮想視点は、ユーザが任意に指定できるものとする。従って、情報設定部３０７は、仮想視点を所定の仮想視点へ切り替える指示に応じて、仮想視点画像の生成に用いられる仮想視点を当該所定の仮想視点に設定する機能を実現する構成の一例である。また、情報設定部３０７は、当該切り替える指示に応じて、仮想視点画像の再生時刻を、所定の仮想視点に対応づけて保持されている再生時刻情報に基づいて設定する機能を実現する構成の一例である。

【0027】

画像生成部３１０は、複数の撮影画像から、情報設定部３０７により設定された仮想視点から観察される、情報設定部３０７により設定された再生時刻の仮想視点画像を生成する。画像生成部３１０は、画像保存部３０３から前景画像データおよび背景画像データを、パラメータ保持部３０４からカメラパラメータを、形状生成部３０５から被写体形状情報を、情報設定部３０７から再生時刻情報および仮想視点情報を取得する。次に、画像生成部３１０は、取得した情報に基づいて、該当時刻に撮影された背景画像データを仮想視点から見た形状に投影変換や画像処理を施して仮想視点画像の背景とする。次に、画像生成部３１０は、仮想視点位置から見た被写体形状に対して、該当時刻に実カメラで撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。例えば、仮想視点から被写体形状情報に基づく被写体が見えている状況で、被写体形状情報の位置から所定の範囲内に実カメラ位置情報がある場合、画像生成部３１０は、その実カメラの前景画像データを形状モデルの色として使用する。

【0028】

以上の、情報設定部３０７、時刻保持部３０８および視点保持部３０９は、複数の撮影装置により取得される複数の撮影画像から仮想視点画像を生成するために用いられる仮想視点と再生時刻を決定する仮想視点設定装置として機能する。この仮想視点設定装置により設定された仮想視点と再生時刻を用いて、画像生成装置１２０の画像生成部３１０は、複数の撮影装置により取得される複数の撮影画像から仮想視点画像を生成する。画像出力部３１１は、画像生成部３１０が生成した仮想視点画像（画像データ）を、端末装置１３０へ伝送可能な伝送信号に変換して出力する。なお、比較部３２１、距離算出部３３１、履歴保持部３４１については、それぞれ第２実施形態、第３実施形態、第４実施形態で用いられる構成であり、第１実施形態では省略可能である。これらの機能構成については、それぞれの実施形態において後述する。

【0029】

次に、画像生成装置１２０の動作について説明する。図４は、第１実施形態の画像生成装置１２０による仮想視点画像の生成処理を示すフローチャートである。

【0030】

ユーザ入力部３０６は、受信したデータが端末装置１３０からのユーザ入力データであるか否か監視する（Ｓ４０１）。受信したデータがユーザ入力データ以外のデータである場合は待機する（Ｓ４０１でＮＯ）。受信したデータがユーザ入力データである場合（Ｓ４０１でＹＥＳ）、情報設定部３０７は、受信したユーザ入力データが視点切り替え指示であるか否かを判断する（Ｓ４０２）。

【0031】

ユーザ入力データが視点切り替え指示であると判断された場合（Ｓ４０２でＹＥＳ）、情報設定部３０７は、視点保持部３０９に保存されている仮想視点情報と、時刻保持部３０８に保存されている再生時刻情報を取得する（Ｓ４０３）。なお、視点切り替え指示は、切り替え先の仮想視点を示すタグ名を含み、情報設定部３０７は、指定されたタグ名の仮想視点情報とこれに対応する再生時刻情報（時刻差分値）を取得する。一方、ユーザ入力データが視点切り替え指示ではない場合（Ｓ４０２でＮＯ）、情報設定部３０７は、ユーザ入力部３０６から、再生時刻と仮想視点を取得する（Ｓ４０４）。なお、ユーザ入力部３０６から再生時刻情報が入力されない場合、情報設定部３０７は、仮想視点画像の現在の再生時刻に継続する時刻を再生時刻として用いるようにしてもよい。

【0032】

情報設定部３０７は、Ｓ４０３またはＳ４０４で取得した仮想視点情報と再生時刻情報でもって、画像生成部３１０が使用する仮想視点と再生時刻を更新する（Ｓ４０５）。ここで、Ｓ４０３で再生時刻情報が取得された場合、情報設定部３０７は、再生時刻情報に含まれている時刻差分値を用いて仮想視点の切り替え時の再生時刻を変更する。本実施形態では、情報設定部３０７は、切り替え時の再生時刻から時刻差分値を差し引いた時刻を切り替え後の再生時刻として設定することで、再生時刻を過去の時刻へ戻す。画像生成部３１０は、更新された再生時刻と仮想視点に基づき、該当する時刻に撮影された前景画像データと背景画像データを画像保存部３０３から取得する（Ｓ４０６）。また、画像生成部３１０は、被写体形状情報を形状生成部３０５から取得する（Ｓ４０７）。さらに、画像生成部３１０は、カメラパラメータ情報をパラメータ保持部３０４から取得する（Ｓ４０８）。

【0033】

画像生成部３１０は、背景画像データを、仮想視点情報が示す仮想視点から見た形状に投影変換や画像処理を施して仮想視点画像の背景とする。次に、画像生成部３１０は、仮想視点から見た被写体形状に対して、実カメラで撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する（Ｓ４０９）。こうして、Ｓ４０５で更新された再生時刻を開始時刻として、Ｓ４０５で更新された仮想視点の仮想視点画像が生成される。

【0034】

図５（ａ）は、第１実施形態による仮想空間の概念図である。撮影装置１１０の撮影画像をもとに生成された仮想空間上で、ユーザが操作する仮想視点５０１は、被写体５１０を撮影しており、被写体５１０のシュートシーンに対して十分離れた位置にある。また仮想視点５０２は視点保持部３０９に保存されている仮想視点情報に基づく位置を示しており、ゴール前のシュートシーンが撮影しやすい位置に配置されている。仮想視点５０２は、例えば、「ゴール前１」というタグ名と関連付けられた仮想視点情報により指定される仮想視点である。

【0035】

図５（ｂ）は、端末装置１３０における仮想視点画像の表示例である。仮想視点５０１から被写体５１０を撮影すると図５（ｂ）のように表示される。またこの時の再生時刻は１１：２２：３３であるとする。この状態で、「ゴール前１」という仮想視点への仮想視点切り替え指示をユーザが端末装置１３０を介して実行すると、情報設定部３０７は、画像生成部３１０が用いる仮想視点を、仮想視点５０２の位置へ移動する。また、この時、情報設定部３０７は、「ゴール前１」に対応する再生時刻情報（０時０分３秒）を時刻保持部３０８から取得し、画像生成部３１０が用いる再生時刻を３秒前に戻す。結果、画像生成部３１０が生成し、端末装置１３０が表示する仮想視点画像は、図５（ｃ）のように表示される。このときの再生時刻は、図５（ｂ）の再生時刻から３秒戻り、１１：２２：３０となる。このように、ユーザ操作により仮想視点の切り替えが実行された場合、再生時刻を予め保持している時刻差分値をもとに変更することで、仮想視点切り替え時のシーンの脈絡が把握しやすくなる。また、ユーザはいちいち再生時刻を設定する必要がなく、操作性が向上する。

【0036】

以上のように、第１実施形態によれば、ユーザ操作による仮想視点の切り替え時に、切り替え時よりも前の再生時刻の仮想視点画像が自動的に生成されるので、容易なユーザ操作で好適なシーン閲覧が可能となる。なお、時刻保持部３０８が所定の仮想視点に対応する再生時刻情報として所定の再生時刻（録画の開始時刻からの経過時刻）を保持し、情報設定部３０７は、所定の仮想視点への切り替え後の再生時刻を当該所定の再生時刻に設定するように構成してもよい。また、そのような構成において、再生時刻情報が示す再生時刻が現在の再生時刻よりも時間的に後である場合には、切り替え後の再生時刻を切り替え時の再生時刻から継続させるようにしてもよい。もちろん、再生時刻情報が示す再生時刻が現在の再生時刻よりも時間的に後であっても切り替え後の再生時刻を再生時刻情報に従って更新するようにしてもよい。例えば、ハイライトシーンの時刻を設定しておくことにより、所望の仮想視点からのハイライトシーンを所望のタイミング（当該ハイライトシーンの時刻より前でも後でも）で再生させることができる。

【0037】

＜第２実施形態＞
第２実施形態では、仮想視点の切り替え時に、仮想視点切り替え前の表示範囲と切り替え後の表示範囲との位置関係に基づいて、再生時刻の変更量を変える。

【0038】

第２実施形態では、図３に示される比較部３２１が用いられる。比較部３２１は、仮想視点の切り替え前の仮想視点画像の表示範囲と、仮想視点の切り替え後の仮想視点画像の表示範囲との重複の状態を判定する判定部として機能する構成の一例である。本実施形態の比較部３２１は、情報設定部３０７から仮想視点切り替え前の仮想視点情報と仮想視点切り替え後の仮想視点情報を取得し、それぞれの仮想視点による表示範囲を比較する。そして、比較部３２１は、仮想視点切り替え前の表示範囲と仮想視点切り替え後の表示範囲に重複する部分があるか否かを判定し、その結果を重複情報として出力する。なお、重複情報は、重複する部分の有無を示すものに限られず、例えば、重複する部分の面積や、仮想視点切り替え前の表示範囲に対する重複部分の割合を算出して、その情報（重複の状態を示す情報）を保持するようにしてもよい。

【0039】

第２実施形態の情報設定部３０７は、上記のようにして判定された重複の状態に基づいて、切り替え時の再生時刻から切り替え後の再生時刻への変更量を異ならせる。より具体的に説明すると、まず、情報設定部３０７は、ユーザ入力部３０６から仮想視点切り替え指示を入力した場合、当該指示による切り替え先の仮想視点に対応した仮想視点情報を視点保持部３０９から入力する。そして、情報設定部３０７は、仮想視点切り替え直前の仮想視点情報と、視点保持部３０９から取得した仮想視点情報とを比較部３２１へ出力する。情報設定部３０７は、比較部３２１から重複情報を取得し、この重複情報に応じて時刻保持部３０８から取得した再生時刻情報により画像生成部３１０が用いる再生時刻を更新する。例えば、重複情報が仮想視点切り替え前後の表示範囲に重複部分があることを示す場合の再生時刻情報（時刻差分値）は０時０分３秒とする。一方、例えば、重複情報が重複部分のないことを示す場合の再生時刻情報は０時０分５秒とする。このように、仮想視点の切り替えの前後で表示範囲が重複部分を含まない場合の時刻差分値は、これら表示範囲が重複部分含む場合の時刻差分値に比べて大きい値に設定されている。

【0040】

図６は、第２実施形態による画像生成装置１２０による仮想視点画像の生成処理を示すフローチャートである。なお、図６に示す処理のうち、図４に示す処理と同じ処理については、同一の参照番号を付してある。

【0041】

Ｓ４０２の処理の後、情報設定部３０７は、視点保持部３０９が保持している仮想視点情報を取得する（Ｓ６０１）。次に、比較部３２１は、仮想視点の切り替え前の仮想視点情報と視点保持部３０９から取得した仮想視点情報とを情報設定部３０７から取得し、表示範囲を比較することにより重複情報を生成する（Ｓ９０２）。情報設定部３０７は、重複情報を参照して、仮想視点の切り替え前後の表示範囲が重複部分を有するか否かに応じて、時刻保持部３０８から取得する再生時刻情報を切り替える（Ｓ９０３）。例えば、仮想視点の切り替え前後の表示範囲が重複部分を含まないことを重複情報が示す場合は第１の時刻差分値が、その他の場合には第２の時刻差分値が取得される。ここで、第１の時刻差分値は第２の時刻差分値よりも大きい。例えば、第１の時刻差分値は０時０分５秒、第２の時刻差分値は０時０分３秒とする。Ｓ４０５以降の処理は、第１実施形態と同様である。

【0042】

図７（ａ）は、第２実施形態による仮想空間の概念図である。図５（ａ）に対し、仮想視点７０１と被写体７１０が加えられている。仮想視点７０１は、仮想視点５０２とは異なる仮想視点であり、視点保持部３０９に保存されている仮想視点情報に基づく仮想空間上の位置を示している。仮想視点７０１は、被写体７１０を撮影しやすい位置に配置されている。

【0043】

図７（ｂ）は、第２実施形態の端末装置１３０における仮想視点画像の画面表示例である。第２実施形態では、情報設定部３０７は、表示範囲における重複部分の存否の判定をしており、その判定結果に応じて再生時刻情報を変更する。例えば、仮想視点５０１から仮想視点５０２へ切り替えられた場合、視点切り替え前後の表示範囲に重複部分が含まれるため、再生時刻の設定に用いる時刻差分値は０時０分３秒とする。結果、視点切り替えの前後において、図７（ｂ）（図５（ｂ）と同じ）および図５（ｃ）に示した表示が得られる。一方、仮想視点５０１から仮想視点７０１へ切り替えられた場合、視点切り替え前後の表示範囲に重複部分がないので、重複部分がある場合に比較して大きな時刻差分値（０時０分５秒）が用いられる。その結果、図７（ｃ）に示されるように、仮想視点画像の再生時刻は、１１時２２分２８秒となる。

【0044】

以上のように、第２実施形態によれば、仮想空間上で視点切り替え表示する場合、切り替え前後で表示範囲に重複する部分があるか否かに応じて再生時刻が変更される。そのため、視点切り替え前後の表示内容に応じた時刻を自動的に設定することが可能となる。なお、上記第２実施形態では、表示範囲が重複するか否かに応じて再生時刻の変更量を決定したが、表示範囲の重複部分の大きさなどに基づいて複数段階に変更量が調整されるようにしてもよい。また、上記構成では重複情報に応じて時刻差分値を選択するが、これに限られるものではない。時刻保持部３０８は１つの仮想視点について１つの時刻差分値を保持し、情報設定部３０７が、時刻保持部３０８から取得した時刻差分値を重複情報に従って増減させるようにしてもよい。

【0045】

＜第３実施形態＞
第３実施形態では、仮想視点の切り替え時に、切り替え前後の仮想視点の空間的な距離に応じて、再生時刻の変更量を変える。

【0046】

第３実施形態の画像生成装置１２０は、図３の構成において、距離算出部３３１を有する。距離算出部３３１は、情報設定部３０７から入力された仮想視点切り替え前の仮想視点情報と仮想視点切り替え後の仮想視点情報から、仮想視点の移動距離を算出し、移動距離情報として情報設定部３０７へ供給する。距離算出部３３１は、切り替え前の仮想視点と切り替え後の仮想視点との距離を算出する算出部として機能する構成の一例である。

【0047】

情報設定部３０７は、距離算出部３３１により算出された距離に基づいて、仮想視点の切り替え時の再生時刻から切り替え後の再生時刻への変更量を異ならせる。より具体的に説明すると、まず、情報設定部３０７は、ユーザ入力部３０６から仮想視点切り替え指示を入力した場合、その仮想視点切り替え指示により指定された切り替え先の仮想視点情報を視点保持部３０９から取得する。情報設定部３０７は、仮想視点切り替え直前の仮想視点情報と、視点保持部３０９から取得した仮想視点情報とを距離算出部３３１へ提供する。距離算出部３３１は、提供された２つの仮想視点情報により示される２つの仮想視点の間の距離を算出する。情報設定部３０７は、距離算出部３３１が算出した距離を示す移動距離情報を取得し、これに応じて、時刻保持部３０８から再生時刻情報を取得し、取得した再生時刻情報により再生時刻情報を更新する。

【0048】

例えば、時刻保持部３０８は、上記の切り替え先の仮想視点に関して、移動距離が４０ｍ以下の場合の再生時刻情報として０時０分３秒、移動距離が４０ｍより大きい場合の再生時刻情報として０時０分５秒を保持しているとする。情報設定部３０７は、距離算出部３３１から取得した移動距離情報が、移動距離３０ｍを表す場合、時刻保持部３０８から再生時刻情報として０時０分３秒を取得する。一方、移動距離情報が移動距離５０ｍを表す場合、情報設定部３０７は、時刻保持部３０８から再生時刻情報として０時０分５秒を取得する。その後、情報設定部３０７は、取得した再生時刻情報を用いて再生時刻情報を更新し、仮想視点情報を切り替え先の仮想視点で更新し、更新された情報を画像生成部３１０へ提供する。

【0049】

図８は、第３実施形態の画像生成装置１２０による、仮想視点画像の生成処理を示すフローチャートである。なお、図８に示す処理のうち、図４に示す各処理と同じ処理については、図４と同一の参照番号を付してある。

【0050】

Ｓ４０２の処理の後、情報設定部３０７は、視点保持部３０９から仮想視点の切り替え後の仮想視点情報を取得する（Ｓ８０１）。距離算出部３３１は、仮想視点切り替え前の仮想視点情報と、情報設定部３０７が視点保持部３０９から取得した仮想視点切り替え後の仮想視点情報とから、当該切り替え前後における仮想視点の距離を示す移動距離情報を取得する（Ｓ８０２）。

【0051】

続いて、情報設定部３０７は、移動距離情報に応じた時刻差分値を時刻保持部３０８から取得する（Ｓ８０３）。具体的には、距離算出部３３１から取得した移動距離情報が所定値以下の移動距離を示す場合（上記例では移動距離が４０ｍ以下の場合）、時刻保持部３０８から取得される再生時刻情報（時刻差分値）は０時０分３秒となる。一方、距離算出部３３１から取得した移動距離情報が所定値より大きい移動距離を示す場合（上記例では移動距離が４０ｍより大きい場合）、時刻保持部３０８から取得される再生時刻情報（時刻差分値）は０時０分５秒となる。Ｓ４０５以降の処理は、第１実施形態と同様である。

【0052】

図９（ａ）は、第３実施形態による仮想空間の概念図である。図５（ａ）に加えて、仮想視点９０１は、視点保持部３０９に保存されている仮想視点情報に基づく仮想空間上の位置を示しており、仮想視点５０１の位置から見て、仮想視点５０２の位置よりも離れた位置にある。

【0053】

図９（ｂ）、図９（ｃ）は、第３実施形態の端末装置１３０における仮想視点画像の画面表示例を示す。図９（ｂ）は、仮想視点５０１における仮想視点画像の表示例を示している（図５（ｂ）と同じ画像）。第３実施形態では、仮想視点の移動距離に基づいて再生時刻を設定している。上記の例において、仮想視点５０１から仮想視点５０２への視点切り替えの場合は、視点切り替え前後で仮想視点の移動距離が３０ｍであり、時刻差分値は０時０分３秒となる。結果、仮想視点５０２への切り替え後は上述した図５（ｃ）のように、再生時刻は１１時２２分３０秒となる。一方、仮想視点５０１から仮想視点９０１への視点切り替えの場合は、視点切り替え前後で仮想視点の移動距離が５０ｍであり、時刻差分値は０時０分５秒となる。結果、切り替え後の再生時刻は、図９（ｃ）のように、１１時２２分２８秒となる。すなわち、より遠い位置への視点切り替えに対して、再生時刻をより過去に戻すことになる。

【0054】

以上のように、第３実施形態によれば、仮想空間上で視点切り替え表示する場合、切り替え前後での移動距離に応じて再生時刻が変更されるので、視点切り替え前後の表示内容に応じた時刻設定をすることが可能となる。なお、第３実施形態では、仮想視点の移動距離が所定値より大きいか否かに応じて再生時刻の変更量を決定したが、これに限られるものではない。仮想視点の移動距離が大きいほど変更量が大きくなればよく、例えば、２つ以上の閾値により移動距離を３段階以上に分けて、各段階に応じた変更量が用いられるようにしてもよい。

【0055】

＜第４実施形態＞
第４実施形態では、切り替え先の仮想視点として視点保持部３０９に保持されている仮想視点に対応する仮想視点画像について、再生時刻と再生回数の関係を示す履歴情報を保持し、切り替え後の再生時刻を、履歴情報に基づいて設定する。例えば、仮想視点の切り替え時に、切り替え後の仮想視点の再生時刻のうち視聴回数の多い時刻が履歴情報から取得され、仮想視点画像の再生時刻に設定される。

【0056】

第４実施形態の画像生成装置１２０の機能構成では、図３に示される履歴保持部３４１が用いられる。履歴保持部３４１は、視点保持部３０９が保持している仮想視点について、その仮想視点に対応する仮想視点画像の再生時刻と再生回数の関係を示す履歴情報を保持する。図１１（ａ）に示されるように、切り替え先として利用可能な仮想視点について、過去の再生時刻と再生回数（視聴回数）が保持されている。視聴回数は、例えば、同一コンテンツの仮想空間上の位置、再生時刻でユーザが視聴した回数を加算することにより得られる。本例では、例えば時刻ｔ３～ｔ５の間の仮想視点画像が再生されると、時刻ｔ３，ｔ４、ｔ５における視聴回数が１つカウントアップする。例えば、サッカーのゴール付近の仮想視点による仮想視点画像を、シュートシーンが起きた時刻で多くのユーザが視聴したり繰り返し視聴したりすることで、当該仮想視点画像が高視聴率となる。情報設定部３０７は、切り替え後の仮想視点情報に対する高視聴時刻の提供を履歴保持部３４１に要求する。履歴保持部３４１は、この要求に応じて、当該仮想視点情報に関して視聴回数の最も多い再生時刻を、高視聴再生時刻情報として情報設定部３０７へ提供する。

【0057】

情報設定部３０７は、ユーザ入力部３０６から仮想視点切り替え指示を入力した場合、入力された仮想視点切り替え指示に基づく切り替え後の仮想視点情報を視点保持部３０９から取得する。また、履歴保持部３４１から、切り替え後の仮想視点情報における高視聴再生時刻情報を取得する。そして、情報設定部３０７は、取得した切り替え後の仮想視点情報を用いて画像生成部３１０が用いる仮想視点情報を更新し、取得した高視聴再生時刻情報を用いて画像生成部３１０が用いる再生時刻情報を更新する。

【0058】

図１０は、第４実施形態の画像生成装置１２０による仮想視点画像の生成処理を示すフローチャートである。なお、図１０に示す処理のうち、図４に示す各処理と同じ処理については、同一の参照番号を付してある。

【0059】

Ｓ４０２の処理の後、情報設定部３０７は、視点保持部３０９から仮想視点情報を取得する（Ｓ１００１）。次に、情報設定部３０７は、視点保持部３０９から取得した仮想視点情報に対応する仮想視点位置の高視聴再生時刻情報を、履歴保持部３４１から取得する。（Ｓ１００２）。情報設定部３０７は、高視聴再生時刻情報を用いて仮想視点切り替え後の再生時刻情報を更新する。例えば、高視聴再生時刻情報が仮想視点切り替え時の再生時刻よりも過去の時刻であれば、その時刻を仮想視点切り替え後の再生時刻とする。なお、高視聴再生時刻情報が仮想視点の切り替え時の再生時刻よりも後の時刻である場合、情報設定部３０７は、仮想視点の切り替え時の再生時刻を切り替え後の仮想視点画像の再生開始時刻とする。但し、高視聴再生時刻情報が切り替え時の再生時刻よりも後の時刻であっても、高視聴再生時刻情報が示す時刻を切り替え後の仮想視点画像の再生開始時刻としてもよい。Ｓ４０５以降の処理は、第１実施形態と同様である。すなわち、視点切り替え指示を受け付けた場合、視点保持部３０９が保持している仮想視点と、履歴保持部３４１が保持している履歴情報から最も視聴回数の多い再生時刻を用いて仮想視点画像が生成されることになる。

【0060】

図１１（ｂ）、（ｃ）は、第４実施形態の端末装置１３０における仮想視点画像の画面表示例を示す。仮想視点５０１から仮想視点５０２への切り替えにおいて、仮想視点切り替え後の位置を示す仮想視点５０２のうち、最も高視聴回数となった時刻（高視聴再生時刻情報）が、時刻１１時２２分２７秒であったとする。この場合、画面表示は、図１１（ｂ）に示される仮想視点５０１の仮想視点画像（時刻１１時２２分３３秒）の表示から、図１１（ｃ）に示される仮想視点５０２の仮想視点画像の表示に切り替わる。この時、再生時刻１１時２２分２７秒から仮想視点５０２からの仮想視点画像の再生が行われる。なお、仮想視点の切り替えが行われた際に、高視聴の再生時刻よりも所定時間前の時刻から仮想視点画像が再生されてもよい。例えば上記の例であれば、仮想視点５０１から仮想視点５０２に切り替わる場合に、最も高視聴の１１時２２分２７秒より３秒前の１１時２２分２４秒から仮想視点５０２の仮想視点画像が再生されてもよい。これにより、ユーザは、重要なシーンと併せてその直前のシーンも確認することができる。

【0061】

以上のように、第４実施形態によれば、仮想空間上で視点切り替え表示する場合、切り替え後の仮想視点における高視聴時刻に応じて再生時刻が変更される。このため、ユーザは簡易な操作で、仮想視点の切り替え後の仮想視点画像の再生を、適切な再生時刻で行うことができる。なお、高視聴時刻は視聴履歴をもとに設定したが、これに限らずコンテンツ製作者側で、高視聴時刻となりうる時刻を事前にコンテンツ視聴などにより判定しておき、予め設定しておいてもよい。

【0062】

以上、第１実施形態から第４実施形態において、仮想視点情報については、ただ１か所のみではなく、複数または所定の領域範囲が存在し、その中からさらに選択するようにしてもよい。また、再生時刻についても１か所のみではなく、１つまたは複数の時刻範囲が存在し、その中からさらに選択するようにしてもよい。なお、仮想視点の切り替えは、予め設定された複数の視点の中から切り替え先の視点を選択するユーザ操作に応じて行われてもよいし、これに限らず、切り替え先の視点の位置及び方向の少なくとも何れかを直接指定するユーザ操作に応じて行われてもよい。すなわち、画像生成装置１２０が切り替え先の候補となる所定の仮想視点を保存しておくことは必須ではない。

【0063】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0064】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

【符号の説明】

【0065】

１００：画像処理システム、１１０：撮影装置、１２０：画像生成装置、１３０：端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】