特許 7542940 情報処理装置、情報処理方法、映像処理システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】情報処理装置、情報処理方法、映像処理システム、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240826BHJP

   H04N 21/2665 20110101ALI20240826BHJP

   H04N 21/854 20110101ALI20240826BHJP

【ＦＩ】

G06T19/00 A

H04N21/2665

H04N21/854

【請求項の数】 11

(21)【出願番号】P 2019212303

(22)【出願日】2019-11-25

(65)【公開番号】P2021086189

(43)【公開日】2021-06-03

【審査請求日】2022-11-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】上村 信一

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１５－２２５５２９（ＪＰ，Ａ）

【文献】特開２０１８－０６１１１３（ＪＰ，Ａ）

【文献】特開２０１１－１４７０５９（ＪＰ，Ａ）

【文献】特開２０１２－０１５７８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２１／２６６５

Ｈ０４Ｎ ２１／８５４

(57)【特許請求の範囲】

【請求項1】

所定の撮像装置により撮像された撮像映像と、前記所定の撮像装置とは異なる複数の撮像装置により撮像された複数の撮像映像に基づいて生成される仮想視点映像と、を関連付けた時刻である切替え時刻を特定するための時刻情報及び前記所定の撮像装置により撮像された撮像映像の時刻と前記仮想視点映像の時刻とを揃えるための同期信号を取得する取得手段と、
取得された前記時刻情報及び前記同期信号に基づいて特定される切替え時刻に対応する映像を撮像する前記所定の撮像装置の位置と向きと画角とに基づき、当該切替え時刻に対応する仮想視点映像の生成に用いられる仮想視点の位置と前記仮想視点からの視線の向きと前記仮想視点に対応する画角とを決定する決定手段と、
決定された前記仮想視点の位置と決定された前記仮想視点からの視線の向きと決定された前記仮想視点に対応する画角とに対応する仮想視点映像と、前記所定の撮像装置により撮像された前記切替え時刻に対応する撮像映像との間で、出力映像を切替える切替え手段と、
を備えたことを特徴とする情報処理装置。

【請求項2】

前記切替え手段により切替えられる前記仮想視点映像と前記撮像映像とは、生成されるタイミングが異なる、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記決定手段は、前記切替え時刻に対応する仮想視点映像の構図と、前記所定の撮像装置により撮像された前記切替え時刻に対応する撮像映像の構図とが同じになるように、前記仮想視点の位置と前記仮想視点からの視線の向きと前記仮想視点に対応する画角とを決定する、
ことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

決定された前記仮想視点の位置と決定された前記仮想視点からの視線の向きと決定された前記仮想視点に対応する画角とに対応する仮想視点映像を生成する生成手段、
をさらに備えたことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記仮想視点映像における時刻と、前記撮像映像における時刻とが同期するように、前記仮想視点映像における時刻と前記撮像映像における時刻とを前記同期信号に基づき制御する制御手段、
をさらに備えたことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記切替え手段は、前記時刻情報により表される時間範囲において、決定された前記仮想視点の位置と決定された前記仮想視点からの視線の向きと決定された前記仮想視点に対応する画角とに対応する仮想視点映像と前記所定の撮像装置により撮像された前記切替え時刻に対応する撮像映像とを所定の合成比率で合成することにより、決定された前記仮想視点の位置と決定された前記仮想視点からの視線の向きと決定された前記仮想視点に対応する画角とに対応する仮想視点映像と、前記所定の撮像装置により撮像された前記切替え時刻に対応する撮像映像とを切り替える、
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記時刻情報は、前記切替え時刻として時間範囲を表し、
前記切替え手段は、前記時刻情報により表される時間範囲において前記合成比率を調整することにより、決定された前記仮想視点の位置と決定された前記仮想視点からの視線の向きと決定された前記仮想視点に対応する画角とに対応する仮想視点映像と、前記所定の撮像装置により撮像された前記切替え時刻に対応する撮像映像とを切り替える、
ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記時間範囲は、切替え開始時刻と切替え終了時刻とに基づく範囲である、
ことを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記決定手段は、前記切替え時刻に対応する映像を撮像している前記所定の撮像装置の画角に基づき、前記切替え時刻に対応する仮想視点映像に用いられる前記仮想視点の画角を決定する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。

【請求項10】

所定の撮像装置により撮像された撮像映像と、前記所定の撮像装置とは異なる複数の撮像装置により撮像された複数の撮像映像に基づいて生成される仮想視点映像と、を関連付けた時刻である切替え時刻を特定するための時刻情報及び前記所定の撮像装置により撮像された撮像映像の時刻と前記仮想視点映像の時刻とを揃えるための同期信号を取得するステップと、
取得された前記時刻情報及び前記同期信号に基づいて特定される切替え時刻に対応する映像を撮像する前記所定の撮像装置の位置と向きと画角に基づき、当該切替え時刻に対応する仮想視点映像の生成に用いられる仮想視点の位置と前記仮想視点からの視線の向きと前記仮想視点に対応する画角とを決定するステップと、
決定された前記仮想視点の位置と決定された前記仮想視点からの視線の向きと決定された前記仮想視点に対応する画角とに対応する仮想視点映像と、前記所定の撮像装置により撮像された前記切替え時刻に対応する撮像映像との間で、出力映像を切替えるステップと、
を備えることを特徴とする情報処理方法。

【請求項11】

コンピュータを請求項１乃至９のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、仮想視点映像を用いた映像出力に関する。

【背景技術】

【0002】

異なる位置に設置した複数の撮像装置で同じ被写体（オブジェクト）を同期撮影し、得られた多視点画像を用いて、仮想視点映像を生成する技術が注目されている。仮想視点映像とは、３次元空間内に仮想的に配置した、実際には存在しない撮像装置の視点（仮想視点）からの見えを表す映像である。このような多視点画像から仮想視点映像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の映像と比較して視聴者に高臨場感を与えることができる。特許文献１には、オブジェクトを取り囲むように複数の撮像装置を配置し、複数の撮像装置で同期撮影したオブジェクトの多視点画像を用いて任意の視点での仮想視点映像を生成する技術が開示されている。

【0003】

多視点による同期撮影が行われたサッカー等のイベントが、放送用撮像装置等の撮像装置でも撮影されていた場合、仮想視点映像及び一台の撮像装置で生成された撮像映像（以降、撮像映像という）を組み合わせた映像を作ることができる。例えば、まず仮想視点映像による、センターラインからゴールに向かって選手達がボールを運ぶ場面の選手全体の動きを捉えた俯瞰カットと、シュートの場面のキーパー目線でボールが脇を抜ける主観カットとをつなげる。そして得られた仮想視点映像によるカットに、撮像映像による高画質ズームでキーパーやキッカーの細かな表情を捉えたカットをつなげて、一連のゴールシーンの映像を作ることができる。このように、選手毎の主観視点や複数の選手を捉えた俯瞰視点といった通常の撮像装置では撮れない仮想視点映像を、高精細な撮像映像と組み合わせることで、より臨場感の高い映像体験を視聴者に提供することが期待できる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－０１５７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、仮想視点映像と撮像映像とを滑らかに切替えて出力することができない場合がある。例えば、リアルタイムで撮影されている撮像映像と多視点画像から逐次生成されている仮想視点映像とを切り替えて出力する場合である。この場合、撮像映像の出力に対する仮想視点映像の出力の遅延などにより、切り替えのタイミングで不連続な映像が出力されて視聴者に違和感を与える虞がある。

【0006】

本開示の技術は、上記の課題に鑑みてなされたものであり、仮想視点映像と撮像映像の切替えに係る違和感を軽減することを目的とする。

【課題を解決するための手段】

【0007】

本開示の技術は、情報処理装置であって、所定の撮像装置により撮像された撮像映像と、前記所定の撮像装置とは異なる複数の撮像装置により撮像された複数の撮像映像に基づいて生成される仮想視点映像と、を関連付けた時刻である切替え時刻を特定するための時刻情報及び前記所定の撮像装置により撮像された撮像映像の時刻と前記仮想視点映像の時刻とを揃えるための同期信号を取得する取得手段と、取得された前記時刻情報及び前記同期信号に基づいて特定される切替え時刻に対応する映像を撮像する前記所定の撮像装置の位置と向きと画角とに基づき、当該切替え時刻に対応する仮想視点映像の生成に用いられる仮想視点の位置と前記仮想視点からの視線の向きと前記仮想視点に対応する画角とを決定する決定手段と、決定された前記仮想視点の位置と決定された前記仮想視点からの視線の向きと決定された前記仮想視点に対応する画角とに対応する仮想視点映像と、前記所定の撮像装置により撮像された前記切替え時刻に対応する撮像映像との間で、出力映像を切替える切替え手段と、を備えたことを特徴とする。

【発明の効果】

【0008】

本開示の技術によれば、仮想視点映像と撮像映像との切替えに係る違和感を軽減することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る映像処理システムの全体構成図である。

【図2】第１の実施形態に係る映像処理システムのハードウェア構成図である。

【図3】第１の実施形態に係る切替え制御の処理概要の説明図である。

【図4】第１の実施形態に係る切替え制御の処理手順を示すフローチャートである。

【図5】第２の実施形態に係る映像処理システムの全体構成図である。

【図6】第２の実施形態に係る切替え制御の処理概要の説明図である。

【図7】第２の実施形態に係る切替え制御の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本開示の技術は図示された構成に限定されるものではない。

【0011】

（実施形態１）
＜映像処理システム及び映像切替え装置の構成＞
図１は、第１の実施形態に係る映像処理システムの全体構成図である。

【0012】

映像処理システムは、映像切替え装置１０、仮想視点映像用撮像装置群２０、画像処理装置３０、撮像装置４０、記憶装置５０で構成される。

【0013】

仮想視点映像用撮像装置群２０は、競技フィールド等を取り囲むように設置された複数台の撮像装置から構成される撮像装置群である。後述する撮像装置４０とは異なる撮像装置であって、仮想視点映像を生成するための多視点画像を撮影する撮像装置である。仮想視点映像用撮像装置群２０は、各撮像装置で撮影した各画像を画像処理装置３０に出力する。

【0014】

画像処理装置３０は、多視点画像から３次元モデルを作成してテクスチャをマッピングすることで、仮想視点パス上の仮想視点からの仮想視点映像を生成する。画像処理装置３０は、生成した仮想視点映像を映像切替え装置１０または記憶装置５０に出力する。

【0015】

撮像装置４０は、競技フィールド脇等に配置された放送局の撮像装置やスタジアム上層からワイヤで吊られた撮像装置（ケーブルカム）等であり、撮像装置オペレータにより撮像装置の位置、向き（姿勢）及び画角が制御される。撮像装置４０は、撮影された映像と時刻（タイムコード）を記憶装置５０に出力する。さらに、撮像装置４０は、ＧＰＳ受信機やジャイロセンサといった測定器を備えており、撮像装置の位置や向きの特定を行う。この撮像装置の位置・向きと撮像装置の画角を含む撮像装置の各種設定値（撮像装置パラメータ）を撮像装置の設定情報として記憶装置５０に出力する。本実施形態では撮像装置１台の例を図示しているが、複数台存在してもよい。また、撮像装置パラメータには、撮像装置のレンズの焦点距離やセンササイズ等の撮像装置の仕様情報を含んでもよい。

【0016】

記憶装置５０は、撮像装置４０から出力された撮像映像と上記撮像装置パラメータを記憶し、画像処理装置３０から仮想視点映像が入力された場合は仮想視点映像も記憶する。記憶装置５０は、後述する映像切替え装置１０から出力された制御情報に応じて、撮像映像と撮像装置パラメータを映像切替え装置１０に出力し、仮想視点映像を記憶している場合は仮想視点映像も映像切替え装置１０に出力する。

【0017】

映像切替え装置１０は、時刻設定部１０１、時刻制御部１０２、仮想視点制御部１０３、切替え部１０４で構成される。

【0018】

時刻設定部１０１は、仮想視点映像及び撮像映像の開始時刻Ｓ・終了時刻Ｅ・切替え時刻Ｎのタイムコード等の識別子をユーザから受け付ける。時刻設定部１０１で受け付ける識別子は時刻だけに限定せず、時刻が割り当てられた映像または画像（フレーム）でもよい。例えば、ユーザが撮像映像を参照しながら、開始時刻Ｓ・終了時刻Ｅ・切替え時刻Ｎに対応するフレームをＧＵＩなどの画面上で指定し、時刻設定部１０１が指定されたフレームを取得して、そのフレームから時刻情報を抜き出してもよい。時刻設定部１０１は、取得した時刻情報を時刻制御部１０２、仮想視点制御部１０３、切替え部１０４に出力する。

【0019】

時刻制御部１０２は、時刻設定部１０１から入力された時刻情報から開始時刻Ｓを取得し、仮想視点映像と撮像映像の時刻を同期させるための制御情報を画像処理装置３０と記憶装置５０に出力する。時刻制御部１０２は、制御情報を用いることで、仮想視点映像と撮像映像のフレームの同一時刻のフレームを同期して切替え部１０４に出力させることができる。詳細は図３を用いて後述する。

【0020】

仮想視点制御部１０３は、時刻設定部１０１から入力された時刻情報から切替え時刻Ｎを取得し、記憶装置５０から切替え時刻Ｎの撮像装置パラメータを取得する。仮想視点制御部１０３は、切替え時刻Nの仮想視点パラメータ（位置・向き及び画角等の仮想視点の設定情報）を取得した切替え時刻Nの撮像装置パラメータに基づき設定する。切替え時刻N以外の仮想視点パラメータはユーザが任意に設定可能であり、仮想視点制御部１０３はユーザから仮想視点パラメータを取得する。そして仮想視点制御部１０３は、取得した時刻情報に含まれる全時刻に対応する仮想視点パラメータを制御情報として画像処理装置３０に出力する。詳細は図３を用いて後述する。

【0021】

切替え部１０４は、時刻設定部１０１から入力された時刻情報から切替え時刻Ｎを取得し、ユーザから設定される開始映像として撮像映像と仮想視点映像のどちらを使用するかを指定する開始映像選択情報を取得し、仮想視点映像と撮像映像の切替えを行う。詳細は図３を用いて後述する。

【0022】

図２は、第１の実施形態に係る映像切替え装置１０のハードウェア構成図である。画像処理装置３０のハードウェア構成も、以下で説明する映像切替え装置１０の構成と同様である。映像切替え装置１０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

【0023】

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて映像切替え装置１０の全体を制御することで、図２に示す映像切替え装置１０の各機能を実現する。なお、映像切替え装置１０がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0024】

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0025】

表示部２１５は、例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＥＬＤ）等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。

【0026】

操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。

【0027】

通信Ｉ／Ｆ２１７は、映像切替え装置１０の外部の装置との通信に用いられる。例えば、映像切替え装置１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。映像切替え装置１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。

【0028】

バス２１８は、映像切替え装置１０の各部を相互通信可能につないで情報を伝達する。

【0029】

なお、本実施形態では表示部２１５と操作部２１６が映像切替え装置１０の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が映像切替え装置１０の外部に別の装置として存在していてもよい。

【0030】

＜指定時刻による切替え制御の概要＞
図３は、開始映像を仮想視点映像として、切替え後の映像を撮像装置とした場合の処理の概要を示す。

【0031】

切替え時刻Ｎは、時刻設定部１０１でユーザが設定した仮想視点映像と撮像映像を切替えるタイミングを示す。

【0032】

仮想視点映像のフレーム３０１～３０６は、画像処理装置３０または記憶装置５０から出力された仮想視点映像を１フレーム毎に示したものである。仮想視点映像は、画像処理装置３０により、仮想視点制御部１０３から出力された制御情報に含まれる仮想視点パスを規定する開始時刻Ｓから終了時刻Ｅまでの仮想視点パラメータに基づいて生成される。仮想視点パラメータは、仮想視点映像の構図を規定する位置、向き、画角等の各種設定値であり、撮像映像における撮像装置パラメータに相当するものである。本実施形態では、開始時刻Ｓから終了時刻Ｅまでの仮想視点パラメータの内、切替え時刻Ｎにおける仮想視点パラメータは、仮想視点制御部１０３により記憶装置５０から読み出した切替え時刻Ｎにおける撮像装置パラメータに設定される。これにより、切替え時刻Ｎにおける仮想視点映像の構図と撮像映像の構図とを一致させることができる。切替え時刻Ｎ以外の仮想視点パラメータは、ユーザにより任意に設定可能である。

【0033】

撮像映像のフレーム３１１～３１６は、記憶装置５０から出力された撮像映像を１フレーム毎に示したものである。

【0034】

出力映像のフレーム３２１～３２６は、映像切替え装置１０の切替え部１０４で選択され、映像切替え装置１０から出力された仮想視点映像のフレームおよび撮像映像のフレームからなる出力映像である。図３では、切替え時刻Ｎを境に、出力映像のフレーム３２１～３２３は仮想視点映像のフレーム３０１～３０３が、出力映像のフレーム３２４～３２６は撮像映像のフレーム３１４～３１６が選択されている。

【0035】

上記映像の切替えにより出力される出力映像と、仮想視点映像および撮像映像との関係を式１に示す。フレーム毎にインクリメントする変数をｔ、切替え時刻をＮ、仮想視点映像の時刻ｔのフレームをＳＶ（ｔ）、撮像映像の時刻ｔのフレームをＶ（ｔ）、出力映像の時刻ｔのフレームをＯ（ｔ）とする。

【0036】

【数1】

【0037】

上記処理を実現する為に、まず、映像切替え装置１０から時刻設定部１０１に設定された開始時刻Ｓを基に時刻制御部１０２で共通の時刻情報とビデオ同期信号とを制御情報として、画像処理装置３０および記憶装置５０に出力する。これにより画像処理装置３０と記憶装置５０は、時刻ｔが揃った仮想視点映像と撮像映像を映像切替え装置１０に出力することができる。

【0038】

仮想視点映像の生成には３次元モデルの生成やテクスチャのマッピング等の処理がある為、撮像装置４０による撮像映像の生成よりも処理時間が長いことが想定される。そのため、映像切替え装置１０に入力される仮想視点映像にのみ遅延が生じた場合、そのまま切替え部１０４で仮想視点映像から撮像映像に切替えると、出力映像においてコマ落ちが発生してしまう。

【0039】

そこで、映像切替え装置１０に入力される仮想視点映像のフレームと撮像映像のフレームを同時刻のフレームに揃える。撮像装置４０から出力された撮像映像を記憶装置５０に一時保存し、画像処理装置３０と記憶装置５０とから仮想視点映像と撮像映像をビデオ同期信号によって同期して出力させる。

【0040】

このビデオ同期信号は、画像処理装置３０が仮想視点映像を遅延なく出力できるタイミングに設定する。または、ビデオ同期信号に合わせて遅延なく仮想視点映像を出力できるように、画像処理装置３０内で仮想視点映像をバッファリングしてもよい。

【0041】

例えば、撮影映像の放送においては、放送されるべきでない内容の映像が意図せず放送されてしまうことを避けるために、あえて撮像から数秒遅らせて映像を出力することがある。このような場合には、仮想視点映像の出力も撮像映像に合わせて遅らせてもよい。また例えば、仮想視点映像の生成に係る遅延は、映像の内容によって変化することがある。このような場合には、出力される映像にコマ落ち等が発生しないように、仮想視点映像の生成に係る最大遅延以上の所定時間長だけ、常に仮想視点映像の出力を遅らせてもよい。

【0042】

時刻ｔが切替え時刻Ｎに達すると、切替え部１０４は、出力映像のフレーム３２４以降、仮想視点映像から撮像映像に出力映像を切替える。

【0043】

＜処理＞
続いて、図４のフローチャートを参照して、本実施形態に係る映像切替え装置１０の処理手順を説明する。本処理は、仮想視点映像と撮像映像の切替えを含むシーンの表示開始をユーザが指示することによりスタートする。

【0044】

Ｓ１０１において、映像切替え装置１０の切替え部１０４は、ユーザから仮想視点映像または撮像映像のどちらかを開始映像とするかを示す開始映像情報を取得する。なお、ユーザから開始映像情報を取得する代わりに、切替え部１０４が予め設定された開始映像情報を保持していてもよい。

【0045】

Ｓ１０２において、映像切替え装置１０の時刻設定部１０１は、切替え部１０４から出力する出力映像の開始時刻Ｓ・終了時刻Ｅ・切替え時刻Ｎを含む時刻情報をユーザから取得する。

【0046】

時刻設定部１０１は、設定された時刻情報を時刻制御部１０２、仮想視点制御部１０３、および切替え部１０４に出力する。時刻制御部１０２は、画像処理装置３０と記憶装置５０に時刻情報を後述する制御情報に含めて出力する。ここで、変数ｔを画像処理装置３０、記憶装置５０、および映像切替え装置１０において共通する、出力するフレームを指定する時刻情報と定義し、ｔ＝開始時刻Ｓに設定する。

【0047】

Ｓ１０３において、仮想視点制御部１０３は、入力された時刻情報に対応する仮想視点パラメータを取得する。まず仮想視点制御部１０３は、Ｓ１０１で設定された開始映像が仮想視点映像か撮像映像かに応じて、仮想視点パスの開始位置または終了位置を撮像の位置に設定する。また仮想視点制御部１０３は、記憶装置５０から切替え時刻Ｎにおける撮像装置パラメータを読み出し、仮想視点パスの開始位置または終了位置における仮想視点パラメータを読み出した切替え時刻Nの撮像装置パラメータに基づき設定する。

【0048】

図３に示す例を用いて説明すると、開始映像が仮想視点映像の場合、仮想視点制御部１０３は、仮想視点パスの終了位置に撮像装置の位置を設定し、仮想視点パスの終了位置の仮想視点パラメータに切替え時刻Ｎにおける撮像装置パラメータを設定する。一方で開始映像が撮像映像の場合、仮想視点制御部１０３は、仮想視点パスの開始位置に撮像装置の位置を設定し、仮想視点パスの開始位置の仮想視点パラメータに切替え時刻Ｎにおける撮像装置パラメータを設定する。

【0049】

撮像装置の位置および撮像装置パラメータが設定されなかった仮想視点パスの開始位置または終了位置は、ユーザが仮想視点制御部１０３に設定する。

【0050】

Ｓ１０４において、仮想視点制御部１０３は、Ｓ１０３で設定された仮想視点パスおよび仮想視点パラメータを、時刻ｔにおける仮想視点パラメータ（位置・向き・画角等）を制御情報として画像処理装置３０に出力する。

【0051】

Ｓ１０５において、画像処理装置３０は、仮想視点制御部１０３から入力された制御情報に基づき、仮想視点映像の時刻ｔのフレームを生成して切替え部１０４に出力する。

【0052】

Ｓ１０６において、仮想視点制御部１０３は、撮像映像の時刻ｔのフレームを記憶装置５０から読み出して切替え部１０４に出力する。

【0053】

Ｓ１０７において、切替え部１０４は、Ｓ１０１で設定された開始映像が仮想視点映像ならばＳ１０８へ、撮像映像ならばＳ１０９へ進む。

【0054】

Ｓ１０８において、切替え部１０４は、時刻ｔが切替え時刻Ｎ未満であるか否かを判定する。切替え部１０４は、時刻ｔが切替え時刻Ｎ未満であればＳ１１０へ、時刻ｔが切替え時刻Ｎ以上であればＳ１１１へ処理を進める。

【0055】

Ｓ１０９において、切替え部１０４は、時刻ｔが切替え時刻Ｎ未満であるか否かを判定する。切替え部１０４は、時刻ｔが切替え時刻Ｎ未満であればＳ１１１へ、時刻ｔが切替え時刻Ｎ以上であればＳ１１０へ処理を進める。

【0056】

Ｓ１１０において、切替え部１０４は、仮想視点映像の時刻ｔのフレームＳＶ（ｔ）を選択し、出力映像として出力する。

【0057】

Ｓ１１１において、切替え部１０４は、撮像映像の時刻ｔのフレームＶ（ｔ）を選択し、出力映像として出力する。

【0058】

Ｓ１１２において、時刻制御部１０２は、時刻ｔを進める。映像切替え装置１０の時刻制御部１０２で生成される垂直同期信号のタイミングで時刻のインクリメントを行う。

【0059】

Ｓ１１３において、時刻制御部１０２は、時刻ｔが、切替え時刻Ｎに満たない場合はＳ１０４、Ｓ１０６に戻り、切替え時刻Ｎに等しくなった場合は処理を終了する。

【0060】

以上、本実施形態により、撮像映像と仮想視点映像の時刻ｔを揃え、かつ、切替え時刻Ｎまでに仮想視点映像の構図を撮像映像の構図に合わせてからそれらの映像を切替えることにより、切替え時に視聴者に与える違和感を軽減することができる。

【0061】

（実施形態２）
＜映像処理システム及び映像切替え装置の構成＞
実施形態１では、仮想視点映像と撮像映像の時刻を同期させて、仮想視点の構図を撮像装置に合わせたのちに映像切替えを行う例を示した。しかしながら、撮像装置パラメータの精度や仮想視点映像のクオリティによっては、映像切替え前後のフレームの違いの大きさが視聴者に違和感を与える場合がある。具体的には、取得した撮像装置パラメータの誤差、撮像装置群で撮影された多視点画像から生成した３次元モデルの誤差による物体の形状や大きさの誤差、３次元モデルにマッピングされたテクスチャの色・質感と撮像映像の色・質感との差などである。これらの差が、映像の切替え時に「ちらつき」「かくつき」として現れることにより視聴者に違和感を与える場合がある。この違和感を与える原因の１つは、異なる作りの映像を一瞬で切替えることによってフレーム間の差異が視聴者に知覚されやすいことにある。

【0062】

そこで本実施形態では、仮想視点映像と撮像映像とを切替える際、それらの複数フレームにわたってαブレンドを行い、ブレンドの比率を徐々に変えて段階的に映像を切替える。これにより出力映像におけるフレーム間の差異が小さくなるため、視聴者が感じる違和感を軽減させることができる。

【0063】

図５は、実施形態２に係る映像処理システムの全体構成図である。実施形態２のシステムの構成は、切替え部１０４の代わりに、比率調整部１０５と合成部１０６を備えること以外は、実施形態１と同じである。

【0064】

比率調整部１０５は、時刻設定部１０１から入力された切替え時刻Ｎと、ユーザから入力された開始映像選択情報および切替え間隔Ｎｐとに基づき、仮想視点映像と撮像映像の切替え比率の調整を行う。詳細は図６を用いて後述する。

【0065】

合成部１０６は、乗算器１０７、１０８と加算器１０９で構成され、比率調整部１０５から出力された切替え比率を乗算器１０７、１０８で仮想視点映像と撮像映像とにそれぞれ乗じ、それらを加算器１０９で合成して出力する。詳細は図６を用いて後述する。

【0066】

＜時刻指定と映像合成による切替え制御の概要＞
図６は、開始映像を仮想視点映像として、切替え後の映像を撮像装置として、切替え間隔Ｎｐ（切替えに要するフレーム数）が「３」の場合の処理の概要を示す。仮想視点映像と撮像映像の説明は実施形態１と同じである。

【0067】

係数α３４１～３４６は、比率調整部１０５でフレーム毎に調整される合成比率である。切替え時刻Ｎを境に、係数αを「０」から「１」に段階的に増加させている。係数αは、ユーザから設定される切替え間隔Ｎｐの逆数を係数の増加値としてフレーム毎に加算する。本実施形態では切替え間隔を「３」としている為、係数の増加値は約０．３となる。

【0068】

出力映像のフレーム３５１～３５６は、比率調整部１０５で設定された合成比率に応じて合成部１０６で仮想視点映像と撮像映像とを加算した映像である。切替え時刻Ｎの後の出力映像３５４から段階的に撮像映像の合成比率が増えて、出力映像３５６では撮像映像のフレーム３１６のみが出力される。

【0069】

上記仮想視点映像、撮像映像、出力映像の関係を式２と式３に示す。フレーム毎にインクリメントする変数をｔ、切替え時刻をＮ、切替え間隔をＮｐ、仮想視点映像をＳＶ（ｔ）、撮像映像をＶ（ｔ）、出力映像をＯ（ｔ）とする。

【0070】

【数2】

【0071】

【数3】

【0072】

＜処理＞
続いて、図７のフローチャートを参照して、本実施形態に係る映像切替え装置１０の処理手順を説明する。本処理は、仮想視点映像と撮像映像の切替えを含むシーンの表示開始をユーザが指示することによりスタートする。

【0073】

Ｓ１０１～Ｓ１０３は実施形態１と同じである。

【0074】

Ｓ２０１において、ユーザが比率調整部１０５に対し切替え間隔Ｎｐを設定する。ユーザが設定する代わりに、予め比率調整部１０５に所定の切替え間隔Npを設定していてもよい。

【0075】

Ｓ２０２において、比率調整部１０５は係数αを「０」に初期化する。

【0076】

Ｓ１０４～Ｓ１０９は実施形態１と同じである。

【0077】

Ｓ１０１で設定された開始映像が仮想視点映像であって、Ｓ１０８において、時刻ｔが切替え時刻Nより前ならばＳ２０３へ、時刻ｔが切替え時刻N以降であればＳ２０４へ進む。

【0078】

Ｓ２０３において、比率調整部１０５は、合成部１０６の乗算器１０７に１－α（ｔ）、乗算器１０８にα（ｔ）を入力し、合成部１０６は仮想視点映像のフレームＳＶ（ｔ）と、撮像映像のフレームＶ（ｔ）とを（１－α）、αの割合で加算を行う。

【0079】

Ｓ２０４において、比率調整部１０５は、時刻ｔが切替え時刻Ｎから切替え間隔Ｎｐ経過していなければＳ２０５へ、時刻ｔが切替え時刻Ｎから切替え間隔Ｎｐ以上経過していればＳ２０６へ進む。

【0080】

Ｓ２０５において、比率調整部１０５は、係数αを上記式３に従って（ｔ－Ｎ）／Ｎｐに更新してＳ２０３に進む。

【0081】

Ｓ２０６において、比率調整部１０５は、係数αを上記式３に従って「１」に更新してＳ２０３に進む。

【0082】

一方Ｓ１０１で設定された開始映像が撮像映像であって、Ｓ１０９において、時刻ｔが切替え時刻Nより前ならばＳ２０７へ、時刻ｔが切替え時刻N以降であればＳ２０８へ進む。

【0083】

Ｓ２０７において、比率調整部１０５は、合成部１０６の乗算器１０７にα（ｔ）、乗算器１０８に１－α（ｔ）を入力し、合成部１０６は撮像映像のフレームＶ（ｔ）と、仮想視点映像のフレームＳＶ（ｔ）とを（１－α）、αの割合で加算を行う。

【0084】

Ｓ２０８において、比率調整部１０５は、時刻ｔが切替え時刻Ｎから切替え間隔Ｎｐ経過していなければＳ２０５へ、時刻ｔが切替え時刻Ｎから切替え間隔Ｎｐ以上経過していればＳ２０６へ進む。

【0085】

Ｓ２０９において、比率調整部１０５は、係数αを上記式３に従って（ｔ－Ｎ）／Ｎｐに更新してＳ２０３に進む。

【0086】

Ｓ２１０において、比率調整部１０５は、係数αを上記式３に従って「１」に更新してＳ２０３に進む。

【0087】

Ｓ１１２、Ｓ１１３は実施形態１と同じである。

【0088】

以上、本実施形態により、仮想視点映像の構図を撮像映像の構図に合わせてから、仮想視点映像と撮像映像とにαブレンドを行い、段階的にそれらの映像を切替えることにより、切替え時に視聴者に与える違和感をさらに軽減することができる。

【0089】

なお、実施形態１、２では、Ｓ１０４で仮想視点制御部１０３が時刻ｔの仮想視点パラメータのみを制御情報として画像処理装置３０に出力しているが、全時刻の仮想視点パラメータを仮想視点映像生成前に画像処理装置３０に出力するようにしてもよい。このように一度に仮想視点パラメータ全体を画像処理装置３０に出力した場合、以後、仮想視点制御部１０３は、制御情報として変数ｔのみを画像処理装置３０に出力すればよい。またこの場合、画像処理装置３０は、仮想視点制御部１０３から変数ｔが入力される前に、入力された仮想視点パラメータに基づきフレームを予め生成してバッファリングしてもよい。そして仮想視点制御部１０３からの制御情報として変数ｔが入力されるのに応じて、バッファリングされたフレームの中から時刻ｔに対応するフレームを読み出して出力するようにしてもよい。

【0090】

また、図３では、仮想視点映像について開始時刻Sから終了時刻Eに対応するフレーム３０１～３０６を生成しているが、切替え時刻N以降の仮想視点映像のフレーム３０４～３０６は生成しなくてもよい。例えば、時刻制御部１０２が、画像処理装置３０に対して出力する制御情報を用いて、不要なフレーム３０４～３０６を生成させないよう制御を行ってもよい。

【0091】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0092】

１０ 映像切替え装置
１０１ 時刻設定部
１０２ 時刻制御部
１０３ 仮想視点制御部
１０４ 切替え部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】