(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-20
(45)【発行日】2023-12-28
(54)【発明の名称】画像処理装置、制御方法、および、プログラム
(51)【国際特許分類】
G06T 15/20 20110101AFI20231221BHJP
H04N 21/84 20110101ALI20231221BHJP
H04N 21/854 20110101ALI20231221BHJP
G06T 19/00 20110101ALI20231221BHJP
【ＦＩ】
G06T15/20 500
H04N21/84
H04N21/854
G06T19/00 A
【請求項の数】
13
(21)【出願番号】P 2019091382
(22)【出願日】2019-05-14
(65)【公開番号】P2020187530
(43)【公開日】2020-11-19
【審査請求日】2022-05-06
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】小沼 和文
(72)【発明者】
【氏名】伊藤 裕尚
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開２０１９－０２２１５１（ＪＰ，Ａ）
【文献】国際公開第２０１３／０１１６９６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ３／００－ ３／６０
Ｇ０６Ｔ １５／００－１９／２０
Ｈ０４Ｎ ２１／８０－２１／８５８
(57)【特許請求の範囲】
【請求項1】
複数の撮像装置によって異なる方向から撮像された複数の撮像画像に基づいて生成される仮想視点画像を生成するための三次元モデルであって、撮像画像に基づいて被写体の三次元モデルを生成する画像処理システムであって、前記三次元モデルを生成する処理が未完了であることを示すエラーを検出する検出手段と、
前記検出手段により検出されたエラーに対応する前記三次元モデルを特定する特定情報と、前記検出手段により検出されたエラーに関するエラー情報とを関連付けて出力する出力手段と
前記出力手段により出力された前記特定情報と前記エラー情報に基づいて、前記三次元モデルを生成する生成手段と
を有することを特徴とする画像処理システム。
【請求項2】
前記検出手段は、前記三次元モデルを生成する処理が所定時間内に完了しない場合、未完了であることを示すエラーを検出することを特徴とする請求項１に記載の画像処理システム。
【請求項3】
前記検出手段は、前記三次元モデルを生成する処理が所定時間内に完了せず、前記三次元モデルを生成する処理により生成途中の前記三次元モデルの形状精度が閾値を下回った場合に、未完了であることを示すエラーを検出することを特徴とする請求項２に記載の画像処理システム。
【請求項4】
前記出力手段は、前記三次元モデルを生成する処理により生成途中の前記三次元モデルを出力し、
前記生成手段は、前記生成途中の前記三次元モデルに基づいて、前記三次元モデルを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
【請求項5】
前記三次元モデルを生成する処理は、視体積交差法であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
【請求項6】
前記三次元モデルを生成する処理は、前記三次元モデルの形状精度を所定の精度まで向上させる処理であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
【請求項7】
前記特定情報は、前記三次元モデルを生成する処理に用いられた撮像画像の撮像時刻を示す情報であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
【請求項8】
前記出力手段は、所定のまとまりごとに、前記特定情報と、前記エラー情報とを関連付けることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理システム。
【請求項9】
前記所定のまとまりは、前記三次元モデルに基づいて生成される仮想視点画像ごと、あるいは、前記仮想視点画像を複数組み合わせた動画のシーンごとのまとまりであることを特徴とする請求項８に記載の画像処理システム。
【請求項10】
前記出力手段は、前記特定情報と前記エラー情報とから生成される素材データファイルを出力することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
【請求項11】
前記素材データファイルは、ＩＳＯ／ＩＥＣ １４４９６－１２に基づくファイルフォーマットであることを特徴とする請求項１０に記載の画像処理システム。
【請求項12】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理システムが有する各手段として機能させるためのコンピュータプログラム。
【請求項13】
複数の撮像装置によって異なる方向から撮像された複数の撮像画像に基づいて生成される仮想視点画像を生成するための三次元モデルであって、撮像画像に基づいて被写体の三次元モデルを生成する画像処理システムの制御方法であって、前記三次元モデルを生成する処理が未完了であることを示すエラーを検出する検出工程と、
前記検出工程により検出されたエラーに対応する前記三次元モデルを特定する特定情報と、前記検出工程により検出されたエラーに関するエラー情報とを関連付けて出力する出力工程と
前記出力工程により出力された前記特定情報と前記エラー情報に基づいて、前記三次元モデルを生成する生成工程と
を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想視点画像の生成に係る技術に関するものである。
【背景技術】
【0002】
近年、複数の撮像装置を異なる位置に設置して複数の方向から同期撮影し、当該撮像装置から得られた複数視点画像を用いて、任意の視点に基づく仮想視点画像を生成する技術が注目されている。
【0003】
特許文献１には、複数の撮像装置により撮像された撮像画像と、該撮像画像に基づいて生成される前景テクスチャ画像、背景テクスチャ画像、および三次元モデル等のデータに基づいて仮想視点画像を生成する画像生成装置について記載されている。以降、仮想視点画像を生成するためのデータ（複数の撮像装置により撮像された撮像画像、および、該撮像画像に基づいて生成される前景テクスチャ画像、背景テクスチャ画像、および三次元モデル等のデータを含む）を、素材データと呼ぶ。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第０６４２９８２９号
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像処理装置が素材データを生成して画像生成装置に出力し、画像生成装置が素材データに基づいて仮想視点画像を生成する画像処理システムについて考える。このとき、例えば、画像処理装置が複数の撮像画像を取得する際に、撮像画像のデータ量が伝送帯域を超えたために、画像処理装置が当該撮像画像の一部を取得できない等のエラーが発生する場合がある。しかしながら画像生成装置は、出力された素材データを取得するだけでは、当該素材データが出力されるまでに発生したエラーを知ることができない。これにより画像生成装置が生成する仮想視点画像の品質が低下する恐れがある。上記の例のように、画像処理装置が撮像画像の一部を取得できないエラーが発生した場合、画像処理装置が出力する素材データは、撮像画像をすべて取得したときと比較して品質が低下する。したがって、当該素材データを用いて生成される仮想視点画像の品質もまた低下することとなる。
【0006】
本発明は、上記の課題に鑑みてなされたものである。その目的は、素材データに係るエラーを容易に参照できるようにすることである。
【課題を解決するための手段】
【0007】
本発明に係る画像処理システムは、複数の撮像装置によって異なる方向から撮像された複数の撮像画像に基づいて生成される仮想視点画像を生成するための三次元モデルであって、撮像画像に基づいて被写体の三次元モデルを生成する画像処理システムであって、前記三次元モデルを生成する処理が未完了であることを示すエラーを検出する検出手段と、前記検出手段により検出されたエラーに対応する前記三次元モデルを特定する特定情報と、前記検出手段により検出されたエラーに関するエラー情報とを関連付けて出力する出力手段と前記出力手段により出力された前記特定情報と前記エラー情報に基づいて、前記三次元モデルを生成する生成手段とを有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、素材データに係るエラーを容易に参照することができるようになる。
【図面の簡単な説明】
【0009】
【図1】画像処理システム１００が有する画像処理装置１１０および画像生成装置１２０のハードウェア構成を説明するための図
【図2】画像処理システム１００の一部の機能構成を説明するための図
【図3】複数の撮像送信部２０１の配置の一例を説明するための図
【図4】素材データに係るエラーを検出するための機能構成を説明するための図
【図5】素材データの種別ごとにエラー情報をメタデータとして付与する構成の一例を説明するための図
【図6】仮想視点画像フレームごとにエラー情報をメタデータとして付与する構成の一例を説明するための図
【図7】動画のシーンごとにエラー情報をメタデータとして付与する構成の一例を説明するための図
【図8】ＩＳＯ ＢＭＦＦの構成の一例を説明するための図
【図9】ボックスｍｅｔａ８０３の構成を説明するための図
【図10】画像処理システム１００が有する画像生成装置１２０の機能構成を説明するための図
【図11】仮想視点操作部１００３が提供するユーザインターフェースの一例を説明するための図
【図12】仮想視点画像フレームごとに品質情報がメタデータとして付与される例を説明するための図
【図13】動画のシーンごとに品質情報がメタデータとして付与される例を説明するための図
【図14】画像処理システム１００が有する画像処理装置１１０の処理手順を説明するためのフローチャート
【図15】画像処理システム１００が有する画像生成装置１２０の処理手順を説明するためのフローチャート
【発明を実施するための形態】
【0010】
以下、図面を参照しながら本実施形態について説明する。
【0011】
図１は、画像処理システム１００が有する画像処理装置１１０および画像生成装置１２０のハードウェア構成を説明するための図である。画像処理システム１００は、画像処理装置１１０と画像生成装置１２０とを有する。画像処理装置１１０は、ＣＰＵ（中央演算装置）１１１、ＲＯＭ（リードオンリーメモリ）１１２、ＲＡＭ（ランダムアクセスメモリ）１１３、補助記憶装置１１４、表示部１１５、操作部１１６、通信Ｉ／Ｆ１１７、およびバス１１８を有する。
【0012】
ＣＰＵ１１１は、ＲＯＭ１１２やＲＡＭ１１３に格納されているコンピュータプログラムおよびデータを用いて、画像処理装置１１０の全体を制御する。なお、画像処理装置１１０がＣＰＵ１１１とは異なる一または複数の専用のハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートウェイ）、およびＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ１１２は、変更を必要としないプログラム等を格納する。ＲＡＭ１１３は、補助記憶装置１１４から供給されるプログラムおよびデータ、および通信Ｉ／Ｆ１１７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置１１４は、例えばハードディスクドライブ等で構成され、画像データおよび音声データ等の様々なデータを記憶する。
【0013】
表示部１１５は、例えば液晶ディスプレイ、あるいはＬＥＤ等で構成され、ユーザが画像処理装置１１０を操作するためのＧＵＩ（グラフィカルユーザインターフェース）等を表示する。操作部１１６は、例えばキーボード、マウス、ジョイスティック、およびタッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１１１に入力する。ＣＰＵ１１１は、表示部１１５を制御する表示制御部、および操作部１１６を制御する操作制御部として動作する。通信Ｉ／Ｆ１１７は、画像処理装置１１０の外部の装置との通信に用いられる。例えば、画像処理装置１１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１７に接続される。画像処理装置１１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１１７はアンテナを備える。バス１１８は、画像処理装置１１０の各部をつないで情報を伝達する。
【0014】
本実施形態では、表示部１１５と操作部１１６が画像処理装置１１０の内部に存在するものとするが、表示部１１５と操作部１１６との少なくとも一方が画像処理装置１１０の外部に別の装置として存在していてもよい。
【0015】
以上が、画像処理装置１１０のハードウェア構成についての説明である。画像生成装置１２０におけるＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、補助記憶装置１２４、表示部１２５、操作部１２６、通信Ｉ／Ｆ１２７およびバス１２８についても、それぞれ画像処理装置１１０におけるＣＰＵ１１１～バス１１８と同様の機能を有する。
【0016】
図２は、本実施形態における画像処理システム１００の一部の機能構成を説明するための図である。画像処理システム１００は、複数の撮像送信部２０１、同期部２０２、および、画像処理装置１１０を有する。また、画像処理装置１１０は、受信部２０３、三次元形状推定部２０４、蓄積部２０５、集計付与部２０６、ファイル生成部２０７、および、操作部２０８を有する。以下、各部の機能について説明する。
【0017】
撮像送信部２０１は、例えばカメラ等の撮像装置であり、撮像した撮像画像を受信部２０３へ送信する。複数の撮像送信部２０１は、同期部２０２から同期信号を受信し、互いに同期して撮像を行う。図３は、複数の撮像送信部２０１が配置される一例である。複数の撮像送信部２０１は、例えばスタジアムのグラウンド等の撮像空間を囲むように配置される。同期部２０２は、複数の撮像送信部２０１へ同期信号を送信する。受信部２０３は、図１における通信Ｉ／Ｆ１１７を用いて、複数の撮像送信部２０１が撮像した複数の撮像画像を受信し、三次元形状推定部２０４へ送信する。三次元形状推定部２０４は、受信部２０３から受信した複数の撮像画像に基づいて、前景の三次元モデルを生成する。ここで、前景とは、撮像空間における位置が変化する被写体（例えば、スタジアム内におけるボール、および選手等）である。また、撮像空間における前景以外の被写体を、背景とする。三次元形状推定部２０４は、例えば、受信部２０３から受信した複数の撮像画像から前景のシルエットを抽出し、視体積交差法を用いて三次元モデルを生成する。なお、三次元モデルの生成方法は、視体積交差法以外の手法を用いてもよい。また、本実施形態における画像処理装置１１０は、三次元形状推定を行うことにより前景に対応する被写体を生成するが、被写体の生成手法についてはこれに限定されない。例えば、イメージベースドレンダリングを用いて被写体の生成を行ってもよい。三次元形状推定部２０４は、受信部２０３から受信した複数の撮像画像と、生成した三次元モデルとを蓄積部２０５へ送信する。蓄積部２０５は、図１における補助記憶装置１１４に含まれており、三次元形状推定部２０４から送信された複数の撮像画像と三次元モデルとを、素材データとして蓄積する。ここで、素材データとは、複数の撮像送信部２０１が撮像する撮像空間における、任意の位置に配置される視点から見た仮想視点画像を生成するためのデータである。また、素材データは、複数の撮像画像と、該複数の撮像画像に基づいて生成されるデータとを含む。素材データは、複数の撮像画像と三次元モデルの他に、以下のデータを含む。素材データは、例えば、撮像送信部２０１の位置、向き、および焦点距離等に関するカメラパラメータ、背景構造を示すポリゴンデータである背景三次元モデル、および、背景三次元モデルに貼り付けるための背景テクスチャ画像等を含む。背景三次元モデルおよび背景テクスチャは、あらかじめ生成されていてもよいし、撮像送信部２０１が撮像する撮像画像に基づいて逐次生成されてもよい。なお、素材データに含まれるデータは必ずしも上記の組み合わせに限らない。素材データは、上記のデータのうち任意の数のデータのみを含んでいてもよいし、上記のデータ以外のデータを含んでいてもよい。
【0018】
ここで、画像処理装置１１０が素材データに係るエラーを検出するための機能構成について説明する。図４は、画像処理装置１１０において実行される、素材データに係るエラーを検出するための機能構成を説明するための図である。この素材データに係るエラーを検出するための処理部（以下、エラー検出処理部と呼ぶ）が行う処理は、例えば画像処理装置１１０におけるＣＰＵ１１１が補助記憶装置１１４等に記憶されているプログラムを実行する等により行われる処理である。また、エラー検出処理部は、処理部４０１、エラー検出部４０２、および、付与部４０３を有する。以下、各部について説明する。
【0019】
処理部４０１は、素材データに係る処理を行う。素材データに係る処理は、例えば、素材データの生成、送受信、および、蓄積等の処理である。エラー検出部４０２は、撮像送信部２０１、受信部２０３、三次元形状推定部２０４、および、蓄積部２０５のそれぞれの動作に関わるエラーの発生を検出する。本実施形態においては、上記の各処理部の処理内容あるいは処理結果が所定の基準を満たさなかった場合のこともエラーと呼ぶ。付与部４０３は、エラー検出部４０２が検出したエラーに関する情報（以下、エラー情報と呼ぶ）と、当該検出されたエラーに係る素材データを特定するための情報（以下、特定情報とも呼ぶ）とを、後段の各処理部へ送信する。なお、特定情報は、後述の検出方法によりエラーが検出された素材データを特定する情報である。例えば、撮像画像を特定する特定情報は、当該撮像画像を撮像した撮像送信部２０１に付されているカメラＩＤ、および撮像時刻等の情報である。また例えば、三次元モデルを特定する特定情報は、モデルの生成に使用された撮像画像の撮像時刻等の情報である。特定情報は素材データを特定可能な情報であれば何でも良く、上記の情報に限定されない。以下、各処理部において発生するエラーの例と、検出方法について説明する。
【0020】
撮像送信部２０１において発生しうるエラーは、撮像画像の欠落に関するエラーと、撮像画像の品質に関するエラーである。撮像画像の欠落に関するエラーは、例えば、撮像送信部２０１が一以上の撮像画像を受信部２０３に送信しなかったというものである。撮像送信部２０１は撮像画像に圧縮処理を施して伝送するが、撮像画像によって圧縮後のデータ量は変動する。変動量によって、圧縮後のデータ量が伝送帯域を超える場合がある。圧縮後のデータ量が伝送帯域を超えると、撮像送信部２０１が送信する撮像画像の一部またはすべてが欠落する恐れがある。あるいは、撮像送信部２０１が所定時間内に撮像画像を送信する処理を行う際、撮像画像の圧縮後のデータ量によっては、所定時間内に撮像画像を送信できない場合がある。この場合も、撮像送信部２０１が送信する撮像画像の一部またはすべてが欠落する恐れがある。撮像送信部２０１は、撮像画像のデータ量が伝送帯域を超える、または撮像画像の送信に要する時間が所定時間を超えると判断した場合、撮像画像の送信を行わないことが可能である。エラー検出部４０２は、撮像送信部２０１が撮像画像を送信しなかったことを、エラーとして検出する。
【0021】
撮像画像の品質に関するエラーは、例えば、撮像送信部２０１の振動、あるいは、シャッター速度の設定が不適切であったために生じる撮像画像のブレ、露出設定が不適切であったために生じる明るさの異常、および、圧縮による画像劣化などがある。エラー検出部４０２は、上記のエラーについて、例えば以下のように検出することが可能である。撮像画像のブレは、画像の周波数特性を求めることにより検出することができる。また、明るさの異常は、輝度のヒストグラムを求めることにより検出することができる。圧縮による画像劣化は、圧縮に使用した手法、および圧縮率に基づいて検出することができる。
【0022】
受信部２０３において発生しうるエラーは、撮像送信部２０１から送信される撮像画像の欠落に関するエラーと、受信した撮像画像の同期に関するエラーである。撮像画像の欠落に関するエラーは、例えば、所定時間内にすべての撮像送信部２０１から撮像画像を受信できないというものである。エラー検出部４０２は、受信部２０３が撮像画像を受信できなかったことをエラーとして検出する。その際、受信できなかった撮像画像に対応する撮像送信部２０１と通信が行えない場合、通信異常をエラーとして検出する。また、撮像送信部２０１が撮像画像を送信しなかったことを示すエラー情報を、受信部４０３が取得した場合、当該エラー情報に基づいて撮像画像の欠落に関するエラーを検出する。撮像画像の同期に関するエラーは、受信部４０３が受信した複数の撮像画像の同期が正常に取れていないというものである。エラー検出部４０２は、受信部２０３が撮像画像を受信するタイミングのずれ、あるいは受信された複数の撮像画像に付与された時刻情報が異なることを、エラーとして検出する。
【0023】
三次元形状推定部２０４において発生しうるエラーは、所定時間内に三次元モデル生成の処理が完了しないというものである。三次元形状推定部２０４は、三次元モデルを生成する際、初めにモデルの粗い形状を求め、段階的に形状の精度を上げて最終の精度まで向上させるといった処理を行う。三次元形状推定部２０４は、三次元モデルの精度が最終の精度に達した時、三次元モデル生成を完了する。例えば、撮像送信部２０１の撮像から三次元モデル生成の完了までの時間に制限を設けている場合、モデルの複雑さによっては、制限時間である所定時間内に三次元モデル生成が完了しないことがある。エラー検出部４０２は、三次元モデルの生成に要する時間を算出し、所定時間内に完了しないと判断した場合、所定時間内に処理が完了しないことを三次元モデル生成が未完了であるエラーとして検出する。また、エラー検出部４０２は、所定時間が経過した時点で三次元モデル生成が完了していないことを、三次元モデル生成が未完了であるエラーとして検出してもよい。このとき、三次元形状推定部２０４は、生成が完了していない三次元モデルは後段の処理部へ送信しないように設定してもよい。また、三次元形状推定部２０４は、撮像画像の欠落に関するエラー情報を受信した場合、当該エラー情報に基づいて、三次元モデルの生成に使用した撮像画像が不十分であるエラーを検出する。
【0024】
蓄積部２０５において発生しうるエラーは、蓄積を要求されるデータのデータ量が、蓄積可能な帯域の上限を超えるというものである。蓄積部２０５は、三次元形状推定部２０４から送信される複数の撮像画像データおよび三次元モデルデータを含む素材データと、該素材データに付与されたエラー情報とを蓄積する。三次元形状推定部２０４が送信するデータのデータ量が、蓄積部２０５が蓄積可能な帯域の上限を超える場合、蓄積部２０５は、データの一部を蓄積することができない。この結果、三次元形状推定部２０４が送信するデータの一部が欠落する。このとき、エラー検出部４０２は、蓄積可能な帯域の上限を超えることを、素材データの欠落に関するエラーとして検出する。蓄積を要求されるデータのすべてを蓄積できない場合、蓄積部２０５は、例えば、撮像画像を優先的に蓄積し、撮像画像に基づいて生成することができる三次元モデルは蓄積しないというように、素材データに蓄積優先度を設けてもよい。
【0025】
付与部４０３は、素材データと共に、エラーが検出された素材データを特定する特定情報およびエラー情報を後段の処理部へ送信する。検出されたエラーが素材データの欠落に関するエラーの場合は、素材データが送信されないため、該欠落した素材データを特定する特定情報とエラー情報とが後段の処理部へ送信される。付与部４０３が送信した素材データ、特定情報、およびエラー情報は、蓄積部２０５に蓄積される。
【0026】
なお、エラー検出部４０２は、エラーであるか否かを判断するための閾値を設け、閾値を超えた場合はエラーであると判断する構成であってもよい。閾値を適用することのできるエラーとしては、撮像画像の品質に関するエラー、および三次元モデル生成の未完了に関するエラー等である。例えば、撮像送信部２０１が撮像した撮像画像にブレまたは明るさ異常が発生した場合に、撮像画像の画質が閾値を下回らない軽微な異常はエラーではないと判断されるようにしてもよい。また、三次元モデル生成が所定時間に完了せず、処理の途中段階の三次元モデルしか得られない場合に、当該途中段階の三次元モデルの精度が閾値を下回らないときはエラーではないと判断されるようにしてもよい。当該閾値はあらかじめ設定されていてもよいし、後述の操作部２０８において入力される構成としてもよい。以上説明したエラー検出処理部は、画像処理装置１１０における各処理部が有していてもよいし、画像処理装置１１０が一処理部として有する構成としてもよい。
【0027】
図２に戻り、集計付与部２０６は、蓄積部２０５に蓄積された特定情報とエラー情報とを、所定のまとまりごとに関連付ける処理を行う。所定のまとまりは、例えば、撮像画像あるいは三次元モデルといった素材データの種別ごと、素材データに基づいて生成される仮想視点画像ごと、あるいは、仮想視点画像を複数組み合わせた動画のシーンごと、等がある。関連付けが行われた特定情報およびエラー情報は、後述のファイル生成部２０７の処理時に使用される。
【0028】
ファイル生成部２０７は、蓄積部２０５に蓄積された素材データと、特定情報および該特定情報に関連付けられたエラー情報とから、素材データファイルを生成する。以下、素材データファイルの生成方法の一例について説明する。なお以下の説明においては、仮想視点画像を複数組み合わせた動画について、該動画を構成する仮想視点画像一枚一枚のことを、仮想視点画像フレーム、あるいは単にフレームと呼ぶ。
【0029】
まず、素材データファイルの構成について説明する。素材データファイルは、集計付与部２０６においてエラー情報が関連付けられた素材データの、所定のまとまりに対応した構成になっている。すなわち、素材データファイルは、素材データの種別ごと、仮想視点画像ごと、および、動画のシーンごとにエラー情報がメタデータとして付与された構成となっている。また、上記の所定のまとまりは入れ子の関係になっている。すなわち、動画には複数のシーンが含まれ、前記シーンには複数の仮想視点画像フレームが含まれ、前記仮想視点画像フレームには複数の素材データ種別が含まれる。したがって、素材データファイルも、入れ子の関係を有した構成になる。
【0030】
図５は、素材データの種別ごとにエラー情報をメタデータとして付与する構成の一例を説明するための図である。素材別データ５００は、撮影画像あるいは三次元モデルといった素材データの種別ごとにエラー情報が付与されたデータである。素材データ部５０２には、撮影画像あるいは三次元モデル等の素材データが含まれる。また、素材データ部５０２に含まれる素材データは、後述するフレームデータ６００に対応する仮想視点画像フレームの生成に使用される素材データである。すなわち、ひとつの素材別データ５００の中の素材データ部５０２に含まれる素材データは、１フレーム分の素材データである。素材別データ５００のメタデータ領域には、素材データ部５０２に含まれる素材データに係るエラー情報５０１が含まれる。エラー情報５０１は、エラー有無フラグ５０３、エラー数５０４、エラー種別５０５、および、エラー度合５０６を含む。エラー有無フラグ５０３は、素材データ部５０２に含まれる素材データに係るエラーがあるか否かを示す情報である。エラー数５０４は、素材データに係るエラーの個数を示す情報である。エラー種別５０５は、エラーの種別に関する情報である。例えば、素材データ部５０２が撮像画像データであり、かつ該撮像画像データに対し品質に関するエラー情報が付与されている場合、エラー種別５０５は、品質エラー、該エラーの詳細、および該エラーの要因等を示す情報を含む。エラー度合５０６は、エラー種別５０５が示すエラーの度合いを示す情報である。例えば、エラー種別５０５に品質エラーを示す情報が含まれる場合、エラー度合５０６は、エラーの発生した素材データの品質あるいは劣化のレベル等を示す情報を含む。エラー種別５０５およびエラー度合５０６は、エラー数５０４が示すエラーの個数分作成される。
【0031】
図６は、仮想視点画像フレームごとにエラー情報をメタデータとして付与する構成の一例を説明するための図である。フレームデータ６００は、素材データに基づいて生成される仮想視点画像フレームごとにエラー情報が付与されたデータである。フレームデータ６００には、仮想視点画像フレームの生成に用いられる素材データに対応する素材別データ５００が複数含まれている。図６に示すフレームデータ６００は、一例として、三次元モデル、撮像画像、背景モデルおよび背景テクスチャ、および、カメラパラメータのそれぞれに対応する素材別データ５００を含む。フレームデータ６００のメタデータ領域には、フレームデータ６００に含まれる複数の素材別データ５００から生成される仮想視点画像フレームに係るエラー情報６０１が含まれる。エラー情報６０１は、時刻情報６０２、フレームエラー有無フラグ６０３、フレームエラー度合６０４、および、エラー素材情報６０５を含む。時刻情報６０２は、フレームデータ６００に対応する時刻を示す情報である。時刻を示す情報は、例えば、フレームデータ６００に含まれる撮像画像が撮像された時刻でもよいし、複数フレームから動画を生成した場合の、動画に対応する時刻でもよい。フレームエラー有無フラグ６０３は、フレームデータ６００に含まれる各素材別データ５００が有する素材データにエラーがあるか否かを示す情報である。フレームエラー度合６０４は、フレームデータ６００に対応する仮想視点画像フレームのエラーの度合いを示す情報である。フレームのエラーの度合いは、例えば、フレームデータ６００に含まれる素材別データ５００に係るエラーの個数およびエラーの種類に基づいて決定される。エラー素材情報６０５は、フレームデータ６００に含まれる素材別データ５００のうち、エラー情報を含む素材別データ５００を特定する情報である。エラー素材情報６０５は、エラー情報を含む素材別データ５００の個数分作成される。
【0032】
図７は、仮想視点画像を複数フレーム組み合わせた動画のシーンごとにエラー情報をメタデータとして付与する構成の一例を説明するための図である。シーンデータ７００は、複数のフレームを組み合わせた動画のシーンごとにエラー情報が付与されたデータである。シーンデータ７００には、シーンデータ７００に対応する動画のシーンを構成するフレームデータ６００が複数含まれている。シーンデータ７００のメタデータ領域には、シーンデータ７００に対応する動画のシーンに係るエラー情報７０１が含まれる。エラー情報７０１には、時間範囲７０２、シーンエラー有無フラグ７０３、シーンエラー度合７０４、エラーフレーム範囲７０５、および、フレーム範囲エラー度合７０６が含まれる。時間範囲７０２は、シーンデータ７００に対応するシーンの時間範囲を示す情報である。時間範囲を示す情報は、例えば、動画における当該シーンの時間範囲でもよいし、シーンデータ７００を構成する各フレームデータ６００に含まれる時刻情報６０２に基づく時間範囲でもよい。シーンエラー有無フラグ７０３は、シーンデータ７００に含まれる複数のフレームデータ６００にエラーがあるか否かを示す情報である。シーンエラー度合７０４は、シーンデータ７００に対応するシーン全体のエラーの度合いを示す情報である。シーン全体のエラーの度合いは、例えば、シーンデータ７００に含まれるすべてのフレームデータ６００に対する、エラーを含むフレームデータ６００の割合、および該フレームエラーの度合いに基づいて決定される。エラーフレーム範囲７０５は、シーンデータ７００に含まれるフレームデータ６００のうち、エラーを含むフレームデータ６００を特定する情報である。フレームデータ６００を特定する情報は、複数のフレームデータ６００のうち一つを特定する情報か、あるいは複数のフレームデータ６００のまとまりを特定する、範囲の情報のいずれかである。フレーム範囲エラー度合７０６は、エラーフレーム範囲７０５の情報によって特定されるフレームデータ６００のエラーの度合いを示す情報である。フレームデータ６００のエラーの度合いは、該フレームデータ６００に含まれるフレームエラー度合６０４に基づいて決定される。
【0033】
次に、素材データファイルのファイルフォーマットの一例について説明する。なお本実施形態では、素材データファイルのファイルフォーマットとして、ＩＳＯ／ＩＥＣ １４４９６－１２ （ＭＰＥＧ－４ Ｐａｒｔ１２） ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ（以下 ＩＳＯ ＢＭＦＦ）規格に基づいた例について説明する。また、以下では、素材データファイルに基づいて生成される仮想視点画像を動画として再生するためのデータを、メディアデータと呼ぶ。
【0034】
図８は、本実施形態におけるＩＳＯ ＢＭＦＦの構成の一例を説明するための図である。図８（ａ）において、ＩＳＯ ＢＭＦＦファイル８００は、ｆｔｙｐ（Ｆｉｌｅ Ｔｙｐｅ Ｃｏｍｐａｔｉｂｉｌｉｔｙ Ｂｏｘ）８０１、ｍｏｏｖ（Ｍｏｖｉｅ Ｂｏｘ）８０２、ｍｅｔａ（ｍｅｔａｄａｔａ）８０３、ｍｄａｔ（Ｍｅｄｉａ Ｄａｔａ Ｂｏｘ）８０４のボックスから構成される。ボックスｆｔｙｐ８０１には、ファイルフォーマットの情報、ボックスのバージョン、および、映像ファイルを作成したメーカの名称等が記載される。ボックスｍｏｏｖ８０２には、メディアデータを管理するために必要な情報である、動画の再生時間、データサイズ、およびアドレス等が含まれる。ボックスｍｅｔａ８０３には、素材データに係るエラー情報が含まれる。ボックスｍｄａｔ８０４には、実際に動画として再生されるメディアデータが含まれる。
【0035】
図９は、ボックスｍｅｔａ８０３の構成を説明するための図である。エラー情報を含むボックスｍｅｔａ８０３の構成を図９（ａ）に示す。Ｄａｔａ＿Ｅｒｒｏｒ＿ｉｎｆｏｒｍａｔｉｏｎが、メディアデータのエラー情報を表す。Ｄａｔａ＿Ｅｒｒｏｒ＿ｉｎｆｏｒｍａｔｉｏｎボックスに関する情報を図９（ｂ）に示す。また、Ｄａｔａ＿Ｅｒｒｏｒ＿ｉｎｆｏｒｍａｔｉｏｎボックスのシンタックスを図９（ｃ）に示す。ｅｒｒｏｒ＿ｆｌａｇは、エラーの有無を示す情報である。ｅｒｒｏｒ＿ｃｏｕｎｔは、メディアデータに含まれるエラーの数を示す情報である。なお、図９（ｃ）に示す例においては、ｅｒｒｏｒ＿ｆｌａｇとｅｒｒｏｒ＿ｃｏｕｎｔとをそれぞれ設けているが、ｅｒｒｏｒ＿ｃｏｕｎｔのみを有し、ｅｒｒｏｒ＿ｃｏｕｎｔがゼロのときはエラーがないと判断するファイル構成としてもよい。ｅｒｒｏｒ＿ｋｉｎｄは、エラーの種別を示す情報である。エラーの種別については、例えば、０は撮像画像の伝送に係るエラー、１は撮像画像の画像ブレに関するエラー、というように、エラー種別ごとに数値が割り当てられる。ｅｒｒｏｒ＿ｌｅｖｅｌは、ｅｒｒｏｒ＿ｋｉｎｄが示す各エラー種別の、エラーの度合いを示す情報である。
【0036】
なお、図８（ａ）に示すＩＳＯ ＢＭＦＦファイル８００においては、エラー情報をｍｅｔａ８０３に格納したが、この例に限らない。例えば、仮想視点画像に係る情報を格納するための新たなボックスが設けられてもよい。図９（ｂ）に示すように、ＩＳＯ ＢＭＦＦファイル８００に、例えば仮想視点画像に係る情報を格納する専用のボックスとして、ｆｖｖｉ（Ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ Ｖｉｄｅｏ Ｉｎｆｏ）８０５を新たに設けてもよい。また、ｍｅｔａ８０３およびｆｖｖｉ８０５は、動画（シーケンス）全体、動画に含まれる複数フレームから構成される映像クリップごと、および、各フレームごとに設けることができる。例えば、図８（ｃ）に示すように、ボックスｍｏｏｖ８０２の中にボックスｍｅｔａ８０３‘が設けられてもよい。また例えば、ボックスｍｏｏｖ８０２の中にある不図示のボックスｍｏｏｆ（Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ Ｂｏｘ）の中に、ボックスｍｅｔａ８０３‘が設けられてもよい。あるいは、図８（ｄ）に示すように、ボックスｆｖｖｉ８０５が複数のボックスｆｖｖｉ８０５’に分かれて設けられてもよい。
【0037】
以上説明したように、素材データに対しエラー情報がメタデータとして付与された素材データファイルを生成することにより、ユーザが素材データファイルを利用して仮想視点画像を生成したり、素材データを保管して管理したりする際の利便性が向上する。すなわち、エラー情報が素材データと適切に紐づけられているため、エラー情報を参照して素材データの補正等を行うことが容易になる。また、素材データとエラー情報とが同一のファイルに格納されているため、ユーザによる素材データの管理が容易になる。さらに、共通のファイルフォーマットに従い素材データファイルを生成することにより、画像生成装置１２０は共通のファイルフォーマットに従って仮想視点画像を生成することができるようになる。すなわち、共通のファイルフォーマットに準拠する他の画像処理装置、あるいは他の画像生成装置にも素材データが適用可能になるという効果がある。また、素材データの一部を扱う、あるいはまとめて扱う等の場合に、扱いが容易になるという効果がある。なお、本実施形態においては、ＩＳＯ ＢＭＦＦ規格に基づいた例について列名したが、フォーマットはこれに限定されない。ファイルフォーマットは、他の標準規格でもよいし、独自のフォーマットでもよい。また、フォーマットに含まれるそれぞれのパラメータの値、エラー情報の表現、形式、およびファイルに含まれる情報についても、上記の説明に限定されない。例えばユーザが新たなエラー情報を追加したり、上記の例と異なる形式を用いてファイルを生成したりすることも可能である。ファイル生成部２０７が生成した素材データファイルは、蓄積部２０５、あるいは後述の画像生成装置１２０に出力される。
【0038】
また、本実施形態においては、特定情報とエラー情報とを関連付けて出力する一例として、素材データにエラー情報をメタデータとして付与する構成について説明したが、この例に限らない。素材データと、該特定情報と関連付けられたエラー情報は、同じデータとして蓄積されてもよいし、別々のデータとして蓄積されてもよい。
【0039】
図２に戻り、操作部２０８は、ユーザからの入力を受け付け、且つユーザへの情報の提示を行うためのユーザインターフェースを提供する。操作部２０８は図１における操作部１１６に対応し、例えば、タッチパネル、ボタン、およびキーボード等の入力装置と、ディスプレイ等の出力装置との組み合わせで構成される。操作部２０８の出力装置は、蓄積部２０５に蓄積された素材データおよび該素材データに係るエラー情報を可視化し表示する。例えば、受信部２０３が撮像画像を受信できず、さらに撮像送信部２０１と通信が行えないというエラー情報が出力装置に表示されることにより、ユーザは通信経路の故障を早期に検出し修復を行う等の対応を行うことができる。また、素材データを出力装置に表示することにより、ユーザは、目視により不適切な素材データを検出し、入力装置を用いて手動でエラー情報を付与することができる。不適切な素材データとは、例えば、撮像送信部２０１に付着した汚れ等の撮影対象外のものにより撮像送信部２０１が遮られた状態で撮像された撮像画像などである。
【0040】
以上が、画像処理装置１１０の機能構成についての説明である。なお、本実施形態では三次元形状推定部２０４が前景シルエットを抽出する構成としたが、これに限定されない。例えば撮像送信部２０１が前景シルエットを抽出してもよい。この場合、撮像送信部２０１は、抽出したシルエットに基づき撮像画像を複数の矩形に切り取り送信する構成としてもよい。さらに撮像送信部２０１は、複数の矩形の総面積等から伝送帯域を超えるかを判断して、伝送を行えないと判断した場合、撮像画像を送付せずにエラー情報のみを送るとしてもよい。あるいは、撮像送信部２０１は、伝送帯域を超えないデータ量の矩形のみを送信したうえで、送信しなかった矩形に関する情報をエラー情報として付与し送信してもよい。
【0041】
次に、画像生成装置１２０の機能構成について説明する。図１０は、本実施形態における画像処理システム１００が有する画像生成装置１２０の機能構成を説明するための図である。画像生成装置１２０は、補正部１００１、画像生成部１００２、仮想視点操作部１００３、画像出力部１００４、および、画像ファイル生成部１００５を有する。以下、各部について説明する。
【0042】
補正部１００１は、画像処理装置１１０が有する蓄積部２０５、またはファイル生成部２０７から素材データおよび該素材データと関連付けられたエラー情報を取得する処理を行う。また、補正部１００１は、取得したエラー情報に基づいて素材データの補正あるいは補完の少なくともいずれかを行う。以下、補正部１００１が行う素材データの補正および補完の例について説明する。
【0043】
例えば、補正部１００１が取得したエラー情報が、撮像画像の品質に関するエラー情報であった場合、補正部１００１は、エラー情報に対応する撮像画像を仮想視点画像生成に使用するか否かを判断する。エラー情報に対応する撮像画像を使用しないと判断した場合、補正部１００１は、エラー情報に対応する撮像画像は使用不可であることを画像生成部１００２に伝えるとともに、当該使用しないと判断された撮像画像に対応する代替の撮像画像を補完する。また例えば、補正部１００１が取得したエラー情報が、撮像画像を受信できなかったことに関するエラー情報であった場合、補正部１００１は、受信できなかった撮像画像を補完する処理を行う。補完処理の具体例としては、補正部１００１は、使用しない、あるいは受信できずに欠落した撮像画像に対応する撮像送信部２０１と隣接する撮像送信部２０１が送信した撮像画像に基づいて画素値を推定し、撮像画像を補完生成する。あるいは、補正部１００１は、使用しない、あるいは受信できずに欠落した撮像画像に対応する撮影時刻の前後に撮像された撮像画像に基づいて画素値を推定し、撮像画像を補完する。補完の方法については、画素値を推定する方法に限らず、例えば補正部１００１が取得した撮像画像そのものを用いて欠落を補う方法でもよい。また、撮像画像以外の他の素材データについても同様に代替素材データにより補完することが可能である。
【0044】
また、補正部１００１は、エラー情報に応じて素材データの生成処理を再度行うことにより、素材データを補正する。例えば、補正部１００１が取得したエラー情報が、三次元モデル生成の未完了に関するエラー情報であった場合、補正部１００１は、三次元モデル生成の再処理を行う。具体的には、補正部１００１は、処理の途中段階の三次元モデルと前景シルエットとに基づき三次元モデル生成処理を再度行い、十分な精度の三次元モデルを生成する。生成された三次元モデルは、画像生成部１００２に送信される。
【0045】
以上が、補正部１００１が行う補正および補完の例である。上記のように、画像生成装置１２０は、素材データに関連付けられたエラー情報に基づいて素材データの適切な補正を行うことが可能となる。ただし、補正および補完の方法は、上記の内容に限定されない。なお、本実施形態における補正部１００１は、画像処理装置１１０から取得したエラー情報に基づいて、素材データに係るエラーを検出する例について説明したが、これに限らない。補正部１００１は、画像処理装置１１０から取得される素材データそのものに基づいて、当該素材データに係るエラーを検出することが可能である。検出されるエラーとしては、素材データの欠落、あるいは、取得した素材データの品質に係るエラー等がある。素材データの欠落に関するエラーは、例えば、ある時刻に対応する素材データが取得できない等の状態を示す。また、素材データの品質に係るエラーは、例えば撮像画像のブレ等であり、当該エラーは画像処理装置１１０におけるエラー検出部４０２と同様の処理により検出される。
【0046】
また、補正部１００１は、取得した素材データの品質を判定し、該素材データに品質情報を付与する。補正部１００１は、取得した素材データと関連付けられたエラー情報に基づいて品質を判定する。このとき、補正部１００１は、素材データを取得した時点における品質と、素材データの補正および補完を行った後の品質とを判定し、素材データに品質情報を付与する。品質情報は、補正部１００１による素材データの補正および補完の有無に関する情報を含む。また、例えば、補正部１００１が撮像画像の補完処理を行った場合、補完により生成された撮像画像は本来欠落している画像であるため、信頼性が十分でない可能性が高い。信頼性が十分でない画像を用いて生成される仮想視点画像は、観賞用としては品質が十分であるが、例えば競技等の映像判定といった用途には不向きである。上記の例のように信頼性が十分でないと判定された素材データについては、補正部１００１は、信頼性が十分でないことを示す品質情報を付与する。付与された品質情報は、ユーザが所望の仮想視点画像を取得するために参照する情報として使用される。
【0047】
画像生成部１００２は、後述の仮想視点操作部１００３から受信する仮想視点情報に基づいて、必要な素材データを補正部１００１から受信し、該受信した素材データに基づき仮想視点画像を生成する。生成された仮想視点画像は、画像出力部１００４、または画像ファイル生成部１００５に出力される。
【0048】
仮想視点操作部１００３は、図１における表示部１２５および操作部１２６に対応し、例えば、タッチパネル、ボタン、およびキーボード等の入力装置と、ディスプレイ等の出力装置との組み合わせで構成される。ユーザは、入力装置を操作し、撮像送信部２０１が撮像する撮像空間内における任意の視点の位置、向き、および焦点距離等を決定する。出力装置は、ユーザが決定した視点から見た仮想視点画像を表示する。仮想視点操作部１００３は、ユーザからの入力操作により決定される視点の位置、向き、および焦点距離等の情報、および、生成される仮想視点画像に対応する時刻等の情報を、仮想視点情報として映像生成部１００２に送信する。
【0049】
また、仮想視点操作部１００３は、画像生成部１００２において生成される仮想視点画像が、ユーザの所望する仮想視点画像により近くなるようにするためのユーザインターフェースを提供する。図１１は、仮想視点操作部１００３が提供するユーザインターフェースの一例を説明するための図である。
【0050】
図１１（ａ）は仮想視点画像を選択するためのユーザインターフェースの一例を示した図である。仮想視点操作部１００３は、仮想視点画像のサムネイル１１０１、名称１１０２、および、補正部１００１により素材データに付与された品質情報に対応する品質情報１１０３を出力装置に表示する。サムネイル１１０１は、補正部１００１が送信する素材データに基づいて生成される仮想視点画像のサムネイルである。名称１１０２は、競技あるいは大会名等を表す。品質情報１１０３は、サムネイル１１０１に対応する仮想視点画像の品質を示す情報であって、かつ該仮想視点画像を構成する素材データに関連付けられたエラー情報に含まれるシーンエラー度合７０４等に基づく品質を示す情報である。ユーザは表示された情報を見ながら、例えばより品質の良い仮想視点画像を指定する等、所望の仮想視点画像を選択する。これによりユーザは、希望に沿った仮想視点画像を選択することが可能となる。また、ユーザは例えば名称１１０２を入力することにより、対応する仮想視点画像を検索することが可能である。同じ名称１１０２によって示される仮想視点画像が複数ある場合には、仮想視点操作部１００３は、品質の高い仮想視点画像を検索結果の上位に表示するようにしてもよい。
【0051】
また、図１１（ｂ）は、動画の時間範囲によって品質が異なる仮想視点画像を表示する一例を示した図である。仮想視点画像フレームを複数組み合わせた動画は、フレームごと、あるいはシーンごとに品質が異なる場合がある。仮想視点操作部１００３は、素材データと関連付けられたエラー情報に含まれる時刻情報６０２および時間範囲７０２と、フレームエラー有無フラグ６０３およびシーンエラー有無フラグ７０３とを参照し、動画においてエラーが存在する時間範囲を特定する。また、仮想視点操作部１００３は、動画の収録時間を示すタイムバー１１０４を表示し、エラーが含まれる時間範囲１１０５のみタイムバー１１０５の色を変更する。これにより、ユーザは動画においてエラーが存在する時間範囲を容易に認識することができるようになる。
【0052】
なお、仮想視点操作部１００３が表示する情報は上記の例に限らない。例えば、仮想視点操作部１００３は、撮像画像、三次元モデル、シルエット画像、およびテクスチャ等の素材データそのものを表示するようにしてもよい。ユーザは素材データおよび品質情報を見ながら、仮想視点画像の生成に使用する素材データを選択することができる。以上の構成により、仮想視点操作部１００３は、補正部１００１が付与した品質情報に基づき、ユーザが所望の仮想視点画像を取得できるようにするためのユーザインターフェースを提供することができる。
【0053】
図１０に戻り、画像出力部１００４は、画像生成部１００２が生成した仮想視点画像を、ディスプレイあるいはデータベースサーバ等に出力する。
【0054】
画像ファイル生成部１００５は、画像生成部１００２が生成した仮想視点画像と、補正部１００１が素材データに付与した品質情報とから、仮想視点画像ファイルを生成する。以下、仮想視点画像ファイルの構成について説明する。
【0055】
図１２は、仮想視点画像ファイルにおいて、仮想視点画像フレームごとに品質情報がメタデータとして付与される例を説明するための図である。フレームデータ１２００は、素材データに基づいて生成される仮想視点画像フレームごとに品質情報が付与されたデータである。フレーム画像１２０２には、仮想視点画像フレームの画像データが含まれる。フレームデータ１２００のメタデータ領域には、仮想視点画像フレームの品質に関する品質情報１２０１が含まれる。品質情報１２０１は、フレーム品質１２０３、エラー種別１２０４、および、補正情報１２０５を含む。フレーム品質１２０３は、フレーム画像１２０２に含まれる画像データの品質を示す情報である。画像データの品質を示す情報は、補正部１００１によって判定される品質に関する情報であって、補正部１００１が素材データを取得した時点における品質、および素材データの補正および補完を行った後の品質に関する情報の少なくとも一方を含む。また、フレーム品質１２０３は、補正部１００１によって付与される、素材データの信頼性が十分でないことを示す品質情報を含む。エラー種別１２０４は、フレーム品質１２０３によって示される品質の根拠となるエラーの種別を示す情報である。例えば、撮像画像の画像ブレによりフレーム画像１２０４に含まれる画像データの品質が低下している場合、エラー種別１２０４には、撮像画像の画像ブレを示す情報が含まれる。補正情報１２０５は、フレーム画像１２０２に含まれる画像データの生成に使用された素材データが、補正部１００１によって補正あるいは補完されたか否かを示す情報である。
【0056】
図１３は、仮想視点画像ファイルにおいて、動画のシーンごとに品質情報がメタデータとして付与される例を説明するための図である。シーンデータ１３００は、動画のシーンごとに品質情報が付与されたデータである。シーンデータ１３００は、シーンデータ１３００に対応するシーンを構成する複数のフレームデータ１２００を含む。また、シーンデータ１３００のメタデータ領域には、当該シーンの品質に関する品質情報１３０１が含まれる。品質情報１３０１は、時間範囲１３０２、シーン品質１３０３、および、時間範囲別品質１３０４を含む。時間範囲１３０２は、シーンデータ１３００に対応するシーンの、動画における時間範囲を示す情報である。シーン品質１３０３は、シーンデータ１３００に対応するシーン全体の品質を示す情報である。シーン全体の品質は、シーンデータ１３００に含まれる各フレームデータ１２００の品質情報に基づいて決定される。時間範囲別品質１３０４は、シーンデータ１３００に対応するシーンの中で、時間範囲によって品質が異なる場合に付与される情報である。時間範囲別品質１３０４は、シーンの中の時間範囲と、該時間範囲における品質とを示す情報である。
【0057】
以上説明した構成に基づいて、画像ファイル生成部１００５は仮想視点画像ファイルを生成する。仮想視点画像ファイルを生成することにより、仮想視点画像ファイルのファイルフォーマットに準拠した複数の装置等で動画の再生あるいは編集を行うことが可能となる。仮想視点画像ファイルのファイルフォーマットは、例えばＩＳＯ ＢＭＦＦ規格に基づくフォーマットであってもよいし、他の標準規格、あるいは独自のフォーマットであってもよい。
【0058】
以上が、画像生成装置１２０の機能構成についての説明である。なお、補正部１００１は、補正部１００１が補完あるいは再処理等の補正処理を行うことにより得られた素材データを、画像処理装置１１０における蓄積部２０５に再度蓄積させてもよい。これにより、画像生成装置１２０が補正済み素材データに基づく仮想視点画像を再度生成するときに、補正処理済みの素材データを蓄積部２０５から取得することができる。したがって、補正部１００１が再度補正処理を行う必要がなくなる。
【0059】
次に、本実施形態における画像処理システム１００の処理手順について説明する。図１４は、画像処理システム１００が有する画像処理装置１１０の処理手順を説明するためのフローチャートである。なお、以降の記載においてステップのことを、単にＳと表記する。ＣＰＵ１１１がプログラムを実行することにより、以下の処理が行われる。撮像送信部２０１が撮像を行うと、処理が開始される。
【0060】
Ｓ１４０１において、撮像送信部２０１は、同期部２０２から送信される同期信号に基づいて撮像領域の撮像を行い、撮像画像を取得する。Ｓ１４０２において、エラー検出部４０２は、撮像画像の伝送に関するエラーおよび撮像画像の品質に関するエラーの検出を行う。エラーが検出された場合、Ｓ１４０３へ処理を進める。エラーが検出されなかった場合、Ｓ１４０４へ処理を進める。Ｓ１４０３において、付与部４０３は、検出されたエラーに関するエラー情報を、撮像画像データに付与する。Ｓ１４０４において、撮像送信部２０１は、撮像画像データと、該撮像画像データに付与されたエラー情報とを、受信部２０３へ送信する。
【0061】
Ｓ１４０５において、受信部２０３は、撮像送信部２０１から送信された撮像画像データを受信する。Ｓ１４０６において、エラー検出部４０２は、撮像画像の受信に関するエラーおよび受信した撮像画像の同期に関するエラーの検出を行う。エラーが検出された場合、Ｓ１４０７へ処理を進める。エラーが検出されなかった場合、Ｓ１４０８へ処理を進める。Ｓ１４０７において、付与部４０３は、検出されたエラーに関するエラー情報を、撮像画像データに付与する。Ｓ１４０８において、受信部２０３は、撮像画像データと、該撮像画像データに付与されたエラー情報とを、三次元形状推定部２０４へ送信する。
【0062】
Ｓ１４０９において、三次元形状推定部２０４は、受信部２０３から送信された撮像画像データに基づき、三次元モデルを生成する。Ｓ１４１０において、エラー検出部４０２は、三次元モデル生成の未完了に関するエラーを検出する。エラーが検出された場合、Ｓ１４１１へ処理を進める。エラーが検出されなかった場合、Ｓ１４１２へ処理を進める。Ｓ１４１１において、付与部４０３は、検出されたエラーに関するエラー情報を、三次元モデルデータに付与する。Ｓ１４１２において、三次元形状推定部２０４は、三次元モデルデータと、該三次元モデルデータに付与されたエラー情報とを、蓄積部２０５へ送信する。また、三次元形状推定部２０４は、三次元モデル生成に使用した撮像画像データおよび該撮像画像データに付与されたエラー情報も蓄積部２０５へ送信する。
【0063】
Ｓ１４１３において、蓄積部２０５は、三次元形状推定部２０４から送信された撮像画像データ、三次元モデルデータ、およびその他のカメラパラメータおよびテクスチャ画像等を、素材データとして蓄積する。また、蓄積部２０５は、三次元形状推定部２０４から送信されたエラー情報を、素材データに付与する。Ｓ１４１４において、エラー検出部４０２は、蓄積を要求されるデータ量の蓄積帯域超過に関するエラーを検出する。エラーが検出された場合、Ｓ１４１５へ処理を進める。エラーが検出されなかった場合、Ｓ１４１６へ処理を進める。Ｓ１４１５において、付与部４０３は、検出されたエラーに関するエラー情報を、素材データに付与する。
【0064】
Ｓ１４１６において、蓄積部２０５は、素材データに付与されたエラー情報があるか否かを判定する。エラー情報が付与されている場合、Ｓ１４１７へ処理を進める。エラー情報が付与されていない場合、Ｓ１４２１へ処理を進める。Ｓ１４１７において、集計付与部２０６は、素材データと該素材データに付与されたエラー情報とを取得し、素材データの種別ごとに素材データとエラー情報とを関連付けた素材別データ５００を作成する。Ｓ１４１８において、集計付与部２０６は、Ｓ１４１７において作成された複数の素材別データ５００に基づいて、フレームデータ６００を作成する。Ｓ１４１９において、集計付与部２０６は、Ｓ１４１８において作成された複数のフレームデータ６００に基づいて、シーンデータ７００を作成する。Ｓ１４２０において、集計付与部２０６は、エラー情報の関連付けを行った素材データを蓄積部２０５へ出力する。
【0065】
Ｓ１４２１において、ファイル生成部２０７は、所定のファイルフォーマットに基づき素材データファイルを生成する。Ｓ１４２２において、ファイル生成部２０７は、生成した素材データファイルを蓄積部２０５へ出力する。蓄積部２０５は、画像生成装置１１０から素材データファイルの送信指示がされるまで、素材データファイルを蓄積する。なお、ファイル生成部２０７は、Ｓ１４２１において素材データファイルを生成した後、素材データファイルを直接画像生成装置１２０へ送信する構成としてもよい。
【0066】
図１５は、画像処理システム１００が有する画像生成装置１２０の処理手順を説明するためのフローチャートである。ＣＰＵ１２１がプログラムを実行することにより、以下の処理が行われる。画像生成装置１２０が素材データを受信すると、処理が開始される。
【0067】
Ｓ１５０１において、補正部１００１は、画像処理装置１１０における蓄積部２０５またはファイル生成部２０７から素材データファイルを取得する。Ｓ１５０２において、補正部１００１は、取得した素材データファイルに付与されたエラー情報があるか否かを判定する。エラー情報がある場合、Ｓ１５０３へ処理を進める。エラー情報がない場合、Ｓ１５０４へ処理を進める。Ｓ１５０３において、補正部１００１は、エラー情報に基づき、素材データの補正および補完を行う。Ｓ１５０４において、補正部１００１は、エラー情報および補正処理あるいは補完処理前後の素材データに基づき、素材データの品質を判定する。また、補正部１００１は、判定した品質に関する品質情報を素材データに付与する。Ｓ１５０５において、画像生成部１００２は、仮想視点操作部１００３から受信する仮想視点情報に基づいて、必要な素材データを補正部１００１から受信し、該受信した素材データに基づき仮想視点画像を生成する。Ｓ１５０６において、画像ファイル生成部１００５は、所定のファイルフォーマットに基づき仮想視点画像ファイルを生成する。Ｓ１５０７において、画像出力部１００４は、画像生成部１００２が生成した仮想視点画像を、ディスプレイあるいはデータベースサーバ等に出力する。
【0068】
以上説明したように、画像処理装置１１０が特定情報により特定される素材データと該素材データに係るエラー情報とを関連付けることにより、エラー情報を容易に参照できるようになる。これにより画像生成装置１２０が素材データに係るエラーに応じて素材データの補正を行い、仮想視点画像の品質低下を抑制できるようになる。また、画像処理装置１１０が素材データに係るエラー情報をメタデータとして付与した素材データファイルを生成することにより、ユーザが素材データとエラー情報とを利用または管理する際の利便性を向上させることができる。さらに、画像生成装置１２０がエラー情報に基づいて素材データの品質に関する情報を素材データに付与することにより、ユーザが所望する仮想視点画像を取得できるようになる。
【0069】
なお、本実施形態においては、画像処理装置１１０と画像生成装置１２０とが別々の装置であるシステムについて説明したが、これに限らない。画像処理装置１１０および画像生成装置１２０が同じ装置に含まれていてもよい。また、画像処理装置１１０または画像生成装置１２０に含まれる処理部の一部が別の装置として接続されていてもよい。さらに、画像処理装置１１０の機能が複数の撮像送信部２０１のそれぞれに組み込まれ、画像処理装置１１０における各処理部と同様の処理を行う構成としてもよい。
【0070】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0071】
１００ 画像処理システム
１１０ 画像処理装置
１２０ 画像生成装置
２０６ 集計付与部
４０１ 処理部
４０２ エラー検出部
１００１ 補正部
１００２ 画像生成部
１１０ 画像処理装置
１２０ 画像生成装置
２０６ 集計付与部
４０１ 処理部
４０２ エラー検出部
１００１ 補正部
１００２ 画像生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】