発明が解決しようとする課題[発明の詳細な説明]から抜粋

視体積交差法を用いて3Dモデルを再構成する場合、正確な3Dモデルを計算することは難しかった。まず、カメラの台数が不十分の場合にモデルが不正確に生成されがちであるという原理的な問題に加え、そもそも離散化された位置のボクセルグリッドに対してボクセルモデルの形成がされるか否かを判定するため正確なモデル形状を取得することが困難である。ボクセルグリッドを細かくすれば、この位置の量子化誤差は減らせるものの計算量が増大する。 さらに、視体積交差法でモデル生成を行うためには、使用する各カメラの位置や向きを正確に知る必要がある。このようなカメラの位置や向きを正確に特定する技術は「カメラキャリブレーション技術」と呼ばれ、例えば非特許文献４にはカメラキャリブレーションを自動で行う技術が開示されている。しかしながら、カメラキャリブレーションによりカメラの位置や向きを完璧に特定することは困難であり、特定された位置や向きに誤差が混入するという技術課題がある。 さらに、仮想視点画像生成技術を実現するにあたっては複数台のカメラが必須となるが、各カメラのシャッタータイミングの同期にズレが発生していると、特に被写体の移動速度が速い場合などに、視体積交差法で生成した3Dモデルに欠損が生じ得る。 3Dモデルに欠損が生じる技術課題は、視体積交差法に用いるシルエット画像自体の輪郭を膨張させたり、3Dモデルの形状を膨張させたりすることで回避できるが、結果的に本来モデル化されるべきではなかった箇所がモデル化されるなどにより、3Dモデルの正確な形成が妨げられることがある。 また、このような不正確な3Dモデルが形成されることによって、図９に示したように仮想視点画像の主観品質に大きな影響が生じ得る。図９では、本来モデル化されるべきではなかった箇所がモデル化されていることによって、その箇所に対応するフィールド部分がマッピングされてしまっている。 このように、シルエット抽出の精度が高まり、完璧なシルエット抽出が可能であったとしても、シルエット抽出技術以外の様々な誤差に影響され、モデル形状の復元を完璧に行うことは困難である。 本発明の目的は、の技術課題を解決し、被写体の3Dモデルへマッピングするテクスチャを背景モデルと比較することで被写体ではないテクスチャ部分を透過領域に決定し、レンダリングの際に透過領域を透過処理する（換言すれば、レンダリングの際に背景差分処理を再度行う）ことで仮想視点画像の品質を高めることにある。

課題を解決するための手段[発明の詳細な説明]から抜粋

本発明によれば以下のような効果が達成される。 (1) テクスチャマッピングされた3Dモデルを2D平面へレンダリングして仮想視点画像を合成する際に、テクスチャの画素値と背景統計情報の対応する画素値との差分に基づいて背景と推定できる透過領域を決定し、レンダリングの際に透過領域には透過処理を適用するので、背景のテクスチャが前景に表示されることによる仮想視点画像の品質低下を防止できるようになる。 (2) 品質改善が、3Dモデルを生成した後の2D平面へのレンダリング時における透過処理により実現されるので、キャリブレーションの誤差などの影響を受けることがない。 (3) テクスチャおよび背景統計情報（例えば、空舞台）の対応画素の画素値を比較するという簡便な処理で透過領域を決定できるので、リアルタイム性を損なわずに大きな品質向上を期待できる。 (4) 透過処理の適用範囲を仮想視点画像の前景領域縁部から所定幅の範囲内に限定したので、テクスチャの画素値と背景統計情報の対応する画素値との差分が偶然に小さくなっても、不要な透過処理が適用されてしまうことによる品質低下を防止できるようになる。