特許 7245766 ３Ｄモデル生成方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-15

(45)【発行日】2023-03-24

(54)【発明の名称】３Ｄモデル生成方法及び装置

(51)【国際特許分類】

   G06T 17/10 20060101AFI20230316BHJP

   G06T 7/564 20170101ALI20230316BHJP

   G01B 11/245 20060101ALI20230316BHJP

   G01C 11/36 20060101ALI20230316BHJP

   G01C 11/08 20060101ALI20230316BHJP

【ＦＩ】

G06T17/10

G06T7/564

G01B11/245 H

G01C11/36

G01C11/08

【請求項の数】 10

(21)【出願番号】P 2019231270

(22)【出願日】2019-12-23

(65)【公開番号】P2021099671

(43)【公開日】2021-07-01

【審査請求日】2021-12-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】渡邊 良亮

【審査官】山口 大志

(56)【参考文献】

【文献】特開２００１－３０７０７３（ＪＰ，Ａ）

【文献】特開２０１８－１２５６４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／１０

Ｇ０６Ｔ ７／５６４

Ｇ０１Ｂ １１／２４５

Ｇ０１Ｃ １１／３６

Ｇ０１Ｃ １１／０８

(57)【特許請求の範囲】

【請求項1】

多視点映像から被写体の3Dモデルを生成する3Dモデル生成装置において、
多視点映像から視点ごとにシルエット画像を取得する手段と、
前記シルエット画像の輪郭を膨張加工して膨張シルエット画像を生成する膨張加工手段と、
膨張シルエット画像を用いた視体積交差法により単位ボクセルサイズが第１サイズの低解像ボクセルモデルを計算する低解像ボクセルモデル計算手段と、
前記低解像ボクセルモデルの領域を対象に、前記シルエット画像を用いた視体積交差法により単位ボクセルサイズが前記第１サイズよりも小さい第２サイズの高解像ボクセルモデルを計算する高解像ボクセルモデル計算手段と、
前記高解像ボクセルモデルに基づいて被写体の3Dモデルを出力する手段とを具備したことを特徴とする3Dモデル生成装置。

【請求項2】

前記低解像ボクセルモデルごとにその3Dバウンディングボックスを生成する手段を更に具備し、
前記高解像ボクセルモデル計算手段は、前記3Dバウンディングボックス内を対象に第２サイズの高解像ボクセルモデルを計算することを特徴とする請求項１に記載の3Dモデル生成装置。

【請求項3】

前記シルエット画像の輪郭を退縮加工して退縮シルエット画像を生成する退縮加工手段と、
前記退縮シルエット画像を用いた視体積交差法によりボクセルサイズが前記第２サイズよりも大きい第３サイズの低解像ボクセルモデルを計算する第２低解像ボクセルモデル計算手段とを具備し、
前記高解像ボクセルモデル計算手段は、前記ボクセルサイズが第１サイズの低解像ボクセルモデルの領域に含まれるが第３サイズの低解像ボクセルモデルの領域には含まれない表面近傍部分を対象に高解像ボクセルモデルを計算することを特徴とする請求項２に記載の3Dモデル生成装置。

【請求項4】

前記ボクセルサイズの第１サイズと第３サイズとが同一であることを特徴とする請求項３に記載の3Dモデル生成装置。

【請求項5】

前記膨張加工手段は、各シルエット画像に対する膨張加工の膨張量を、そのシルエットサイズに応じて適応的に変更することを特徴とする請求項１ないし４のいずれかに記載の3Dモデル生成装置。

【請求項6】

前記膨張加工手段は、同一の被写体に関する多視点画像ごとに、各シルエット画像に対する膨張加工の膨張量を、そのシルエットサイズに応じて適応的に変更することを特徴とする請求項５に記載の3Dモデル生成装置。

【請求項7】

前記膨張加工手段は、シルエットサイズが相対的に大きいシルエット画像に対する膨張加工の膨張量を、シルエットサイズが相対的に小さいシルエット画像に対する膨張加工の膨張量よりも大きくすることを特徴とする請求項５または６に記載の3Dモデル生成装置。

【請求項8】

前記膨張加工手段は、シルエット画像の形状に応じて膨張加工の膨張量を適応的に変更することを特徴とする請求項１ないし７のいずれかに記載の3Dモデル生成装置。

【請求項9】

コンピュータが、多視点映像から被写体の3Dモデルを生成する3Dモデル生成方法において、
多視点映像から視点ごとにシルエット画像を取得し、
前記シルエット画像の輪郭を膨張加工して膨張シルエット画像を生成し、
膨張シルエット画像を用いた視体積交差法により単位ボクセルサイズが第１サイズの低解像ボクセルモデルを計算し、
前記低解像ボクセルモデルの領域を対象に、前記シルエット画像を用いた視体積交差法により単位ボクセルサイズが前記第１サイズよりも小さい第２サイズの高解像ボクセルモデルを計算し、
前記高解像ボクセルモデルに基づいて被写体の3Dモデルを出力することを特徴とする3Dモデル生成方法。

【請求項10】

前記シルエット画像の輪郭を退縮加工して退縮シルエット画像を取得し、
前記退縮シルエット画像を用いた視体積交差法によりボクセルサイズが前記第２サイズよりも大きい第３サイズの低解像ボクセルモデルを計算し、
前記ボクセルサイズが第１サイズの低解像ボクセルモデルの領域に含まれるが前記ボクセルサイズが第３サイズの低解像ボクセルモデルの領域には含まれない表面近傍部分を対象に高解像ボクセルモデルを計算することを特徴とする請求項９に記載の3Dモデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、3Dモデル生成方法及び装置に係り、特に、複数台のカメラの映像から被写体の3Dモデルを高速かつ高品質に生成する3Dモデル生成方法及び装置に関する。

【背景技術】

【0002】

複数のカメラ映像から被写体の3Dモデルを生成するアプローチとして、非特許文献1に開示された視体積交差法が広く知られている。視体積交差法は、各カメラ映像から被写体の部分だけを抽出した2値のシルエット画像を3D空間に投影し、その積集合となる部分のみを残すことによって3Dモデルを生成する手法である。

【0003】

視体積交差法に基づいて生成される3Dモデルを構成する最小単位はボクセルと呼ばれる。ボクセルは、一定の値を持つ小さな体積の立方体であり、立体データを離散的に表現する際の正規格子単位である。

【0004】

非特許文献２には、視体積交差法を自由視点映像技術等の中で用いる技術が開示されている。自由視点映像技術は複数台のカメラ映像から3D空間を再構成し、カメラがないアングルからでも視聴することを可能とする技術であるが、スポーツ映像などを対象とする場合にはリアルタイム性が重要である。しかしながら、スタジアムなどの広大な領域の中で、通常のボクセルベースの視体積交差法で3Dモデルの生成を行う場合には、計算時間が膨大となるという欠点があった。

【0005】

このような技術課題を解決するために、非特許文献３には視体積交差法を高速化する技術として、Coarse-to-Fineのボクセルモデル生成アルゴリズムが開示されている。非特許文献３では、視体積交差法で3Dボクセルモデルを生成する際に、初めに粗い単位ボクセルサイズMaでモデルの生成を行い、ボクセルの塊を一つのオブジェクトとして3Dのバウンディングボックスを得る。その後、各3Dバウンディングボックス内を、細かい単位ボクセルサイズMb（＜Ma）で視体積交差法を用いてモデル化することで処理時間を大幅に削減することに成功している。非特許文献４には、ボクセルの欠けを抑止するためにボクセルを膨張させる技術が開示されている。

【先行技術文献】

【非特許文献】

【0006】

【文献】Laurentini, A. "The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162 (1994).

【文献】J. Kilner, J. Starck, A. Hilton and O. Grau, "Dual-Mode Deformable Models for Free-Viewpoint Video of Sports Events," Sixth International Conference on 3-D Digital Imaging and Modeling (3DIM 2007), Montreal, QC, 2007, pp. 177-184.

【文献】J. Chen, R. Watanabe, K. Nonaka, T. Konno, H. Sankoh, S. Naito, "A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019), WeAT17.2, (2019).

【文献】C. Prock, Andrew & Dyer, Charles. "Towards Real-Time Voxel Coloring.", 1970.

【文献】C. Stauffer and W. E. L. Grimson, "Adaptive background mixture models for real-time tracking," 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 246-252 Vol. 2 (1999).

【文献】Chen, J., Nonaka, K., Sankoh, H., Watanabe, R., Sabirin, H., & Naito, S. Efficient Parallel Connected Component Labeling with a Coarse-to-Fine Strategy. IEEE Access, 2008, 6, 55731-55740.

【発明の概要】

【発明が解決しようとする課題】

【0007】

非特許文献3に開示されるCoarse-to-Fineのボクセルモデル生成アルゴリズムは、従来の視体積交差法の処理時間を大幅に削減できる一方、3Dモデルの品質に劣後を生じさせる場合がある。

【0008】

図８は、品質劣後の原因を説明するための図である。非特許文献3では、粗い（Coarseな）ボクセルから3Dバウンディングボックスを推定する際、視体積の交差エリアと粗いボクセルグリッドとの重なりが判定され、視体積交差エリアと重なった粗いボクセルグリッドのみがボクセルモデルの存在領域と見なされる。

【0009】

しかしながら、重なり判定は各ボクセルグリッドの中心座標（図中、「・」で示される）を基準に行われるため、視体積交差エリアの一部でありながら3Dバウンディングボックスの外側と見なされる劣後箇所が生じ得る。このような劣後箇所は、その後の3Dバウンディングボックスの内側を対象とする細かな（Fineな）ボクセル生成においてモデル化されないので、出力される3Dモデルの特に表面近傍部分に欠損を生じさせる原因となる。

【0010】

この点、非特許文献４によれば各ボクセルが膨張されるので、非特許文献３では3Dバウンディングボックスの外側領域となっていた一部の視体積交差エリアを3Dバウンディングボックスの内側領域に含ませることができる。

【0011】

しかしながら、非特許文献４では野球のボールなどの小さい物体に関しては、粗いボクセルの単位ボクセルサイズが大きくなった場合にボクセルサイズが0になってしまい、粗いボクセル生成の段階でモデル生成が成されず、物体そのものが消失してしまう懸念があった。

【0012】

加えて、非特許文献３ではバレーボールや柔道のシーケンスを対象に実験を行っているが、サッカーのスタジアム全体など、制作対象領域が広大になればなるほど処理時間が増大するため、広大な空間でのリアルタイム3Dモデル生成を実現するためには更なる高速化が必要である。

【0013】

一方、処理負荷に余裕があれば単位ボクセルサイズを細かく設計できる(＝単位ボクセルサイズが細かくなることで最終的なモデルの形状が洗練される)ことを鑑みれば、非特許文献３のアルゴリズムが更に高速化されることは自由視点映像の実用化を考える上で重要である。

【0014】

本発明の目的は、上記の技術課題を解決し、Coarse-to-Fineのボクセルモデル生成において、3Dモデルの欠損や小さな物体の消失を防いで高速かつ高品質な3Dモデル生成を可能にする3Dモデル生成方法及び装置を提供することにある。

【課題を解決するための手段】

【0015】

上記の目的を達成するために、本発明は、多視点映像から被写体の3Dモデルを生成する3Dモデル生成装置において、以下の構成を具備した点に特徴がある。

【0016】

(1) 多視点映像から視点ごとにシルエット画像を取得する手段と、シルエット画像の輪郭を膨張加工して膨張シルエット画像を生成する手段と、膨張シルエット画像を用いた視体積交差法により単位ボクセルサイズが第１サイズM₁の低解像ボクセルモデルMD_Lを計算する手段と、低解像ボクセルモデルMD_Lの領域を対象に、前記シルエット画像を用いた視体積交差法により単位ボクセルサイズが第１サイズM₁よりも小さい第２サイズM₂の高解像ボクセルモデルMD_Hを計算する手段と、高解像ボクセルモデルMD_Hに基づいて被写体の3Dモデルを出力する手段とを具備した。

【0017】

(2) 前記シルエット画像の輪郭を退縮加工して退縮シルエット画像を生成する手段と、退縮シルエット画像を用いた視体積交差法によりボクセルサイズが前記第２サイズM₂よりも大きい第３サイズM₃の低解像ボクセルモデルMD_L2を計算する手段とを具備し、前記高解像ボクセルモデルを計算する手段は、低解像ボクセルモデルMD_L1の領域には含まれるが低解像ボクセルモデルMD_L2の領域には含まれない表面近傍部分を対象に高解像ボクセルモデルMD_Hを計算するようにした。

【0018】

(3) 膨張加工する手段は、シルエットのサイズや形状に応じて膨張加工の膨張量を適応的に変更するようにした。

【0019】

(4) 退縮加工する手段は、シルエットのサイズや形状に応じて退縮加工の退縮量を適応的に変更するようにした。

【発明の効果】

【0020】

本発明によれば、以下のような効果が達成される。

【0021】

(1) 膨張シルエット画像を用いた視体積交差法により計算した低解像ボクセルモデルの領域を対象に3Dモデル用の高解像ボクセルモデルを計算するので、小さな被写体を消失させることなく、出力する3Dモデルの表面近傍部分における欠損の発生を抑えられるようになる。

【0022】

(2) 低解像ボクセルモデルの領域を対象に3Dモデル用の高解像ボクセルモデルを計算する際に、低解像ボクセルモデルの3Dバウンディングボックスの内側を計算対象とするのではなく、低解像度ボクセルモデルが生成される領域のみを計算対象とすれば、高解像ボクセルモデルの計算範囲を低解像ボクセルモデルが生成される領域のみに限定することができ、計算処理の高速化が可能になる。

【0023】

(3) 膨張シルエット画像を用いて計算した低解像ボクセルモデルの領域には含まれるが退縮シルエット画像を用いて計算したが低解像ボクセルモデルの領域には含まれない表面近傍部分のみを対象に3Dモデル用の高解像ボクセルモデルを計算するので、高解像ボクセルモデルの計算範囲を3Dモデルの表面近傍部分のみに限定することができ、計算処理の高速化が可能になる。

【0024】

(4) シルエット画像の輪郭を膨張加工して膨張シルエット画像を生成する際の膨張量や、シルエット画像の輪郭を退縮加工して退縮シルエット画像を生成する際の退縮量を、シルエット画像におけるシルエットのサイズや形状に応じて可変としたので、膨張過多や膨張不足が原因の品質低下や、品質向上を伴わない計算量の増加を抑制できるようになる。

【図面の簡単な説明】

【0025】

【図1】本発明の第１実施形態に係る3Dモデル生成装置の機能ブロック図である。

【図2】シルエット画像の膨張例を示した図である。

【図3】3Dバウンディングボックスの例を示した図である。

【図4】膨張シルエット画像を用いることにより視体積交差エリアが拡張される様子を示した図である。

【図5】本発明の第２実施形態に係る3Dモデル生成装置の機能ブロック図である。

【図6】第２実施形態における3Dモデルの生成方法を模式的に示した図である。

【図7】本発明により3Dモデルの表面近傍部分の欠損が低減される様子を示した図である。

【図8】Coarse-to-Fineのボクセルモデル生成アルゴリズムの技術課題を説明するための図である。

【発明を実施するための形態】

【0026】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る3Dモデル生成装置１の主要部の構成を示した機能ブロック図であり、ここでは、野球中継における被写体の3Dモデルの生成を例にして説明する。

【0027】

このような3Dモデル生成装置１は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0028】

シルエット画像取得部１０１は、複数の被写体を異なる視点で撮影した複数のカメラ２の映像（多視点映像）から、視体積交差法に用いるシルエット画像Aをフレーム単位でそれぞれ取得する。視体積交差法で3Dモデルを形成するためには、３台以上のカメラ２からシルエット画像Aを取得することが望ましい。

【0029】

シルエット画像Aは、3Dモデルを生成する被写体を白、それ以外の部分を黒で表した２値のマスク画像形式で取得される。このようなシルエット画像Aは、非特許文献５に開示された背景差分法を利用して取得できる。

【0030】

シルエット画像加工部１０２は、各シルエット画像Aの輪郭を膨張加工して膨張シルエット画像A₁を生成する膨張加工部１０２ａを少なくとも含み、当該膨張シルエット画像A₁を他の加工方法により加工されたシルエット画像または未加工のシルエット画像A₀（=A）と共に出力する。本実施形態では、視点ごとに膨張シルエット画像A₁および未加工のシルエット画像A₀が出力される。

【0031】

図２は、前記シルエット加工部１０２の膨張加工部１０２ａによる膨張加工の一例を示した図であり、シルエット画像A₀の輪郭を外方へ一様に数ピクセルずつ拡張する膨張加工により膨張シルエット画像A₁が生成されている。本実施形態では、シルエット画像A₀の各ピクセルを5×5ピクセルのサイズまで拡張することで膨張シルエット画像A₁が生成される。

【0032】

前記膨張加工部１０２ａによるシルエット画像の膨張量は全てのシルエット画像に一様であっても良い。しかしながら、同一の被写体に関する多視点映像の各シルエット画像を比較した場合、画角の中で被写体のサイズが大きい、換言すれば、シルエットサイズが大きいシルエット画像の膨張量をシルエットサイズが小さいシルエット画像の膨張量よりも大きくした方が欠損をより正確に排除できることが経験的に認められる。したがって、シルエットサイズあるいは当該シルエットサイズを代表できるカメラからその被写体までの距離に応じて、被写体ごとに各シルエット画像の膨張量を適応的に変更しても良い。

【0033】

ただし、野球中継のように被写体の多くが選手や審判などの人物であり、その大きさに大差が無い環境下では、同一人物の多視点映像に係るシルエット画像であるか否かを問わず、全てのシルエット画像の膨張量を単純にそのシルエットサイズあるいはカメラと被写体との距離のみに基づいて適応的に変更しても良い。

【0034】

なお、膨張シルエット画像A₁を生成する際の膨張量を増せば欠損部分が減少するので品質向上が期待できる反面、処理する粗いボクセルの数が増加するため、高解像ボクセルモデルの生成をスキップできる領域が減ってしまう可能性がある。したがって、膨張量は欠損を十分に抑制できる範囲内で最小限にすることが望ましい。

【0035】

低解像ボクセルモデル計算部１０３は、単位ボクセルサイズ（本実施形態では、ボクセルグリッドの一辺の長さ）が相対的に大きい第１サイズM₁となるボクセルグリッドを配置した３次元空間に、前記各膨張シルエット画像A₁を用いた視体積交差法により膨張した視体積を形成する。

【0036】

低解像ボクセルモデル計算部１０３は更に、この視体積に対して各ボクセルの隣接関係を基に連結成分を計算し、連結している領域を一つの被写体のモデルとみなすことで、単位ボクセルサイズが第１サイズM₁の低解像ボクセルモデルMD_Lを計算する。連結領域のラベリングには任意の既存手法を用いることができるが、例えば、非特許文献６に開示されたラベリング手法を採用すれば連結成分を効率的に計算できる。

【0037】

本実施形態では、第１サイズM₁が5cmに設定され、3Dモデル生成の対象範囲（本実施形態では、野球グランド全体）に単位ボクセルサイズが5cmとなるボクセルグリッドを配置し、ボクセルグリッドごとに3Dモデルを形成するか否かを視体積交差法に基づき判定する。視体積交差法は、n枚のシルエット画像を3次元ワールド座標に投影した際の視錐体の共通部分を視体積（Visual Hull）VH(I)として獲得するものであり、以下の式で示される。

【0038】

【数1】

【0039】

上式(1)において、集合Iはシルエット画像の集合であり、Viはi番目のカメラから得られるシルエット画像から計算される視錐体である。また、通常はn枚全てのシルエット画像の共通部分がモデル化されるが、n-1枚が共通する場合にモデル化するなど、モデル化に用いるシルエット画像の数は変更してもよい。なお、モデル化に用いるシルエット画像数を減じると、一部のシルエット画像で被写体が欠けた場合にも3Dモデルの復元が可能になる一方、ノイズが多くなるなどの副作用が現れる可能性がある。

【0040】

3Dバウンディングボックス生成部１０４は、図３に示したように、各低解像ボクセルモデルMD_Lを内包する3DバウンディングボックスBBをそれぞれ生成する。本実施形態では、図４に示したように、膨張加工されたシルエット画像A₁を用いて視体積交差エリアE₁が生成されるので、その大きさが従来技術（図８）による視体積交差エリアE₂よりも大きくなる。

【0041】

その結果、従来技術では3DバウンディングボックスBBの外側領域と判定されていた２つの粗いボクセルグリッドBB₁，BB₂が3DバウンディングボックスBBの内側領域に追加されることとなり、前記劣後箇所にも細かなボクセルが生成されるようになる。

【0042】

高解像ボクセルモデル計算部１０５は、3Dバウンディングボックス生成部１０４が生成した3DバウンディングボックスBBの内部の狭い領域のみに対して、あるいは前記低解像ボクセルモデルMD_Lが生成されるボクセルグリッドのみに対して、単位ボクセルサイズが相対的に小さい第２サイズM₂（M₂<M₁）となるボクセルグリッドを配置し、前記未加工のシルエットマスクA₀を用いた視体積交差法により高解像ボクセルモデルMD_Hを生成する。

【0043】

3Dモデル出力部１０６は、高解像ボクセルモデル計算部１０５で得られた高解像ボクセルモデルMD_Hに基づいて3Dモデルを出力する機能を有する。高解像ボクセルモデルMD_Hは多数のボクセルで形成されるボリュームデータであるが、一般的に3Dモデルデータはポリゴンモデルとして扱う方が都合の良いケースも多い。このとき、例えばマーチンキューブ法などのボクセルモデルをポリゴンモデルに変換する手法を用いてボクセルモデルをポリゴンモデルに変換する機能を具備し、ポリゴンモデルとして3Dモデルを出力する機能を有していてもよい。

【0044】

本実施形態によれば、膨張シルエット画像を用いた視体積交差法により計算した低解像ボクセルモデルの領域を対象に3Dモデル用の高解像ボクセルモデルを計算するので、小さな被写体を消失させることなく、出力する3Dモデルの表面近傍部分における欠損の発生を抑えられるようになる。

【0045】

図５は、本発明の第２実施形態に係る3Dモデル生成装置１の主要部の構成を示したブロック図であり、図６は、第２実施形態による3Dモデルの生成手順を模式的に示した図である。図５，６において、前記と同一の符号は同一もしくは同等部分を表しているので、その説明は省略する。

【0046】

本実施形態では、シルエット画像加工部１０２が、前記第１加工部１０２ａに加えて、各シルエット画像Aの輪郭を退縮加工して退縮シルエット画像A₂を生成する退縮加工部１０２ｂを少なくとも含み、膨張シルエット画像A₁および退縮シルエット画像A₂を、他の加工方法により加工されたシルエット画像または未加工のシルエット画像A₀（=A）と共に出力する。本実施形態では、視点ごとに膨張シルエット画像A₁、退縮シルエット画像A₂および未加工のシルエット画像A₀が出力される。

【0047】

第２低解像ボクセルモデル計算部１０７は、3Dバウンディングボックス生成部１０４が膨張シルエット画像A₁に基づいて生成した3DバウンディングボックスBBの内側領域、または第１低解像ボクセルモデル計算部１０３が計算した第１低解像ボクセルモデルMD_L1が生成されるボクセルグリッドのみに対して、単位ボクセルサイズが前記第２サイズM₂よりも相対的に大きい第３サイズM₃（M₃>M₂）となるボクセルグリッドを配置し、前記退縮シルエット画像A₂を用いた視体積交差法により第２低解像ボクセルモデルMD_L2を生成する。前記第１サイズM₁と第３サイズM₃とは同一サイズでも良いし、異なるサイズでも良い。

【0048】

この処理は、結果的に生成される3Dモデル自体を縮退させ、一段階小さい3Dモデルを生成する処理と類似することから、そのボクセルは3Dモデルの内側のみに存在するボクセルであり、高解像ボクセルモデル計算を不要と見なすことができる。

【0049】

高解像ボクセルモデル計算部１０５は、前記第１低解像ボクセルモデルMD_L1が生成されるボクセルグリッドまたはその3DバウンディングボックスBBの内側領域であって、かつ第２低解像ボクセルモデルMD_L2が生成されるボクセルグリッドを除いた、3Dモデルの表面近傍部分のみに対して、単位ボクセルサイズが第２サイズM₂（M₂<M₁，M₂<M₃）となるボクセルグリッドを配置し、前記未加工のシルエットマスクA₀を用いた視体積交差法により高解像ボクセルモデルMD_Hを生成する。

【0050】

本実施形態によれば、視体積交差法の計算を行う必要のある細かいボクセルグリッドの数を3Dモデルの輪郭領域のみに限定することができ、第１実施形態と比べてその数を減じることができるので、計算処理の高速化が可能になる。

【0051】

なお、第２実施形態では細かいボクセルグリッドを用いた視体積交差法の計算領域を3Dモデルの表面近傍部分に限定できる一方、シルエット画像Aの輪郭を膨張および縮退させて膨張シルエット画像A₁および退縮シルエット画像A₂を生成する処理時間が別途に必要となるから、処理時間を第１実施形態との比較で必ず短縮できるとは限らない。例えば、サイズの小さい物体や、細長い物体が多く存在するようなシーンでは、第１実施形態よりも処理時間が長くなり得る。

【0052】

そこで、形状が単純かつサイズの大きい被写体が多く存在するシーンでは第２実施形態を採用する一方、サイズの小さい物体や、細長い物体が多く存在するようなシーンには第１実施形態を採用するなど、各実施形態を使い分けることが望ましい。

【0053】

なお、退縮シルエット画像A₂を生成する際の縮退量も固定値に限らず、前記膨張シルエット画像A₁を生成する際の膨張量と同様に、入力映像や未加工のシルエット画像Aに応じて適応的に変更しても良い。

【0054】

図７では、第１実施形態において、低解像のボクセルサイズを5cm、高解像のボクセルサイズを2cmとしてモデル生成を行い、シルエット画像の輪郭部分（被写体が存在する白色部分）の各ピクセルを5×5ピクセルのサイズまで拡張することで、欠損のないモデル生成ができている。

【符号の説明】

【0055】

１…3Dモデル生成装置，２…カメラ，１０１…シルエット画像取得部，１０２…シルエット画像加工部，１０２ａ…膨張加工部，１０２ｂ…退縮加工部，１０３…（第１）低解像ボクセルモデル計算部，１０４…3Dバウンディングボックス生成部，１０５…高解像ボクセルモデル計算部，１０６…3Dモデル出力部，１０７…第２低解像ボクセルモデル計算部，A，A₀…シルエット画像（未加工），A₁…膨張シルエット画像，A₂…退出シルエット画像，M₁…単位ボクセルの第１サイズ，M₂…単位ボクセルの第２サイズ，M₃…単位ボクセルの第３サイズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】