知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-16
(45)【発行日】2022-02-25
(54)【発明の名称】画像処理装置、方法及びプログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20220217BHJP
【ＦＩ】
G06T7/55
【請求項の数】
6
(21)【出願番号】P 2018161783
(22)【出願日】2018-08-30
(65)【公開番号】P2020035216
(43)【公開日】2020-03-05
【審査請求日】2020-07-06
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】陳 軍
(72)【発明者】
【氏名】野中 敬介
(72)【発明者】
【氏名】内藤 整
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２００５－１７３８６６（ＪＰ，Ａ）
【文献】Chen Liang, Kwan-Yee K. Wong，Exact visual hull from marching cubes，Proceedings of the Third International Conference on Computer Vision Theory and Applications - Volume 1: VISAPP, (VISIGRAPP 2008)，米国，2008年，https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.1034.494&rep=rep1&type=pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出部と、前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、
前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、
前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備え、
前記多視点画像の各画像より前景と背景との境界を離散的な点としてサブピクセル単位で求める離散化部をさらに備え、当該離散的な点のうち隣接点の距離の閾値が調整可能とされることによって当該離散的な点の個数の多寡が設定可能とされており、
前記点群算出部では、各画像における前記離散的な点の配置に基づき、前記ボクセル点群を算出し、
前記点群算出部では、各画像における前記離散的な点を頂点として形成される多角形の向き付けされた各辺から見て、３次元空間内のボクセル格子点を当該画像に逆投影した位置が右または左のいずれであるかが全ての辺に関して共通である場合に、当該ボクセル格子点を前記ボクセル点群に属するものとして決定し、
前記面形成部では、各ペア点に関して、前記算出された多視点画像の各画像における重複割合のうち最小値を用いて前記対象の表面モデルを得ることを特徴とする画像処理装置。
【請求項2】
前記境界抽出部は、ボクセル格子点として互いに隣接し、前記ボクセル点群の内外にある点として前記対象の境界に交差するペア点を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記面形成部では、前記重複割合に基づいて、マーチングキューブ法におけるポリゴン生成パターンのポリゴン面のボクセル格子点からの距離を決定することで、前記表面モデルを得ることを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記割合算出部では、多視点画像の各画像のうち、前記境界に交差するペア点の一方が当該画像の前景に逆投影されもう一方が背景に逆投影されるような画像に関して、前記重複割合を求めることを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項5】
対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出段階と、前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出段階と、
前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出段階と、
前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成段階と、を備え、
前記多視点画像の各画像より前景と背景との境界を離散的な点としてサブピクセル単位で求める離散化段階をさらに備え、当該離散的な点のうち隣接点の距離の閾値が調整可能とされることによって当該離散的な点の個数の多寡が設定可能とされており、
前記点群算出段階では、各画像における前記離散的な点の配置に基づき、前記ボクセル点群を算出し、
前記点群算出段階では、各画像における前記離散的な点を頂点として形成される多角形の向き付けされた各辺から見て、３次元空間内のボクセル格子点を当該画像に逆投影した位置が右または左のいずれであるかが全ての辺に関して共通である場合に、当該ボクセル格子点を前記ボクセル点群に属するものとして決定し、
前記面形成段階では、各ペア点に関して、前記算出された多視点画像の各画像における重複割合のうち最小値を用いて前記対象の表面モデルを得ることを特徴とする画像処理方法。
【請求項6】
対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出部と、前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、
前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、
前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備え、
前記多視点画像の各画像より前景と背景との境界を離散的な点としてサブピクセル単位で求める離散化部をさらに備え、当該離散的な点のうち隣接点の距離の閾値が調整可能とされることによって当該離散的な点の個数の多寡が設定可能とされており、
前記点群算出部では、各画像における前記離散的な点の配置に基づき、前記ボクセル点群を算出し、
前記点群算出部では、各画像における前記離散的な点を頂点として形成される多角形の向き付けされた各辺から見て、３次元空間内のボクセル格子点を当該画像に逆投影した位置が右または左のいずれであるかが全ての辺に関して共通である場合に、当該ボクセル格子点を前記ボクセル点群に属するものとして決定し、
前記面形成部では、各ペア点に関して、前記算出された多視点画像の各画像における重複割合のうち最小値を用いて前記対象の表面モデルを得る画像処理装置としてコンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多視点画像より効率的に撮影されている対象についての表面モデルを得ることのできる画像処理装置、方法及びプログラムに関する。
【背景技術】
【0002】
ビジュアル・ハルは視体積交差法による３次元再構成で得られる幾何的対象である。すなわち、カメラ視点パラメータを用いて、各カメラの画像内のシルエットより３次元空間内の対象物を内包する錐体（cone）を得る。全カメラに渡って当該錐体の交差箇所を得たものがビジュアル・ハルであり、３次元空間内の対象物を内包するものとなる。ここで、ビジュアル・ハルによる対象物の形状のモデル化に関しては、ポリゴンメッシュを用いた近似的形状として得ることが一般的である。
【0003】
ポリゴンメッシュを抽出する手法の違いにより、ビジュアル・ハル生成の技術は体積ベースの手法と表面ベースの手法との２つに分けることができる。例えば非特許文献１に開示されるように、体積ベースの手法ではビジュアル・ハルを点群の形で求めたうえで、ポリゴンメッシュを抽出する。また、例えば非特許文献２に開示されるように、表面ベースの手法では各画像のシルエット境界の幾何的な関係を直接に解析することによってポリゴンメッシュを抽出する。
【先行技術文献】
【非特許文献】
【0004】
【文献】Laurentini A. The visual hull concept for silhouette-based image understanding[J]. IEEE Transactions on pattern analysis and machine intelligence, 1994, 16(2): 150-162.
【文献】Franco J S, Boyer E. Efficient polyhedral modeling from silhouettes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 414-427.
【文献】Lorensen, William E., and Harvey E. Cline. "Marching cubes: A high resolution 3D surface construction algorithm." ACM siggraph computer graphics. Vol. 21. No. 4. ACM, 1987.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、以上のような従来技術は、効率的に３次元再構成を行うことに関して、課題を有するものであった。例えば非特許文献１のような体積ベースの手法では、高精度な形状を得るために高精度な３次元モデルとしてのビジュアル・ハルを生成せざるを得ず、これによって計算量が顕著に増加するため効率が低下せざるを得なかった。また、非特許文献２のような表面ベースの手法では、得られる３次元モデルが必ずしも高品質とはならず、ポリゴンメッシュが歪（いびつ）なものとなってしまう（例えば、針のように細い三角形メッシュが多数となる）ことがあった。
【0006】
当該従来技術の課題に鑑み、本発明は、多視点画像より効率的に撮影されている対象についての表面モデルを得ることのできる画像処理装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明は、画像処理装置であって、対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出部と、前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備えることを特徴とする。また、当該装置に対応する方法及びプログラムであることを特徴とする。
【発明の効果】
【0008】
本発明によれば、多視点画像から得られる対象のボクセル点群に対してマーチングキューブ法を適用することにより、効率的に対象の表面モデルを得ることができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る画像処理装置の機能ブロック図である。
【図2】輪郭抽出部及び離散化部において処理されるデータの模式例を示す図である。
【図3】点群算出部での処理を模式的に示すための例を示す図である。
【図4】点群算出部での処理を模式的に示すための例を示す図である。
【図5】点群算出部での第二手順の一実施形態の模式例を示す図である。
【図6】境界抽出部で境界として抽出される隣接ペア点の例を示す図である。
【図7】割合算出部で算出する重複割合の説明例を示す図である。
【図8】マーチングキューブ法におけるポリゴン生成パターンを列挙した図である。
【図10】面形成部により得られる表面モデルの例を示す図である。
【発明を実施するための形態】
【0010】
図１は、一実施形態に係る画像処理装置の機能ブロック図である。画像処理装置10は、輪郭抽出部1、離散化部2、点群算出部3、境界抽出部4、等値算出部5、等値面形成部6を備える。画像処理装置10は、その全体的な動作として、多視点画像を入力として読み込み、当該多視点画像に撮影されている対象の表面モデルを出力する。この際、多視点画像における各画像のカメラパラメータは予め既知の情報として用意しておく。また、多視点画像の撮影されている空間に関して、所定のボクセル設定を予め与えておく。画像処理装置10では多視点映像における各時刻のフレームとしての多視点画像を入力として読み込み、各時刻において撮影されている対象の表面モデルを出力するようにしてもよい。画像処理装置10の各部1～6の処理内容の詳細は以下の通りである。
【0011】
＜輪郭抽出部1＞
輪郭抽出部1では、図１に示す通り画像処理装置10への入力としての多視点画像Pi(i=1,2, …, N；Nは多視点画像のカメラ視点数)を受け取り、各画像Piに関して撮影されている対象の領域に相当する前景を背景から区別して抽出することにより、当該抽出した前景の境界として、撮影されている対象の輪郭を得て、離散化部2へと出力する。なお、入力される多視点画像は各カメラが共通のシーンを異なる配置から撮影することにより、各画像Piが共通の対象（何らかの立体対象）を含むようにしておく。
輪郭抽出部1では、図１に示す通り画像処理装置10への入力としての多視点画像Pi(i=1,2, …, N；Nは多視点画像のカメラ視点数)を受け取り、各画像Piに関して撮影されている対象の領域に相当する前景を背景から区別して抽出することにより、当該抽出した前景の境界として、撮影されている対象の輪郭を得て、離散化部2へと出力する。なお、入力される多視点画像は各カメラが共通のシーンを異なる配置から撮影することにより、各画像Piが共通の対象（何らかの立体対象）を含むようにしておく。
【0012】
輪郭抽出部1では、任意の既存手法によって各画像Piにおいて前景を抽出してよく、その境界として撮影されている対象の輪郭を得ることができる。例えば、各画像Piに関する背景を予め既知のものとして与えておくことにより、背景差分法で前景を抽出してよい。この際、多視点画像が映像の各時刻のフレームとして読み込まれる場合には、既存手法である混合正規分布（MoG）モデルを適用することにより背景の揺れや変化に追従しながら前景を抽出するようにしてもよい。
【0013】
＜離散化部2＞
離散化部2では、各画像Piに関して輪郭抽出部1で得た輪郭から、当該輪郭を表現する離散的な複数の点を得て、点群算出部3へと出力する。ここで、当該離散的な複数の点のうち隣接するものの距離が予め設定しておく閾値以下となるように、当該離散的な複数の点を得るようにする。
離散化部2では、各画像Piに関して輪郭抽出部1で得た輪郭から、当該輪郭を表現する離散的な複数の点を得て、点群算出部3へと出力する。ここで、当該離散的な複数の点のうち隣接するものの距離が予め設定しておく閾値以下となるように、当該離散的な複数の点を得るようにする。
【0014】
離散化部2では輪郭抽出部1で得た輪郭上から点を一定間隔ごとに抽出して離散的な複数の点を求めてもよいし、輪郭抽出部1で得た輪郭に任意の既存手法による多角形フィッティングを適用し、当該多角形の各頂点として離散的な複数の点を求めるようにしてもよい。当該離散的な複数の点は、各画像Piにおいてサブピクセル単位で求めるようにしてもよい。
【0015】
図２は、輪郭抽出部1及び離散化部2において処理されるデータの模式例を、多視点画像のうちある１つのカメラ視点に対応する画像に関して示すものである。図２の[1],[2]は輪郭抽出部1による処理例であり、[1]ではある画像に関して前景領域及び背景領域がそれぞれ白色及び黒色で示すような領域として求まり、これによって[2]に示すようなその境界が得られている。[3]はさらに離散化部2による処理例であり、[2]の輪郭から白丸（〇）で示すような複数の離散的な点が得られている。[3]の離散的な複数の点は[2]の輪郭を多角形化した際の頂点に相当するものとなっている。
【0016】
＜点群算出部3＞
点群算出部3は、画像処理装置10へ入力される多視点画像が撮影されている３次元空間内において予め設定しておくボクセル格子点のうち、多視点画像の全画像Pi(i=1,2, …, N)において撮影されている対象に相当する前景へと逆投影されるものを、対象のボクセル点群として算出して、当該ボクセル点群を境界抽出部4及び面形成部6へと出力する。
点群算出部3は、画像処理装置10へ入力される多視点画像が撮影されている３次元空間内において予め設定しておくボクセル格子点のうち、多視点画像の全画像Pi(i=1,2, …, N)において撮影されている対象に相当する前景へと逆投影されるものを、対象のボクセル点群として算出して、当該ボクセル点群を境界抽出部4及び面形成部6へと出力する。
【0017】
図３及び図４は、点群算出部3での処理を模式的に示すものである。図３に示すように、多視点画像が撮影されている３次元空間内には予め所定のボクセルグリッドVGを設定しておき、その各格子点としてボクセル格子点を定義しておく。１つのボクセル格子点g1は、多視点画像のうちの１つのカメラC1（図３ではそのカメラ中心の位置C1として示されている）における画像P1へと逆投影した位置がp1であり、前景上に逆投影されている。一方、別の１つのボクセル格子点g2は、同画像P1へと逆投影した位置がp2であり、前景上ではなく背景上へと逆投影されている。
【0018】
このように、図３に示されるような逆投影の処理をボクセルグリッドVGで定義される全てのボクセル格子点に関して、多視点画像の全画像Pi(i=1,2, …, N)について実施し、全画像において前景に逆投影される（すなわち、対象内の領域にあることによって全カメラから可視となる位置にある）と判定されたものを、多視点画像に前景として撮影されている対象に該当するボクセル点群として得ることができる。図４では、ボクセルグリッドVGの全点のうち、黒丸（●）で示すような可視(visible)となるボクセル点群VG_visとして判定されたものと、白丸（○）で示すようなそれ以外の不可視（invisible）点群VG_invとして判定されたものと、の模式例が示されている。
【0019】
点群算出部3では具体的に、以下の第一手順及び第二手順によって、ボクセル点群を算出することができる。
【0020】
（第一手順）
逆投影を行う。すなわち、予め設定しておくボクセルグリッド内の各格子点（x,y,z）に関して、多視点画像の各カメラCi(i=1,2, …, N)の画像Pi上に逆投影した際の位置(u,v)を求める。具体的には、コンピュータグラフィックス分野の数学的関係として周知のように、カメラCiの透視投影行列Ti 34（3行4列の行列）を用いて、以下の式により逆投影した位置を得ることができる。
逆投影を行う。すなわち、予め設定しておくボクセルグリッド内の各格子点（x,y,z）に関して、多視点画像の各カメラCi(i=1,2, …, N)の画像Pi上に逆投影した際の位置(u,v)を求める。具体的には、コンピュータグラフィックス分野の数学的関係として周知のように、カメラCiの透視投影行列Ti 34（3行4列の行列）を用いて、以下の式により逆投影した位置を得ることができる。
【0021】
【数1】
【0022】
上記の式において、[x y z 1]及び[ru rv r]（両者共に転置により列ベクトル）はそれぞれ、逆投影される対象としてのボクセル格子点の位置(x, y, z)と、その画像平面上への逆投影結果としての画素位置(u, v)と、の同次座標表現である。なお、事前に与えておくカメラパラメータの情報と共に、各カメラCiの透視投影行列Ti
34の情報も与えておくことができる。
【0023】
（第二手順）
逆投影した位置(u,v)が画像Piにおいて撮影されている対象に該当する前景内にあるか否かを判定し、全画像Piにおいて前景内にあると判定された場合、対応する位置(x,y,z)のボクセル格子点が対象のボクセル点群に属するものとして判定する。
逆投影した位置(u,v)が画像Piにおいて撮影されている対象に該当する前景内にあるか否かを判定し、全画像Piにおいて前景内にあると判定された場合、対応する位置(x,y,z)のボクセル格子点が対象のボクセル点群に属するものとして判定する。
【0024】
ここで、逆投影された位置(u,v)が画像Piの前景内にあるか否かの判定は、一実施形態では、離散化部2で画像Piに関して対象の輪郭として求めた離散的な複数の点の配置に基づいて判定することができる。
【0025】
ここで、各画像Piにおいて、当該離散的な複数の点を頂点として形成される対象の輪郭を表現した多角形（M角形）のM個の各辺をek(k=1,2, …, M)とする。そして、具体的には以下の式で表現されるように、画像Pi上の逆投影された位置(u,v)の点pについて、画像Pi上において全ての有向辺ek（当該輪郭上を一定方向に回る際の有向辺）に関してその右側又は左側にあるかを計算して判定し、全ての辺ekに関しての判定結果（右側又は左側のいずれか）が同一である場合に、点pは当該多角形の内部にある、すなわち、画像Piにおいて前景内にあると判定することができる。
【0026】
【数2】
【0027】
上記の式では後述する図５の模式例のように、輪郭上を回る際に右側が対象の内側（前景）となる場合を想定している。上記の式の通り、点pが画像Pi上において辺eの右側（又は回る向きによっては左側）に位置する場合に、関数f(p,e)はそれぞれ論理値1（真）,0（偽）を出力することで、M個の全ての有向辺ekに関する当該関数値f(p,ek)の論理積Fin(p)を得ることができる。こうして、得られる論理積Fin(p)の値が1（真）であれば点pは前景内にあるものと判定し、0（偽）であれば点pは前景内にはない（背景である）と判定することができる。
【0028】
図５は、点群算出部3における第二手順の一実施形態としての上記の式による前景内外の判定の模式例を示す図である。ここでは、ある１つのカメラ視点に対応する画像において、対象の境界が有効辺e1,e2,e3,e4,e5（上記の式の各辺ekの具体例(M=5)に相当し、図面の便宜上kは下付き表示していない）によって、この順番で輪郭上を囲んでいる５角形として得られた場合に、５角形内部すなわち前景内に位置する点p10と、５角形外部すなわち背景に位置する点p20と、を区別して判定する例が示されている。図５では、各有向辺ek(k=1,2, …, 5)に関して、当該有効辺の向きから見た際の右側の領域を右側領域Rk、左側の領域を左側領域Lkとして示している。また、各有向辺ekの向きを矢印の先（アローヘッド）によって示している。
【0029】
図５において、点p10は全ての有向辺ek(k=1,2, …, 5)から見て右側領域Rk内にあるため、論理積Fin(p10)=1となり、点p10は前景内にあると判定することができる。一方、点p20は少なくとも１つの有効辺e1に関して左側領域L1内にあるため、論理積Fin(p20)=0となり、点p20は前景内にはない（背景にある）と判定することができる。なお、図５の向きとは逆向きに輪郭上を回るように有効辺を定義する場合は、上記とは逆に、当該有効辺から見て左側領域にある場合に前景であるものと判定すればよい。
【0030】
以上のように、離散化部2で得た離散的な点で定義される輪郭多角形の各有効辺ekに対して、論理積Fin(p)による判定、すなわち、点pが各有効辺ekの右側にあるか左側にあるかという簡素な幾何的な判定により、点pが前景にあるか否かを高速に判定し、従って、対応するボクセル格子点(x,y,z)がボクセル点群に属するか否かを高速に判定することができる。なお、離散化部2で得る離散的な点の数の多寡を、予め設定しておく隣接点の距離の閾値を調整することで設定することにより、点群算出部3での前景判定すなわちボクセル点群の判定に要する負荷（計算量）を調整することも可能である。
【0031】
＜境界抽出部4＞
境界抽出部4では、点群算出部3で得た多視点画像に撮影されている対象に相当するボクセル点群PGより、その境界∂PG（すなわち、対象の表面）に位置するとみなせる一連のペア点を抽出し、当該抽出したペア点を割合算出部5へと出力する。
境界抽出部4では、点群算出部3で得た多視点画像に撮影されている対象に相当するボクセル点群PGより、その境界∂PG（すなわち、対象の表面）に位置するとみなせる一連のペア点を抽出し、当該抽出したペア点を割合算出部5へと出力する。
【0032】
境界抽出部4では具体例に、ボクセル点群PG（図４での可視となるグリッド格子点の点群VG_visがボクセル点群PGであり、以下、PGとして称する。）に属する各点ginに注目し、そのボクセル格子点としての6つの隣接点（±x方向、±y方向、±z方向の6つの隣接点）のうち、ボクセル点群PGに属さない点goutが１つ以上ある場合、当該１つ以上のペア点gin, goutを境界∂PGに該当するものとして抽出する。
【0033】
図６は、境界抽出部4で境界として抽出される隣接ペア点の例を示す図である。ここでは、ボクセル点群PGに属する点を黒丸（●）で、属さない点を白丸（○）で表記することにより、ボクセル格子点で形成される１つの単位立方体V0（格子点の定義により、単位直方体V0でもよい。以下同様とする。）が示されている。立方体V0には図示する通りに位置する8つの頂点v1～v8があり、それぞれがボクセル格子点の位置にある。図示する通り、黒丸で表示される４つの頂点v2,v3,v6,v7はボクセル点群に属するが、白丸で表示される残りの4つの頂点v1,v4,v5,v8はボクセル点群には属さない。
【0034】
このような図６の例においては、境界抽出部4ではボクセル格子点として隣接するペア点のうち、一方がボクセル点群PGに属する点ginであり、もう一方がボクセル点群PGには属さない点goutとなっているものとして、４つのペア点(v2,v1), (v3, v4), (v6, v5), (v7,v8)を境界∂PGに該当するものとして抽出することとなる。その他のペア点は境界∂PGには該当しないものとみなされ、抽出されない。例えば両端共にボクセル点群PGに属する点ginとなっているペア点(v2,v3)や、逆に両端共にボクセル点群PGに属さない点goutとなっているペア点(v1,v4)は、境界∂PGには該当しないものとして、抽出されない。
【0035】
＜割合算出部5＞
割合算出部5では、境界抽出部4で境界∂PGに該当するものとして抽出した隣接ペア点(gin, gout)のそれぞれについて、当該ペア点を両端とする線分を多視点画像の各画像Piに逆投影した線分の、画像Piにおける前景への重複割合ratio(gin, gout)を算出し、当該算出した重複割合を面形成部6へと出力する。
割合算出部5では、境界抽出部4で境界∂PGに該当するものとして抽出した隣接ペア点(gin, gout)のそれぞれについて、当該ペア点を両端とする線分を多視点画像の各画像Piに逆投影した線分の、画像Piにおける前景への重複割合ratio(gin, gout)を算出し、当該算出した重複割合を面形成部6へと出力する。
【0036】
ここで、点群算出部3において逆投影でボクセル点群PG（∋gin）を得たことから明らかなように、各画像Piに逆投影した場合、点ginは必ず前景上の点pinへと逆投影され、点goutは全画像のうち少なくとも１つの画像に関して必ず背景上の点poutへと逆投影されることに注意されたい。従って、点goutが点poutへ逆投影されるような画像Piを考えると、隣接ペア点gin, goutを両端とする線分gin-goutを各画像Piに逆投影した線分pin-poutは、点pinの側が前景上にあり、点poutの側が背景上にあることで、画像Pi上の撮影されている対象の境界を交差するものとなる。当該交差する点を点pcrossとすると、線分pin-poutの全体のうち、線分pin-pcorssの部分が前景への重複箇所となるので、割合算出部5は各画像Piのうち点goutが点poutへ逆投影されるような画像Piの全てに関して、以下のようにその重複割合ratio(gin, gout)を算出する。
【0037】
【数3】
【0038】
図７は、割合算出部5で算出する重複割合ratio(gin, gout)の説明例を示す図である。図７にて、ボクセル点群PGに属する又は属さない点v1～v8を有する、ボクセル格子点で形成される１つの単位立方体V0に関しては、図６で説明したのと同一である。
【0039】
図７にて例えば、境界に該当する隣接ペア点(v6,v5)に関して、カメラC1（カメラ中心C1として示す）の画像P1に逆投影した際の位置はペア点(p16,p15)であり、前景RG1の境界と交差する点が点p165である。従って、画像P1に関して境界の隣接ペア点(v6,v5)の重複割合ratio(v6,v5)を以下のように算出することができる。
画像P1のratio(v6,v5)=(線分p16-p165の長さ)÷(線分p16-p15の長さ)
画像P1のratio(v6,v5)=(線分p16-p165の長さ)÷(線分p16-p15の長さ)
【0040】
同様に図７にて例えば、境界に該当する隣接ペア点(v6,v5)に関して、カメラC2（カメラ中心C2として示す）の画像P2に逆投影した際の位置はペア点(p26,p25)であり、前景RG2の境界と交差する点が点p265である。従って、画像P2に関して境界の隣接ペア点(v6,v5)の重複割合ratio(v6,v5)を以下のように算出することができる。
画像P2のratio(v6,v5)=( 線分p26-p265の長さ)÷(線分p26-p25の長さ)
画像P2のratio(v6,v5)=( 線分p26-p265の長さ)÷(線分p26-p25の長さ)
【0041】
なお、図７ではさらにボクセル点群に属する点v7に関して画像P2上へと投影した点p27が示されている。隣接点v6,v7は共にボクセル点群に属するものであるため、これらを例えば画像P2に逆投影した場合の点p26,p27は前景RG2内にあり、その境界には交差していないことを見て取ることができる。
【0042】
以上のように、割合算出部5では境界のペア点(gin, gout)に関して、各画像Pi(i=1,2, … ,N)のうち点goutが点poutへ逆投影され当該境界のペア点(gin, gout)が得られるような画像Piの全てにおける前景への重複割合ratio(gin, gout)（=αi(gin, gout)とする）を算出するが、割合算出部5ではさらに、当該算出した各画像Piの重複割合αi(gin, gout)のうち最小値となるものαmin(gin, gout)を、以下の数４のように、面形成部6へと出力する。なお、以下の数４は全画像Piにおいて重複割合αi(gin, gout)が算出対象となった場合のものとなっているが、算出対象とならないものがあった場合、右辺の括弧内から省略すればよい。
【0043】
【数4】
【0044】
＜面形成部6＞
面形成部6では、ボクセル点群PGの境界∂PGにある各ペア点(gin, gout)につき割合算出部5で算出した重複割合の最小値αmin(gin, gout)を用いて、点群抽出部3で得たボクセル点群PGに関する表面モデルを出力する。具体的には、既存手法として前掲の非特許文献３等に開示されているマーチングキューブ法を利用するが、本発明においては特に、マーチングキューブ法で定義されているポリゴン生成パターンにおけるポリゴンのボクセル格子点からの距離を、重複割合の最小値αmin(gin, gout)に基づくものとして決定することにより、当該ポリゴンの集合として表面モデルを出力することができる。
面形成部6では、ボクセル点群PGの境界∂PGにある各ペア点(gin, gout)につき割合算出部5で算出した重複割合の最小値αmin(gin, gout)を用いて、点群抽出部3で得たボクセル点群PGに関する表面モデルを出力する。具体的には、既存手法として前掲の非特許文献３等に開示されているマーチングキューブ法を利用するが、本発明においては特に、マーチングキューブ法で定義されているポリゴン生成パターンにおけるポリゴンのボクセル格子点からの距離を、重複割合の最小値αmin(gin, gout)に基づくものとして決定することにより、当該ポリゴンの集合として表面モデルを出力することができる。
【0045】
ここで、マーチングキューブ法を簡単に説明する。マーチングキューブ法は、ボクセル格子点(x,y,z)においてその値が与えられている任意のスカラー場T(x,y,z)（例えば、温度の3次元分布T(x,y,z)）に関して、T(x,y,z)=Const（一定値）となるような等値面Surf(Const)をポリゴンモデルとして得る手法である。まず、当該一定値Constを閾値とすることで、ボクセル格子点(x,y,z)の各々を当該等値面Surf(Const)の内部にあるか外部にあるかを以下のように分類することができる。
・T(x,y,z)≦Constならば、点(x,y,z)は等値面Surf(Const)の内部にある。
・T(x,y,z)＞Constならば、点(x,y,z)は等値面Surf(Const)の外部にある。
・T(x,y,z)≦Constならば、点(x,y,z)は等値面Surf(Const)の内部にある。
・T(x,y,z)＞Constならば、点(x,y,z)は等値面Surf(Const)の外部にある。
【0046】
そして、マーチングキューブ法では、等値面Surf(Const)の内部と外部との境界に位置している点(x,y,z)に注目し、図８に示すような当該境界に位置しており（[0]を除く）互いに隣接した8つのボクセル格子点で得られる単位立方体（直方体でもよい。以下同様とする。）において、8つの点が等値面の内部であるか外部であるかに応じた等値面（等値面のうち当該立方体に交差している部分の形状）を表現する所定のポリゴン生成パターンを用いることで、等値面の全体のポリゴンモデルを得ることができる。
【0047】
なお、立方体の8つの頂点が等値面の内部にあるか外部にあるかの組み合わせの総数は28=256通りであるが、マーチングキューブ法では対称性（回転対称性や、内部と外部との逆転の対称性）を考慮することにより、図８の[0]～[14]の15通りに限定された所定のポリゴン生成パターンを利用する。（例えば、[0]は全ての8頂点が外部の場合であるが、逆転させることで全ての8頂点が内部の場合をもカバーしている。）すなわち、ボクセル格子点で得られる単位立方体を8頂点が内部又は外部のいずれであるかによって8ビットで表現し、当該8ビット表現が[0]～[14]のいずれであるかをサーチし、一致したパターンのポリゴン生成パターンを当該単位立方体の箇所に割り当てることで、等値面の全体のポリゴンモデルを得ることができる。
【0048】
【0049】
以上、図８のように定義されているマーチングキューブ法での所定のポリゴン生成パターンに対して、本発明においては特に、ポリゴン面とボクセル格子点との具体的な距離を、重複割合の最小値αmin(gin, gout)によって与えることで、対象の表面モデルを得ることができる。具体的には、隣接するボクセル格子点のうち内部点ginと外部点goutに対して、これらを両端とする線分gin-gout上にポリゴン面が交差する点を点gcrossとすると、その位置が以下の等式の関係を成立させるような位置となるように、交差する点gcrossを決定することができる。
【0050】
【数5】
【0051】
すなわち、線分gin-gout上での対象の領域の重複割合が、割合算出部5で求めた最小値の重複割合αmin(gin, gout)となるように、線分gin-gout上での交差位置gcrossを決定すればよい。なお、割合算出部5で点goutが点poutへ逆投影されるような各画像Piに関して求まる重複割合のうち最小値を採用する理由は、各画像Piに対応する各カメラCiの様々な位置から見た際に、最小値となる場合が当該ポリゴン面で与えられる表面の箇所に関して当該線分gin-goutを通る面で切り取った断面に最も近い場合と考えられ、従って、実際の立体としての対象の長さを最も正確に画像上に反映していると考えられるためである。
【0052】
図９は、面形成部6による交差位置gcrossの決定の具体例を、図８の[1]のポリゴン生成パターンの場合を例として説明する図である。ボクセル立方体V1は頂点v1～v8を有する。（なお、図６及び図７の頂点v1～v8と同じ符号を付しているが、頂点同士の相対的な位置関係を表現するための符号として図８でも頂点v1～v8を用いており、立方体V1は図６や図７の立方体V0とは別のものである。）
【0053】
図９にて例えば、交差位置v12は、以下の等式を満たす位置として線分v1-v2上に決定される。
αmin(v1, v2)=（線分v1-v12の長さ）÷（線分v1-v2の長さ）
全く同様にして、交差位置v14及びv15は、以下の等式を満たす位置として線分v1-v4及び線分v1-v5上にそれぞれ決定される。
αmin(v1, v4)=（線分v1-v14の長さ）÷（線分v1-v4の長さ）
αmin(v1, v5)=（線分v1-v15の長さ）÷（線分v1-v5の長さ）
αmin(v1, v2)=（線分v1-v12の長さ）÷（線分v1-v2の長さ）
全く同様にして、交差位置v14及びv15は、以下の等式を満たす位置として線分v1-v4及び線分v1-v5上にそれぞれ決定される。
αmin(v1, v4)=（線分v1-v14の長さ）÷（線分v1-v4の長さ）
αmin(v1, v5)=（線分v1-v15の長さ）÷（線分v1-v5の長さ）
【0054】
このようにして、図９のパターン（図８の[1]のポリゴン生成パターン）により、ボクセル立方体V1内に、位置v12,v14,v15を頂点とする3角形として、対象の表面モデルの交差箇所を得ることができる。なお、マーチングキューブ法において周知のように、当該例示される位置v12,v14,v15を頂点とする3角形等のポリゴンモデルにおいては、その表・裏の区別も設けておいたうえで、対象の表面モデルを得ることができる。図９０の場合であれば、頂点v7に面した側が表面となる。
【0055】
図１０は、面形成部6により（従って、画像処理装置10により）得られる表面モデルの例を示す図である。ここでは、複雑な凹凸を有する対象の表面モデル（その一部分のみを示す）が三角形ポリゴンの集合として得られていることを見て取ることができる。
【0056】
以上、本発明によれば、効率的に多視点画像に撮影されている対象の表面モデルを得ることができる。本発明の各実施形態に応じたメリットとして、以下の[1]~[5]の全て又は任意の一部を挙げることができる。
[1] 離散化部2においてサブピクセル単位で離散的な複数の点を取得することで、点群算出部3で近似的なビジュアル・ハルとして得る点群の精度を充分なものとすることができる。
[2] 点群算出部3に対して予め設定しておくボクセルグリッドの密度による影響が少ない。
[3] 点群算出部3の第二手順において図５のような手法を用いることで、画像上の幾何的な位置関係のみから対象の点群を得ることができる。
[4] 離散化部2で取得する離散的な点の密度を調整することで、画像処理装置10全体での計算時間を調整することができる。
[5] 表面モデルを得るために実質的に処理等が必要となるのは境界抽出部4で得るペア点(gin, gout)のみであり、その数は立体としての対象の全体（ボクセル点群PG）と比べると少ないものであるため、高速に表面モデルを得ることができる。
[6] 既存手法であるマーチングキューブ法を利用するが、一般的なスカラー場を対象としたマーチングキューブ法の場合のように閾値を設定したり交差位置を内挿で求めたりする必要はなく、正確な表面の位置を得ることができる。
[1] 離散化部2においてサブピクセル単位で離散的な複数の点を取得することで、点群算出部3で近似的なビジュアル・ハルとして得る点群の精度を充分なものとすることができる。
[2] 点群算出部3に対して予め設定しておくボクセルグリッドの密度による影響が少ない。
[3] 点群算出部3の第二手順において図５のような手法を用いることで、画像上の幾何的な位置関係のみから対象の点群を得ることができる。
[4] 離散化部2で取得する離散的な点の密度を調整することで、画像処理装置10全体での計算時間を調整することができる。
[5] 表面モデルを得るために実質的に処理等が必要となるのは境界抽出部4で得るペア点(gin, gout)のみであり、その数は立体としての対象の全体（ボクセル点群PG）と比べると少ないものであるため、高速に表面モデルを得ることができる。
[6] 既存手法であるマーチングキューブ法を利用するが、一般的なスカラー場を対象としたマーチングキューブ法の場合のように閾値を設定したり交差位置を内挿で求めたりする必要はなく、正確な表面の位置を得ることができる。
【0057】
以下、本発明における追加実施形態や変形実施形態などに関して補足説明を行う。
【0058】
（１）画像処理装置10へ入力される多視点画像に予め輪郭情報を与えておくことで、すなわち、前景・背景の区別を予め付与しておくことで、画像処理装置10から輪郭抽出部1を省略する実施形態も可能である。さらに、画像処理装置10から離散化部2をも省略する実施形態も可能である。この場合、画像処理装置10へと入力される前景・背景の区別が付与された多視点画像の各画像に関して、点群算出部3においては、前述の第二手順を、任意の既存手法による前景上への逆投影の判定によって実施すればよい。例えば、画像上に逆投影された点に関して、前景上の各ピクセルとの距離のうちの最小値が閾値以下となるか否かにより、前景内にあるかを判定してもよい。
【0059】
（２）以上の説明では多視点画像Pi(i=1,2, …, N)に撮影されている対象（その表面モデルを得ることとなる対象）は１つである前提であったが、２つ以上ある場合は、任意の既存手法（例えば、画像内からの対象領域検出及び認識技術）によって各画像Piにおいて個別の対象の区別を与えたうえで、当該区別された対象ごとに、以上の１つの対象を前提とした手法を適用すればよい。
【0060】
（３）本発明は、コンピュータを画像処理装置10として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが画像処理装置10の各部の機能に対応する命令を実行することとなる。また、当該コンピュータはさらに、CPUよりも並列処理を高速実施可能なGPU（グラフィック処理装置）を備え、CPUに代えて画像処理装置10の全部又は任意の一部分の機能を当該GPUにおいてプログラムを読み込んで実行するようにしてもよい。
【符号の説明】
【0061】
10…画像処理装置、1…輪郭抽出部、2…離散化部、3…点群算出部、4…境界抽出部、5…割合算出部、6…面形成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
