特許 7407428 三次元モデル生成方法及び三次元モデル生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】三次元モデル生成方法及び三次元モデル生成装置

(51)【国際特許分類】

   G06T 17/00 20060101AFI20231222BHJP

【ＦＩ】

G06T17/00

【請求項の数】 15

(21)【出願番号】P 2021530553

(86)(22)【出願日】2020-06-16

(86)【国際出願番号】 JP2020023606

(87)【国際公開番号】W WO2021005977

(87)【国際公開日】2021-01-14

【審査請求日】2023-04-04

(31)【優先権主張番号】P 2019127398

(32)【優先日】2019-07-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】寺西 研翔

(72)【発明者】

【氏名】松延 徹

(72)【発明者】

【氏名】杉尾 敏康

(72)【発明者】

【氏名】吉川 哲史

(72)【発明者】

【氏名】福田 将貴

【審査官】片岡 利延

(56)【参考文献】

【文献】国際公開第２０１８／１３５５１０（ＷＯ，Ａ１）

【文献】特開２０１８－２０５７８８（ＪＰ，Ａ）

【文献】特開２００９－０１４６２９（ＪＰ，Ａ）

【文献】特開２０２０－０９８４２１（ＪＰ，Ａ）

【文献】Xian Xiao et al.，Enhanced 3-D Modeling for Landmark Image Classification，[online]，2012年，https://ieeexplore.ieee.org/document/6166367

【文献】豊浦正広,外４名，欠損および過抽出を含む時系列シルエットからの三次元形状獲得，電子情報通信学会技術研究報告，2008年01月，pp.69-74

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／００

(57)【特許請求の範囲】

【請求項1】

複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップと、
少なくとも１つの第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定する特定ステップと、
前記複数の未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成ステップと、を含む
三次元モデル生成方法。

【請求項2】

さらに、複数の撮影フレームを撮影した際の各々でのカメラの位置及び姿勢に基づいて前記複数の撮影フレームに含まれる複数のフレームからなるフレームセットを生成するフレームセット生成ステップを含み、
前記フレームセットは、前記複数の第１フレーム及び前記少なくとも１つの第２フレームを含む
請求項１に記載の三次元モデル生成方法。

【請求項3】

前記フレームセット生成ステップでは、前記フレームセットにおいて前記複数のフレームをフレーム順に並べ、
前記特定ステップでは、前記少なくとも１つの第２フレームに、前記第１三次元モデルを含む既に生成された三次元モデルである第３三次元モデルを投影し、前記第３三次元モデルを投影した前記少なくとも１つの第２フレームにおいて、前記第３三次元モデルが投影されなかった複数の未投影画素を特定し、
前記フレーム順に、前記特定ステップ及び前記第２三次元モデル生成ステップを繰り返し実行する
請求項２に記載の三次元モデル生成方法。

【請求項4】

前記フレームセット生成ステップでは、前記フレームセットにおける前記複数のフレームを撮影した際の各々での前記カメラの位置が前記所定の領域に近い順に前記複数のフレームを並べた前記フレームセットを生成する
請求項３に記載の三次元モデル生成方法。

【請求項5】

前記フレームセット生成ステップでは、前記カメラから前記所定の領域へ向かう方向を基準軸の正方向とした場合に、前記フレームセットにおける前記複数のフレームを撮影した際の各々での前記カメラの位置が前記基準軸の正方向において前記所定の領域に近い順に前記複数のフレームを並べた前記フレームセットを生成する
請求項４に記載の三次元モデル生成方法。

【請求項6】

前記フレームセット生成ステップでは、前記複数のフレームを撮影した際の各々での前記カメラの光軸方向に基づいて前記基準軸の正方向を算出する
請求項５に記載の三次元モデル生成方法。

【請求項7】

前記フレームセット生成ステップでは、
前記複数のフレームから代表フレームを選択し、
前記代表フレームを撮影した前記カメラの光軸方向を前記基準軸の正方向として算出する
請求項５に記載の三次元モデル生成方法。

【請求項8】

前記フレームセット生成ステップでは、
前記複数のフレームのそれぞれが第１条件を満たすか否かを判定し、
前記複数のフレームのうち前記第１条件を満たす複数のフレームで前記フレームセットを生成する
請求項５～７のいずれか１項に記載の三次元モデル生成方法。

【請求項9】

前記フレームセット生成ステップでは、
前記基準軸の正方向と、前記フレームセットに含まれる前記複数のフレームを撮影した際のカメラの光軸方向とのなす角度が第１角度以下であることを前記第１条件として判定する
請求項８に記載の三次元モデル生成方法。

【請求項10】

前記所定の領域は、静止している静止物体、及び、動いている動体のうち少なくとも一方を被写体として含む領域である
請求項１～９のいずれか１項に記載の三次元モデル生成方法。

【請求項11】

前記少なくとも１つの第２フレームは、前記複数の第１フレームのうちの少なくとも１つのフレームと同一である
請求項１～１０のいずれか１項に記載の三次元モデル生成方法。

【請求項12】

前記第１フレームと前記第２フレームとは、互いに異なる
請求項１～１０のいずれか１項に記載の三次元モデル生成方法。

【請求項13】

複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成部と、
少なくとも１つの第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定する特定部と、
前記未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成部と、を備える
三次元モデル生成装置。

【請求項14】

複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップと、
少なくとも１つの第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影された複数の投影画素を特定する特定ステップと、
前記少なくとも１つの第２フレームが撮影された少なくとも１つの第２撮影位置が、前記複数の第１フレームが撮影された複数の第１撮影位置のいずれかよりも前記所定の領域に近いか否かを判定する判定ステップと、
前記少なくとも１つの第２撮影位置が前記複数の第１撮影位置のいずれかよりも前記所定の領域に近いと判定された場合、前記第１三次元モデルが投影される前の前記複数の投影画素に基づいて、前記第１三次元モデルを更新する更新ステップと、を含む
三次元モデル生成方法。

【請求項15】

前記特定ステップは、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定し、
前記複数の未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成ステップをさらに含む
請求項１４に記載の三次元モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元モデル生成方法及び三次元モデル生成装置に関する。

【背景技術】

【0002】

近年、人物又は建物等の被写体を多視点から撮影することにより得られる多視点画像を用いて被写体の三次元形状を計測し、被写体の三次元モデルを生成する技術がある（例えば、特許文献１参照）。

【0003】

特許文献１に開示されている技術では、多視点画像を構成するそれぞれの画像が撮影された際のカメラパラメータ（カメラの位置、向き、ピクセル単位の焦点距離、及び、レンズ歪み等）を幾何学的に推定した後、推定したカメラパラメータを用いて各画像上の各画素を三次元空間上に投影することにより被写体の三次元モデルを生成する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－０５６１４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

三次元モデルの生成処理には、処理時間が短いことが望まれている。

【0006】

本開示は、三次元モデルの生成処理の処理時間を短縮できる三次元モデル生成方法等を提供する。

【課題を解決するための手段】

【0007】

本開示の一態様に係る三次元モデル生成方法は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップと、少なくとも１つの第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定する特定ステップと、前記複数の未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成ステップと、を含む。

【0008】

また、本開示の一態様に係る三次元モデル生成装置は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成部と、少なくとも１以上の第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定する特定部と、前記未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成部と、を備える。

【0009】

また、本開示の別の一態様に係る三次元モデル生成方法は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップと、少なくとも１つの第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影された複数の投影画素を特定する特定ステップと、前記少なくとも１つの第２フレームが撮影された少なくとも１つの第２撮影位置が、前記複数の第１フレームが撮影された複数の第１撮影位置のいずれかよりも前記所定の領域に近いか否かを判定する判定ステップと、前記少なくとも１つの第２撮影位置が前記複数の第１撮影位置のいずれかよりも前記所定の領域に近いと判定された場合、前記第１三次元モデルが投影される前の前記複数の投影画素に基づいて、前記第１三次元モデルを更新する更新ステップと、を含む。

【0010】

なお、本開示は、上記三次元モデル生成方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データ又は信号として実現されてもよい。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信されてもよい。

【発明の効果】

【0011】

本開示によれば、三次元モデルの生成処理の処理時間を短縮できる三次元モデル生成方法等を提供できる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施の形態１に係る三次元モデル生成方法の概要を説明するための図である。

【図2】図２は、実施の形態１に係る三次元モデル生成装置の特徴的な構成を示すブロック図である。

【図3】図３は、実施の形態１に係る三次元モデル生成装置が備える生成部の詳細な構成を示すブロック図である。

【図4】図４は、実施の形態１に係る三次元モデル生成装置が実行する処理を示すフローチャートである。

【図5A】図５Ａは、カメラの撮影順序の第１例を説明するための図である。

【図5B】図５Ｂは、カメラの撮影順序に対する三次元モデル生成装置の処理順の第１例を説明するための図である。

【図6A】図６Ａは、カメラの撮影順序の第２例を説明するための図である。

【図6B】図６Ｂは、カメラの撮影順序に対する三次元モデル生成装置の処理順の第２例を説明するための図である。

【図7A】図７Ａは、カメラの撮影順序の第３例を説明するための図である。

【図7B】図７Ｂは、カメラの撮影順序に対する三次元モデル生成装置の処理順の第３例を説明するための図である。

【図8A】図８Ａは、カメラの撮影順序の第４例を説明するための図である。

【図8B】図８Ｂは、カメラの撮影順序に対する三次元モデル生成装置の処理順の第４例を説明するための図である。

【図9】図９は、実施の形態１に係る三次元モデル生成装置が備えるフレームセット生成部が実行する処理の詳細を示すフローチャートである。

【図10】図１０は、実施の形態１に係る三次元モデル生成装置が備える生成部が実行する処理の詳細を示すフローチャートである。

【図11】図１１は、実施の形態１に係る三次元モデル生成装置が備える三次元モデル生成部が実行する生成処理におけるフレームの処理位置を説明するための図である。

【図12】図１２は、カメラによる撮影位置の変化を説明するための図である。

【図13】図１３は、カメラによる撮影範囲の変化を説明するための図である。

【図14】図１４は、実施の形態１に係る三次元モデル生成装置が備える三次元モデル生成部が実行する生成処理の一具体例を説明するための図である。

【図15】図１５は、実施の形態２に係る三次元モデル生成装置の特徴的な構成を示すブロック図である。

【図16】図１６は、実施の形態２に係る三次元モデル生成装置が備える生成部の詳細な構成を示すブロック図である。

【図17】図１７は、実施の形態２に係る三次元モデル生成部が実行する処理の詳細を示すフローチャートである。

【図18】図１８は、実施の形態２に係る三次元モデル生成装置が備える更新部が実行する処理におけるフレームの処理位置を説明するための図である。

【発明を実施するための形態】

【0013】

（本開示に至った経緯）
三次元モデル生成（復元）技術において、連続して撮影されたフレーム（画像）で三次元形状を復元する場合、複数のフレーム上で被写体が重複する箇所が存在し、当該被写体に対して複数の三次元モデル生成処理が実施されるため、不要な処理時間が増加する。

【0014】

そこで、本開示では、三次元モデルの生成処理の処理時間を短縮できる三次元生成方法等を提供する。

【0015】

本開示の一態様に係る三次元モデル生成方法は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップと、少なくとも１つの第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定する特定ステップと、前記複数の未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成ステップと、を含む。

【0016】

これによれば、生成した三次元モデルの差分の三次元モデルを順次生成していくため、各三次元モデルで重なる箇所のモデルを生成しない。そのため、三次元モデルの生成の処理時間を短縮できる。

【0017】

また、例えば、三次元モデル生成方法は、さらに、複数の撮影フレームを撮影した際の各々でのカメラの位置及び姿勢に基づいて前記複数の撮影フレームに含まれる複数のフレームからなるフレームセットを生成するフレームセット生成ステップを含み、前記フレームセットは、前記複数の第１フレーム及び前記少なくとも１つの第２フレームを含む。

【0018】

これによれば、カメラの位置及び姿勢に基づいて複数のフレームから選択されたフレームからなるフレームセットのフレームを用いて三次元モデルを生成するため、例えば、所定の領域が撮影されていないような不要なフレームを除いたフレームセットを生成できる。そのため、不要なフレームに対する三次元モデルの生成処理をしないため、処理時間を短縮できる。

【0019】

また、例えば、前記フレームセット生成ステップでは、前記フレームセットにおいて前記複数のフレームをフレーム順に並べ、前記特定ステップでは、前記少なくとも１つの第２フレームに、前記第１三次元モデルを含む既に生成された三次元モデルである第３三次元モデルを投影し、前記第３三次元モデルを投影した前記少なくとも１つの第２フレームにおいて、前記第３三次元モデルが投影されなかった複数の未投影画素を特定し、前記フレーム順に、前記特定ステップ及び前記第２三次元モデル生成ステップを繰り返し実行する。

【0020】

これによれば、フレームごとに繰り返し投影と第２三次元モデルの生成とを実行する。そのため、第１三次元モデルと生成した第２三次元モデルとを含む既三次元モデルをフレームに投影して、投影されなかった未投影画素を特定できる。これにより、さらに、処理時間を短縮できる。

【0021】

また、例えば、前記フレームセット生成ステップでは、前記フレームセットにおける前記複数のフレームを撮影した際の各々での前記カメラの位置が前記所定の領域に近い順に前記複数のフレームを並べた前記フレームセットを生成する。

【0022】

これによれば、所定の領域に近いカメラにより撮影されたフレームから順に用いて第２三次元モデルを生成できる。被写体に近いカメラにより撮影されたフレームである程、精度の高い、つまり、高画質な画像である。そのため、これによれば、三次元モデルの生成の処理時間を短縮でき、且つ、三次元モデルの精度を向上できる。

【0023】

また、例えば、前記フレームセット生成ステップでは、前記カメラから前記所定の領域へ向かう方向を基準軸の正方向とした場合に、前記フレームセットにおける前記複数のフレームを撮影した際の各々での前記カメラの位置が前記基準軸の正方向において前記所定の領域に近い順に前記複数のフレームを並べた前記フレームセットを生成する。

【0024】

これによれば、基準軸方向に基づいて、所定の領域に近いカメラにより撮影されたフレーム順に複数のフレームを並べることができる。

【0025】

また、例えば、前記フレームセット生成ステップでは、前記複数のフレームを撮影した際の各々での前記カメラの光軸方向に基づいて前記基準軸の正方向を算出する。

【0026】

これによれば、例えば、カメラの光軸方向に基づいて基準軸方向が算出されるために、所定の領域をほとんど含まないような不要なフレームを簡単な処理でフレームセットに含めないようにできる。そのため、これによれば、三次元モデルを生成する際に不要なフレームについての処理時間を短縮できる。

【0027】

また、例えば、前記フレームセット生成ステップでは、前記複数のフレームから代表フレームを選択し、前記代表フレームを撮影した前記カメラの光軸方向を前記基準軸の正方向として算出する。

【0028】

これによれば、複数のフレームを撮影したそれぞれのカメラの光軸方向から基準軸方向を算出する場合と比較して、代表フレームを撮影したカメラの光軸方向から基準軸方向を算出するため、代表フレームを適切な数だけ選択することで、基準軸方向を算出するための処理時間を短縮できる。

【0029】

また、例えば、前記フレームセット生成ステップでは、前記複数のフレームのそれぞれが第１条件を満たすか否かを判定し、前記複数のフレームのうち前記第１条件を満たす複数のフレームで前記フレームセットを生成する。

【0030】

これによれば、所定の第１条件が適切に設定されることで、第１三次元モデルが全て投影されるようなフレーム、又は、所定の領域をほとんど含まないようなフレーム等の不要なフレームをフレームセットに含めないようにできる。そのため、これによれば、三次元モデルを生成する際に不要なフレームについての処理時間を短縮できる。

【0031】

また、例えば、前記フレームセット生成ステップでは、前記基準軸の正方向と、前記フレームセットに含まれる前記複数のフレームを撮影した際のカメラの光軸方向とのなす角度が第１角度以下であることを前記第１条件として判定する。

【0032】

これによれば、所定の領域をほとんど含まないような不要なフレームを簡単な処理でフレームセットに含めないようにできる。そのため、これによれば、三次元モデルを生成する際に不要なフレームについての処理時間を短縮できる。

【0033】

また、例えば、前記所定の領域は、静止している静止物体、及び、動いている動体のうち少なくとも一方を被写体として含む領域である。

【0034】

これによれば、所定の領域に物体が含まれるために、例えば、所定の領域とカメラとの距離を測定する場合に、当該物体を基準として距離の測定ができるため、精度良く当該距離を算出できる。

【0035】

また、例えば、前記少なくとも１つの第２フレームは、前記複数の第１フレームのうちの少なくとも１つのフレームと同一である。

【0036】

これによれば、例えば、複数のフレームから第２フレームを決定する際に、第１フレームを除外する処理を行わなくてよいため、処理時間が短縮される。

【0037】

また、例えば、前記第１フレームと前記第２フレームとは、互いに異なる。

【0038】

これによれば、第２三次元モデルを生成する際に第１フレームには第２三次元モデルを投影しないため、第２三次元モデルの生成のための処理時間を短縮できる。

【0039】

また、本開示の一態様に係る三次元モデル生成装置は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成部と、少なくとも１以上の第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定する特定部と、前記未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成部と、を備える。

【0040】

これによれば、三次元モデル生成装置は、生成した三次元モデルの差分の三次元モデルを順次生成していくため、各三次元モデルで重なる箇所のモデルを生成しない。そのため、三次元モデル生成装置によれば、三次元モデルの生成の処理時間を短縮できる。

【0041】

また、本開示の別の一態様に係る三次元モデル生成方法は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップと、少なくとも１つの第２フレームに前記第１三次元モデルを投影し、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影された複数の投影画素を特定する特定ステップと、前記少なくとも１つの第２フレームが撮影された少なくとも１つの第２撮影位置が、前記複数の第１フレームが撮影された複数の第１撮影位置のいずれかよりも前記所定の領域に近いか否かを判定する判定ステップと、前記少なくとも１つの第２撮影位置が前記複数の第１撮影位置のいずれかよりも前記所定の領域に近いと判定された場合、前記第１三次元モデルが投影される前の前記複数の投影画素に基づいて、前記第１三次元モデルを更新する更新ステップと、を含む。

【0042】

これによれば、カメラに撮影されたフレームを撮影された時系列に沿った順で用いて、三次元モデルを生成する。そのため、撮影順にフレームを処理することで、フレーム順を並べ替えたフレームセットを生成しないために短時間で三次元モデルを生成できる。また、一度生成した三次元モデルにおいてもフレームに投影された画素については当該フレームと比較して、精度の高い画素（つまり、所定の領域との距離がより近いカメラにより撮影されたフレームの画素）で更新した新三次元モデルを生成できる。これによれば、高精度な三次元モデルを生成できる。

【0043】

また、例えば、前記特定ステップは、前記少なくとも１つの第２フレームにおいて、前記第１三次元モデルが投影されなかった複数の未投影画素を特定し、前記複数の未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成ステップをさらに含む。

【0044】

これによれば、第１三次元モデルに存在しない画素である未投影画素を用いた第２三次元モデルを生成できる。

【0045】

以下では、本開示に係る三次元モデル生成方法等の各実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する各実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。

【0046】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する場合がある。

【0047】

（実施の形態１）
［概要］
まず、図１を参照しながら、実施の形態１に係る三次元モデル生成方法の概要について説明する。

【0048】

図１は、実施の形態１に係る三次元モデル生成方法の概要を説明するための図である。図２は、実施の形態１に係る三次元モデル生成装置１００の特徴的な構成を示すブロック図である。

【0049】

三次元モデル生成システム４００は、所定の領域を撮影する複数の撮像装置であるカメラ３０１から構成されるカメラ群３００と、複数のカメラ３０１で撮影された複数のフレーム（言い換えると、画像又は映像データ）に基づいて複数のカメラ３０１の位置及び姿勢を推定する推定装置２００と、複数のカメラ３０１で撮影された複数のフレームと推定装置２００の推定結果とが入力される三次元モデル生成装置１００と、を備える。

【0050】

なお、カメラ３０１の姿勢とは、カメラ３０１の撮影方向、及び、カメラ３０１の傾きの少なくとも一方を示す。

【0051】

所定の領域は、静止している静止物体或いは人物等の動いている動体、又は、その両方を含む領域である。言い換えると、所定の領域は、例えば、静止している静止物体、及び、動いている動体のうち少なくとも一方を被写体として含む領域である。静止物体と動物体とを含む所定の領域の例として、バスケットボール等のスポーツの試合、又は、人物或いは車が存在する街中等がある。なお、所定の領域は、被写体となる特定の対象物だけではなく、風景等を含むシーンでもよい。図１には、被写体５００Ａが建屋である場合を例示している。また、以下では、被写体となる特定の対象物だけではなく、風景等を含む所定の領域を、単に被写体ともいう。

【0052】

複数のカメラ３０１は、それぞれ被写体を撮影し、撮影した複数のフレームをそれぞれ推定装置２００に出力する。本実施の形態１では、カメラ群３００には、２台以上のカメラ３０１が含まれる。また、複数のカメラ３０１は、互いに異なる視点から同一の被写体を撮影する。

【0053】

なお、三次元モデル生成システム４００は、複数のカメラ３０１を備えてもよいし、１つのカメラ３０１を備えてもよい。例えば、三次元モデル生成システム４００は、１つのカメラ３０１を移動させながら１つのカメラ３０１に互いに視点の異なる複数のフレーム（言い換えると、多視点映像データ）を生成させるように撮影させてもよい。つまり、複数のフレームのそれぞれは、カメラ３０１の位置及び姿勢の少なくとも一方が互いに異なるカメラ３０１により撮影（生成）されたフレームである。

【0054】

また、カメラ３０１は、二次元画像を生成するカメラでもよいし、三次元モデルを生成する三次元計測センサを備えるカメラでもよい。本実施の形態１では、複数のカメラ３０１は、それぞれ二次元画像を生成するカメラである。

【0055】

１以上のカメラ３０１は、それぞれが撮影したフレームを推定装置２００に入力できるように、有線又は無線によって、推定装置２００自体に、又は、通信機器若しくはサーバ等の図示しないハブに接続される。

【0056】

なお、１以上のカメラ３０１でそれぞれ撮影したフレームは、リアルタイムに出力されてもよいし、フレームが一度メモリ又はクラウドサーバ等の外部記憶装置に記録された後、それらの外部記憶装置からフレームが出力されてもよい。

【0057】

また、１以上のカメラ３０１は、それぞれ監視カメラ等の固定カメラであってもよいし、ビデオカメラ、スマートフォン、又は、ウェアラブルカメラ等のモバイルカメラであってもよいし、撮影機能付きドローン等の移動カメラであってもよい。

【0058】

推定装置２００は、１以上のカメラ３０１から取得した複数のフレームに基づいて、複数のカメラ３０１の位置、姿勢、及び、カメラパラメータを推定する装置である。

【0059】

ここで、カメラパラメータとは、カメラ３０１の特性を示すパラメータであり、カメラ３０１の焦点距離及び画像中心等からなる内部パラメータと、カメラ３０１の位置（より具体的には、三次元位置）及び姿勢を示す外部パラメータとを含む１以上のパラメータである。

【0060】

なお、推定装置２００がカメラ３０１の位置及び姿勢を推定する推定方法は、特に限定されない。推定装置２００は、例えば、Ｖｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術を用いて複数のカメラ３０１の位置及び姿勢を推定する。或いは、推定装置２００は、例えば、Ｓｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ技術を用いて１以上のカメラ３０１のそれぞれの位置及び姿勢を推定する。

【0061】

また、推定装置２００は、例えば、上記技術を用いて推定したカメラ３０１の位置及び姿勢に基づいて、カメラ３０１と被写体との距離をカメラパラメータとして算出する。なお、三次元モデル生成システム４００は、測距センサを備え、当該測距センサを用いてカメラ３０１と被写体との距離が測定されてもよい。

【0062】

推定装置２００は、カメラ３０１から受信した複数のフレーム及び推定結果を三次元モデル生成装置１００に入力できるように、有線又は無線によって、三次元モデル生成装置１００自体に、又は、通信機器或いはサーバ等の図示しないハブに接続される。

【0063】

推定装置２００は、カメラ３０１から受信した複数のフレーム及び推定したこれらカメラパラメータを三次元モデル生成装置１００に入力する。

【0064】

なお、推定装置２００の推定結果は、リアルタイムに出力されてもよいし、推定結果が一度メモリ又はクラウドサーバ等の外部記憶装置に記録された後、それらの外部記憶装置から当該推定装置から出力されてもよい。

【0065】

また、三次元モデル生成装置１００は、予めカメラパラメータを記憶していてもよい。この場合、三次元モデル生成システム４００は、推定装置２００を備えなくてもよい。また、複数のカメラ３０１は、三次元モデル生成装置１００と無線又は有線によって通信可能に接続されていてもよい。

【0066】

また、カメラ３０１が撮影した複数のフレームは、三次元モデル生成装置１００に直接入力されてもよい。この場合、カメラ３０１は、例えば、有線又は無線によって、三次元モデル生成装置１００自体に、又は、通信機器若しくはサーバ等の図示しないハブに接続される。

【0067】

推定装置２００は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。

【0068】

三次元モデル生成装置１００は、複数のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータと、複数のフレームとに基づいて、被写体を（仮想）三次元空間にモデル生成する、つまり、三次元モデル生成処理を実行する装置である。

【0069】

ここで、複数のフレームは、多視点映像となっている。多視点映像とは、実空間上に存在する被写体を、カメラ３０１を移動させながら、又は、複数のカメラ３０１で異なる視点で撮影した映像である。つまり、複数のフレームは、視点が互いに異なる画像である。言い換えると、推定装置２００は、１以上のカメラ３０１から取得した視点が互いに異なる複数のフレームに基づいて、複数のカメラ３０１の位置、姿勢（撮影方向）、及び、カメラパラメータを推定する。

【0070】

なお、被写体の実物が撮影されたフレームから、仮想的な三次元空間に形状復元、つまり、生成された当該被写体を、三次元モデルという。被写体の三次元モデルは、多視点の、つまり、被写体が撮影されたカメラ３０１の位置及び姿勢の少なくとも一方が異なる複数の二次元画像それぞれに写る被写体上の複数の点それぞれの三次元位置を示す点の集合である。

【0071】

三次元位置は、例えば、互いに直交するＸ軸、Ｙ軸、及び、Ｚ軸からなる三次元空間のＸ成分、Ｙ成分、及び、Ｚ成分からなる三値情報で表される。なお、三次元位置を示す複数の点が含む情報には、三次元位置（つまり、座標を示す情報）だけでなく、各点の色を示す情報、各点及びその周辺の表面形状を表す情報等が含まれてもよい。

【0072】

三次元モデル生成装置１００は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。なお、三次元モデル生成装置１００は、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。

【0073】

［三次元モデル生成装置の構成］
続いて、図２及び図３を参照しながら、三次元モデル生成装置１００の構成の詳細について説明する。

【0074】

三次元モデル生成装置１００は、複数のフレームから三次元モデルを生成する装置である。三次元モデル生成装置１００は、受信部１１０と、記憶部１２０と、取得部１３０と、生成部１４０と、出力部１５０と、を備える。

【0075】

受信部１１０は、推定装置２００から、複数のカメラ３０１が撮影した複数の画像と、推定装置２００が推定した複数のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータとを受信する。受信部１１０は、例えば、推定装置２００と通信するための通信インターフェースである。三次元モデル生成装置１００と推定装置２００とが無線通信する場合、受信部１１０は、例えば、アンテナと無線通信回路とを備える。或いは、三次元モデル生成装置１００と推定装置２００とが有線通信する場合、受信部１１０は、例えば、通信線と接続されるコネクタを備える。

【0076】

受信部１１０は、受信した複数のカメラ３０１が撮影した複数のフレームと、推定装置２００が推定した１以上のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータとを記憶部１２０に出力する。

【0077】

記憶部１２０は、受信部１１０が受信した、１以上のカメラ３０１が撮影した複数のフレームと、推定装置２００が推定した１以上のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータとを記憶するメモリである。記憶部１２０は、例えば、三次元モデル生成装置１００が備える各処理部が実行する制御プログラムを記憶する。

【0078】

記憶部１２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。

【0079】

取得部１３０は、記憶部１２０に記憶されている、１以上のカメラ３０１が撮影した複数のフレームと、推定装置２００が推定した１以上のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータとを記憶部１２０から取得し、生成部１４０に出力する処理部である。

【0080】

なお、受信部１１０は、１以上のカメラ３０１から受信した複数のフレームと、推定装置２００が推定した１以上のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータを、生成部１４０に直接出力してもよい。

【0081】

生成部１４０は、取得部１３０から入力された複数のカメラ３０１が撮影した複数の画像と、推定装置２００が推定した複数のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータとに基づいて、被写体の三次元モデルを生成する処理部である。

【0082】

図３は、実施の形態１に係る三次元モデル生成装置１００が備える生成部１４０の詳細な構成を示すブロック図である。

【0083】

生成部１４０は、フレームセット生成部１４１と、特定部１４２と、三次元モデル生成部１４３と、を備える。

【0084】

フレームセット生成部１４１は、複数のフレーム（撮影フレーム）を撮影した際の各々でのカメラ３０１の位置及び姿勢に基づいて複数のフレーム（撮影フレーム）から選択された、つまり、複数の撮影フレームに含まれる複数のフレームからなるフレームセットを生成する処理部である。１つのフレームに対してカメラの位置及び姿勢を示すデータ（位置姿勢データ）は、１つ存在する。つまり、フレームセット生成部１４１は、複数のフレームを撮影した際の各々でのカメラ３０１の位置及び姿勢を示す複数の位置姿勢データに基づいて、複数のフレームから選択されたフレームからなるフレームセットを生成する。フレームセットには、複数の第１フレーム及び１つの第２フレームが含まれる。第１フレームは、第１三次元モデル生成部１４４が第１三次元モデルを生成するためのフレームである。第２フレームは、第２三次元モデルを生成するためのフレームである。

【0085】

なお、少なくとも１つの第２フレームは、複数の第１フレームのうちの少なくとも１つのフレームと同一でもよい。或いは、第１フレームと第２フレームとは、互いに異なってもよい。

【0086】

例えば、フレームセット生成部１４１は、取得部１３０から入力された１以上のカメラ３０１が撮影した複数のフレームと、推定装置２００が推定した１以上のカメラ３０１それぞれの位置、姿勢、及び、カメラパラメータとに基づいて、複数のフレームを所定の順序に並び替えた多視点フレームセット（以下、単にフレームセットともいう）を生成する。

【0087】

特定部１４２は、少なくとも１以上の第２フレームに第１三次元モデルを投影し、少なくとも１つの第２フレームにおいて、第１三次元モデルが投影されなかった複数の未投影画素を特定する処理部である。具体的には、特定部１４２は、第１フレームを除く、複数のフレームに含まれるフレームであって少なくとも１つの第２フレームに、後述する第１三次元モデル生成部１４４が生成した第１三次元モデルを投影し、第１三次元モデルを投影した少なくとも１つの第２フレームのうち、第１三次元モデルが投影されなかった画素である未投影画素を特定する。より具体的には、特定部１４２は、フレームセット生成部１４１が生成したフレームセットの順番通りに、既に生成されている三次元モデル（以下、既三次元モデルともいう）をフレームに投影する。例えば、特定部１４２は、既三次元モデルをフレームに投影することで、三次元モデルを投影したフレームの画素のうち、三次元モデルが投影されなかった未投影画素を特定する。つまり、特定部１４２は、既三次元モデルとフレームとの差分の画素を特定する。

【0088】

三次元モデル生成部１４３は、複数のフレームから三次元モデルを生成する処理部である。例えば、三次元モデル生成部１４３は、まず三次元モデル（第１三次元モデル）を生成し、生成した三次元モデルを特定部１４２が投影したフレームにおける、三次元モデルが投影されなかった画素について、新たに三次元モデル（以下、第２三次元モデル又は新三次元モデルともいう）を生成する。三次元モデル生成部１４３は、例えば、新三次元モデルを記憶部１２０に出力する。記憶部１２０は、三次元モデル生成部１４３から入力された、新三次元モデルを記憶する。

【0089】

三次元モデル生成部１４３は、第１三次元モデル生成部１４４と、第２三次元モデル生成部１４５と、を有する。

【0090】

第１三次元モデル生成部１４４は、複数の第１フレームから所定の領域の第１三次元モデルを生成する処理部である。具体的には、第１三次元モデル生成部１４４は、複数のフレームのうちのフレームであって複数のフレーム（第１フレーム）から被写体の第１三次元モデルを生成する。

【0091】

第２三次元モデル生成部１４５は、特定部１４２が特定した未投影画素に基づいて第２三次元モデルを生成する処理部である。

【0092】

例えば、特定部１４２は、さらに、既三次元モデルを、フレームセットのうちで未だ三次元モデルを投影していないフレームに投影し、当該フレームにおいて三次元モデルが投影されなかった未投影画素を特定する。ここで、既三次元モデルは、第２三次元モデル生成部１４５が第２三次元モデルを生成していない場合には、第１三次元モデルである。また、既三次元モデルは、第２三次元モデル生成部１４５が第２三次元モデルを生成している場合には、第１三次元モデルと、第２三次元モデル生成部１４５が生成した第２三次元モデルとを含む。第２三次元モデル生成部１４５は、特定部１４２が既三次元モデルを投影したフレームにおける、既三次元モデルが投影されなかった未投影画素について、新三次元モデルをさらに生成する。

【0093】

特定部１４２及び三次元モデル生成部１４３は、フレームセットの順序の通りに、三次元モデルをフレームに繰り返し投影することで、当該フレームにおいて三次元モデルが投影されなかった未投影画素を特定し、特定した未投影画素について三次元モデルを生成する。

【0094】

なお、初めにフレームに投影される三次元モデルは、例えば、三次元モデル生成部１４３がフレームセットから生成する。例えば、三次元モデル生成部１４３は、まず、フレームセットのうちの１番目のフレームと２番目のフレームとを用いて三次元モデルを生成し、生成した三次元モデルを３番目のフレームに投影することで、３番目のフレームの画素のうちで、三次元モデルが投影されなかった未投影画素を特定する。

【0095】

例えば、フレームセット生成部１４１は、フレームセットにおいて複数のフレームをフレーム順に並べる。例えば、フレームセット生成部１４１は、所定の条件に基づいて複数のフレームを並べたフレーム順のフレームセットを生成する。この場合、特定部１４２は、例えば、少なくとも１つの第２フレームに、第１三次元モデルを含む既に生成された三次元モデルである既三次元モデル（第３三次元モデル）を投影し、既三次元モデルを投影した少なくとも１つの第２フレームにおいて、既三次元モデルが投影されなかった未投影画素を特定する。特定部１４２及び第２三次元モデル生成部１４５は、フレーム順に、上記処理を繰り返し実行する。既三次元モデルには、第１三次元モデルと、生成した第２三次元モデルとが含まれる。

【0096】

なお、所定の条件は、予め任意に定められてよい。例えば、フレームセット生成部１４１は、複数のフレームを撮影した際のカメラ３０１の各々での光軸方向に基づいて基準軸の正方向を算出する。つまり、フレームセット生成部１４１は、算出した基準軸の正方向に基づいて、フレーム順を決定し、決定したフレーム順のフレームセットを生成する。

【0097】

光軸方向とは、例えば、カメラ３０１が備えるセンサの光入射面に直交する方向である。或いは、光軸方向とは、例えば、カメラ３０１が備えるレンズの光軸方向である。光軸の正方向とは、例えば、カメラ３０１が備えるセンサの光入射面の法線方向である。光軸の負方向とは、例えば、カメラ３０１に光が入射される方向である。

【0098】

１つのフレームに対してカメラの光軸方向を示すデータ（光軸データ）は、１つ存在する。つまり、フレームセット生成部１４１は、複数のフレームを撮影した際の各々でのカメラ３０１の光軸方向を示す複数の光軸データに基づいて、複数のフレームから選択されたフレームからなるフレームセットを生成する。

【0099】

例えば、フレームセット生成部１４１は、複数のフレームから、複数のフレームのうちの１つのフレームである代表フレームを選択し、選択した代表フレームを撮影したカメラ３０１の光軸方向を基準軸の正方向として算出する。なお、代表フレームは、１つでもよいし、２以上でもよい。フレームセット生成部１４１は、代表フレームが２以上の場合には、選択した２以上の代表フレームを撮影したそれぞれのカメラ３０１の光軸方向の平均値を基準軸方向としてもよい。

【0100】

また、例えば、フレームセット生成部１４１は、基準軸方向において、被写体に近い位置で撮影された順にフレームを並べたフレーム順のフレームセットを生成する。言い換えると、フレームセット生成部１４１は、フレームセットにおける複数のフレームを撮影した際の各々でのカメラ３０１の位置が所定の領域に近い順にフレームを並べたフレームセットを生成する。具体的には、フレームセット生成部１４１では、カメラ３０１から見た所定の領域の向き、つまり、カメラ３０１から所定の領域へ向かう方向を基準軸の正方向とした場合に、フレームセットにおける複数のフレームを撮影した際の各々でのカメラ３０１の位置が基準軸の正方向において所定の領域に近い順に複数のフレームを並べたフレームセットを生成する。

【0101】

なお、フレームセット生成部１４１は、記憶部１２０に記憶されている複数のフレームに含まれる全てのフレームを用いてフレームセットを生成してもよいし、当該複数のフレームのうちの一部のフレームを用いてフレームセットを生成してもよい。

【0102】

例えば、フレームセット生成部１４１は、複数のフレームのそれぞれが第１条件を満たすか否かを判定し、複数のフレームのうち第１条件を満たすフレームでフレームセットを生成する。

【0103】

なお、所定の第１条件は、予め任意に定められてよい。例えば、フレームセット生成部１４１は、基準軸の正方向と、フレームセットに含まれる複数のフレームを撮影した際のカメラ３０１の光軸方向とのなす角度が所定の第１角度以下であることを所定の第１条件として判定する。つまり、フレームセット生成部１４１は、基準軸方向とカメラ３０１の光軸方向とのなす角度が第１角度以下の場合には、当該カメラ３０１で撮影されたフレームをフレームセットに含める。一方、フレームセット生成部１４１は、基準軸方向とカメラ３０１の光軸方向とのなす角度が第１角度より大きい場合には、当該カメラ３０１で撮影されたフレームをフレームセットに含めない。

【0104】

再び図２を参照し、出力部１５０は、記憶部１２０に記憶されている三次元モデルを出力する処理部である。出力部１５０は、例えば、記憶部１２０に記憶されている、既三次元モデルと新三次元モデルとを統合して１つの三次元モデルを生成して出力する。出力部１５０は、例えば、図示しないディスプレイ等の表示装置と、有線又は無線によって、通信可能に接続するための、アンテナ、無線通信回路、コネクタ等を備える。出力部１５０は、当該表示装置に、統合した三次元モデルを出力することで、当該表示装置に三次元モデルを表示させる。

【0105】

［三次元モデル生成装置の処理手順］
続いて、図４～図１８を参照しながら、三次元モデル生成装置１００が実行する三次元モデル生成の処理手順について、詳細に説明する。

【0106】

＜概要＞
図４は、実施の形態１に係る三次元モデル生成装置１００が実行する処理を示すフローチャートである。

【0107】

まず、受信部１１０は、推定装置２００で推定したカメラ３０１の位置及び姿勢を示す情報と、カメラパラメータと、複数のフレーム（撮影フレーム）とを受信する（ステップＳ１０１）。受信部１１０は、受信したこれらのデータを記憶部１２０に出力する。

【0108】

次に、記憶部１２０は、ステップＳ１０１で受信部１１０が受信したカメラ３０１の位置及び姿勢を示す情報と、カメラパラメータと、複数のフレーム（撮影フレーム）とを記憶する（ステップＳ１０２）。

【0109】

次に、取得部１３０は、記憶部１２０に記憶されているカメラ３０１の位置及び姿勢を示す情報と、カメラパラメータと、複数のフレーム（撮影フレーム）とを生成部１４０に入力する（ステップＳ１０３）。

【0110】

次に、フレームセット生成部１４１は、複数のフレーム（撮影フレーム）を撮影した際の各々のカメラ３０１の位置及び姿勢を示す複数のデータと、カメラパラメータと、複数のフレーム（撮影フレーム）とからフレーム順を決定した複数のフレームを含むフレームセットを生成する（ステップＳ１０４）。

【0111】

次に、第１三次元モデル生成部１４４は、フレームセットから三次元モデル（第１三次元モデル）を生成する（ステップＳ１０５）。例えば、第１三次元モデル生成部１４４は、フレームセットのうちの任意の２つのフレーム（第１フレーム）を用いて、第１三次元モデルを生成する。

【0112】

次に、特定部１４２は、ステップＳ１０５で生成した第１三次元モデルをフレーム（第２フレーム）に投影する（ステップＳ１０６）。具体的には、特定部１４２は、第１三次元モデルを、第１フレームを除くフレームセットに含まれる少なくとも１つの第２フレームに投影する。

【0113】

次に、第２三次元モデル生成部１４５は、第２フレームのうち、ステップＳ１０６で第１三次元モデルが投影されなかった未投影画素に基づいて、三次元モデル（第２三次元モデル）を生成する（ステップＳ１０７）。

【0114】

次に、出力部１５０は、第１三次元モデル及び第２三次元モデルを統合して出力する（ステップＳ１０８）。

【0115】

＜フレーム順の決定処理＞
続いて、図５Ａ～図８Ｂを参照しながら、図４のステップＳ１０４でフレームセット生成部１４１が実行するフレームセットの生成処理（より具体的には、フレーム順の決定処理）について説明する。

【0116】

フレームセット生成部１４１は、記憶部１２０に含まれる全フレームを用いてフレームセットを生成してもよいし、当該全フレームのうちの少なくとも３フレームを選択してフレームセットを生成してもよい。

【0117】

また、フレームセットは、カメラ３０１の位置及び姿勢がカメラ３０１の光軸方向（言い換えると、撮影方向）の負方向で移動するフレーム順でもよい。

【0118】

また、生成部１４０（より具体的には、フレームセット生成部１４１）は、記憶部１２０に記憶されている複数のフレームからフレームを間引いてフレームセットを生成してもよい。

【0119】

例えば、取得部１３０が記憶部１２０から複数のフレームを、フレーム順をランダムに取得する場合、フレームセット生成部１４１は、フレームセットのフレーム順を、複数のフレームを撮影したカメラ３０１の位置及び姿勢がカメラ光軸方向の負方向に小さい順に、つまり、フレームが撮影された時のカメラ３０１の位置が被写体に近い順に並び替えたフレームセットを生成する。

【0120】

なお、フレームセット生成部１４１は、フレームセットの各フレームに個別にフレーム順を示すインデックス番号等の特定情報を付加してもよいし、フレームセットに一括して当該特定情報を付加してもよい。

【0121】

なお、以下で説明するｔフレーム、ｔ＋１フレーム、ｔ＋２フレーム、ｔ＋３フレーム、ｔ＋４フレーム、及び、ｔ＋５フレームは、カメラ３０１によってこの順の時系列で撮影されたフレームであるとする。また、図５Ａ～図８Ｂにおいては、各図のカメラ光軸方向に被写体となる対象物が存在するとして説明する。また、図５Ａ～図８Ｂにおいては、各図のカメラ光軸方向が基準軸方向と一致する。

【0122】

＜第１例＞
図５Ａは、カメラ３０１の撮影順序の第１例を説明するための図である。

【0123】

図５Ｂは、カメラ３０１の撮影順序に対する三次元モデル生成装置１００が決定するフレーム順の第１例を説明するための図である。

【0124】

第１例は、カメラ３０１が被写体から離れながら当該被写体を撮影する例である。この場合、生成部１４０（より具体的には、フレームセット生成部１４１）は、図５Ｂの処理順のように、カメラ移動方向に合わせて、つまり、被写体が撮影された順にフレーム順を設定したフレームセットを生成する。

【0125】

このように、カメラ３０１の位置が被写体に対して離れるようにカメラ３０１によって複数のフレームが撮影された場合、フレームセット生成部１４１は、撮影順にフレームセットを生成することで、カメラ３０１が被写体から近い順に生成されたフレームの順にフレームを並べたフレームセットを生成できる。

【0126】

＜第２例＞
図６Ａは、カメラ３０１の撮影順序の第２例を説明するための図である。

【0127】

図６Ｂは、カメラ３０１の撮影順序に対する三次元モデル生成装置１００が決定するフレーム順の第２例を説明するための図である。

【0128】

第２例は、カメラ３０１が被写体に近づきながら当該被写体を撮影する例である。この場合、フレームセット生成部１４１は、図６Ｂの処理順のように、カメラ移動方向とは反対方向となる順に合わせて、つまり、被写体が撮影された順とは逆の順にフレーム順を設定したフレームセットを生成する。

【0129】

このように、カメラ３０１の位置が被写体に対して近づく複数のフレームがカメラ３０１により撮影された場合、フレームセット生成部１４１は、撮影と逆順にフレームを並び替えたフレームセットを生成することで、カメラ３０１が被写体から近い順に生成されたフレームの順にフレームを並べたフレームセットを生成できる。

【0130】

以上、第１例及び第２例で説明したように、フレームセット生成部１４１は、カメラ３０１によりフレームが撮影された際の位置の変化が被写体に対して一定であり、且つ、フレームに当該フレームが撮影された時刻を示す時刻情報が付加されている場合、当該時刻情報に基づいてフレームを並べ替えたフレームセットを生成してもよい。

【0131】

＜第３例＞
図７Ａは、カメラ３０１の撮影順序の第３例を説明するための図である。

【0132】

図７Ｂは、カメラ３０１の撮影順序に対する三次元モデル生成装置１００が決定するフレーム順の第３例を説明するための図である。

【0133】

第３例は、カメラ３０１が被写体との距離を変えずに移動しながら当該被写体を撮影する例である。この場合、フレームセット生成部１４１は、任意の順序でフレーム順を並び替えてフレームセットを生成してもよい。図７Ｂには、カメラ移動方向に合わせて、つまり、被写体が撮影された順にフレーム順を設定したフレームセットを生成する処理を示している。

【0134】

このように、カメラ３０１の位置が被写体に対して平行になるように、つまり、被写体とカメラ３０１との距離が変わらないように多視点映像を撮影した場合、フレームセット生成部１４１は、複数のフレームから撮影順に関わらずフレームセットを生成する。

【0135】

＜第４例＞
図８Ａは、カメラ３０１の撮影順序の第４例を説明するための図である。

【0136】

図８Ｂは、カメラ３０１の撮影順序に対する三次元モデル生成装置１００が決定するフレーム順の第４例を説明するための図である。

【0137】

第４例は、カメラ３０１が被写体との距離をランダムに変えながら移動して当該被写体を撮影する例である。この場合、図８Ｂに示す処理順のように、フレームセット生成部１４１は、被写体に近い位置で撮影されたフレームから順に、言い換えると、カメラ光軸方向の正方向側に位置するフレームから順にフレーム順を並び替えてフレームセットを生成する。図８Ｂに示す例では、フレームセット生成部１４１は、ｔフレーム、ｔ＋３フレーム、ｔ＋１フレーム、ｔ＋４フレーム、及び、ｔ＋２フレームの順となるようにフレームセットを生成する。

【0138】

フレームセット生成部１４１は、このような処理をすることで、フレームが撮影された順序に拘わらず、フレーム順を、カメラ３０１の位置が被写体に近い順に並び替えたフレームセットを生成できる。

【0139】

＜フレームの特定処理＞
続いて、図９を参照しながら、フレームセット生成部１４１が実行するフレームの特定処理の処理手順について説明する。

【0140】

上記したように、フレームセット生成部１４１は、カメラ３０１が被写体に近い位置で撮影されたフレーム順、つまり、複数のフレームを撮影した際の各々でのカメラ３０１の位置が所定の領域に近い順となるフレーム順となるように複数のフレームを並べ替えたフレームセットを生成する。

【0141】

ここで、例えば、三次元モデル生成部１４３は、三次元モデルを生成する際には、記憶部１２０に記憶されている複数の撮影フレーム（言い換えると、カメラ３０１に撮影された全ての撮影フレーム）のうちの全てのフレームを用いずに、三次元モデルを生成してもよい。つまり、生成部１４０（より具体的には、フレームセット生成部１４１）は、複数のフレーム（撮影フレーム）から一部のフレームを間引いたフレームセットを生成してもよい。言い換えると、フレームセット生成部１４１は、カメラ３０１に撮影された全てのフレームから一部のフレームを特定して（言い換えると、選択して）フレームセットを生成してもよい。

【0142】

図９は、実施の形態１に係る三次元モデル生成装置１００が実行するフレームセットの生成処理の一例を示すフローチャートである。

【0143】

まず、フレームセット生成部１４１は、複数のフレームから、基準軸方向（より具体的には、基準軸の正方向）を算出する（ステップＳ２０１）。

【0144】

ステップＳ２０１では、例えば、フレームセット生成部１４１は、カメラパラメータに基づいて、各フレームが撮影された時の各々でのカメラ３０１の光軸方向を算出し、算出した各光軸方向に基づいて基準軸方向を算出する。例えば、フレームセット生成部１４１は、各フレームが撮影された時のカメラ３０１の位置それぞれの平均位置を算出する。さらに、フレームセット生成部１４１は、例えば、算出した平均位置を通過する、予め任意に定められる所定の軸に対して各フレームが撮影された時のカメラ３０１の光軸方向のなす角度の平均値（平均角度）を算出する。例えば、フレームセット生成部１４１は、算出した平均位置を通過し、且つ所定の軸に対して算出した平均角度だけ傾けた軸の方向を、基準軸方向として算出する。

【0145】

或いは、フレームセット生成部１４１は、各フレームが撮影された時の各々でのカメラ３０１の光軸方向を算出し、複数の光軸方向に対して最小二乗法を用いることで基準軸方向を算出する。この際、フレームセット生成部１４１は、誤差が所定の閾値より大きくなる光軸方向を除いてもよい。

【0146】

或いは、ステップＳ２０１では、例えば、フレームセット生成部１４１は、複数のフレームから代表となる代表フレームを決定し、決定した代表フレームを撮影したカメラ３０１の光軸方向を基準軸方向とする。

【0147】

代表フレームの決定方法は、任意でよい。例えば、フレームセット生成部１４１は、複数のフレームを撮影したカメラ３０１のうち、最も被写体に近い位置のカメラ３０１で撮影されたフレームを代表フレームとする。或いは、フレームセット生成部１４１は、複数のフレームを撮影したカメラ３０１のうち、被写体との距離が中間となる位置のカメラ３０１で撮影されたフレームを代表フレームとする。

【0148】

次に、フレームセット生成部１４１は、フレームの選択の繰り返し処理を開始する（ステップＳ２０２）。具体的には、フレームセット生成部１４１は、記憶部１２０に記憶されている複数のフレームそれぞれについて、ステップＳ２０３～ステップＳ２０５の処理を繰り返し実行する。

【0149】

フレームセット生成部１４１は、ステップＳ２０１で算出した基準軸（より具体的には、基準軸の正方向）と、フレームを撮影したカメラ３０１の光軸方向とのなす角度が第１角度以下であるか否かを判定する（ステップＳ２０３）。

【0150】

フレームセット生成部１４１は、ステップＳ２０１で算出した基準軸と、当該フレームを撮影したカメラ３０１の光軸方向とのなす角度が第１角度以下であると判定した場合（ステップＳ２０３でＮｏ）、当該フレームを非選択とする（ステップＳ２０５）。つまり、フレームセット生成部１４１は、ステップＳ２０３でＮｏの場合、当該フレームを選択せず、生成するフレームセットに当該フレームを加えない。なお、非選択とするとは、フレームセット生成部１４１がこの後にステップＳ２０７で実行する処理において当該フレームを用いないことを示し、例えば、記憶部１２０から当該フレームを削除する必要はない。

【0151】

一方、フレームセット生成部１４１は、ステップＳ２０１で算出した基準軸と、フレームを撮影したカメラ３０１の光軸方向とのなす角度が第１角度以下でないと判定した場合（ステップＳ２０３でＹｅｓ）、当該フレームを選択する（ステップＳ２０４）。ここで、選択するとは、フレームセット生成部１４１がこの後にステップＳ２０７で実行する処理当該フレームを用いることを示す。

【0152】

フレームセット生成部１４１は、複数のフレームそれぞれについて、ステップＳ２０３～ステップＳ２０５の繰り返し処理、つまり、フレームの選択又は非選択の繰り返し処理を実行した後で、当該繰り返し処理を終了する（ステップＳ２０６）。

【0153】

次に、フレームセット生成部１４１は、ステップＳ２０４で選択したフレームについて、ステップＳ２０１で算出した基準軸に沿って被写体に近い位置で撮影されたフレーム順となるように、つまり、複数のフレームを撮影した際の各々でのカメラ３０１の位置が所定の領域に近い順となるフレーム順となるように、選択したフレームを並べ替えて、フレームセットを生成する（ステップＳ２０７）。ステップＳ２０７では、例えば、フレームセット生成部１４１は、並べ替えた複数のフレームの順に通し番号を振り分けて関連付ける。

【0154】

なお、第１角度となる閾値は、例えば、予め記憶部１２０に記憶されていればよい。また、第１角度は、任意に設定されてよく、その値は特に限定されない。また、フレームセット生成部１４１は、基準軸とのなす角度ではなく、例えば、カメラ３０１の位置に基づいて代表フレームを選択してもよい。

【0155】

また、フレームセット生成部１４１は、生成したフレームセットを記憶部１２０に記憶させてもよいし、この後でフレームセットに基づいて新三次元モデルを生成する三次元モデル生成部１４３に出力してもよい。

【0156】

また、ステップＳ２０３では、第１角度以下と説明したが、厳密な意味で記載するものではない。例えば、「第１角度以下」と記載する場合においては、第１角度よりも小さいことを意味してもよい。

【0157】

＜三次元モデルの生成処理＞
続いて、図１０～図１３を参照しながら、三次元モデル生成装置１００が実行する三次元モデルの生成処理について説明する。

【0158】

図１０は、実施の形態１に係る三次元モデル生成装置１００が実行する三次元モデルの生成処理を示すフローチャートである。

【0159】

まず、第１三次元モデル生成部１４４は、フレームセットのうちの複数のフレーム（第１フレーム）を用いて、三次元モデル（第１三次元モデル）を生成する（ステップＳ３０１）。

【0160】

次に、生成部１４０は、フレームセットに含まれるフレーム数以下の繰り返し処理を開始する（ステップＳ３０２）。具体的には、生成部１４０は、フレームセットに含まれる、ステップＳ３０１で用いたフレームを除く複数のフレームそれぞれについて、ステップＳ３０２～ステップＳ３０６の処理を繰り返し実行する。

【0161】

次に、特定部１４２は、既に生成した三次元モデル（既三次元モデル、つまり、第３三次元モデル）をフレームセットの中の少なくとも１つのフレーム（第２フレーム）に投影する（ステップＳ３０３）。ステップＳ３０３では、特定部１４２は、フレームセット生成部１４１により決定されたフレーム順に、既三次元モデルをフレームセットのフレームに投影する。既三次元モデルは、初めは、ステップＳ３０１で生成した第１三次元モデルのみであるが、ステップＳ３０３～ステップＳ３０５の処理が繰り返されることで、既に生成した三次元モデルには、後述するステップＳ３０５で生成された新三次元モデル（第２三次元モデル）が繰り返し追加されることになる。

【0162】

次に、特定部１４２は、三次元モデルを投影した第２フレームにおいて、三次元モデル（具体的には、三次元モデルを構成する三次元点）が投影されなかった未投影画素を特定する（ステップＳ３０４）。

【0163】

次に、第２三次元モデル生成部１４５は、ステップＳ３０４で特定した未投影画素に基づいて、新たに新三次元モデル（第２三次元モデル）を生成する（ステップＳ３０５）。つまり、第２三次元モデル生成部１４５は、既三次元モデルに存在しない点からなる第２三次元モデルを生成する。

【0164】

次に、生成部１４０は、フレームセットのフレーム数以下の繰り返し処理を終了する（ステップＳ３０６）。つまり、ステップＳ３０３～Ｓ３０５のループ処理における、２巡目以降の処理については、ステップＳ３０３では、その前にステップＳ３０５で生成した第２三次元モデルが既三次元モデルに含まれる。

【0165】

図１１は、実施の形態１に係る三次元モデル生成装置１００が備える生成部１４０が実行する生成処理の処理位置を説明するための図である。

【0166】

図１２は、カメラ３０１による撮影位置の変化を説明するための図である。

【0167】

図１３は、カメラ３０１による撮影範囲の変化を説明するための図である。

【0168】

なお、図１１の（ａ）～（ｃ）に示すフレームは、図１２及び図１３のそれぞれに示すカメラ３０１で撮影されたフレームを示す。また、図１２及び図１３は、同一の場面を示す図である。図１２は斜視図であり、図１３は上面図である。また、図１３には、時刻ｔ及び時刻ｔ＋１での三次元モデル生成範囲（つまり、撮影範囲）を、ハッチングを付して示している。

【0169】

図１１の（ａ）に示すように、例えば、時刻ｔにおけるフレームについて、全ての箇所で既三次元モデルが投影されなかったとする。この場合、第２三次元モデル生成部１４５は、時刻ｔにおけるフレームの全ての画素について、第２三次元モデルを生成する。

【0170】

また、図１１の（ｂ）に示すように、例えば、時刻ｔ＋１におけるフレームについて、ハッチングで示す一部の箇所で既三次元モデルが投影されたとする。具体的には、図１１の（ｂ）におけるハッチング部分が図１１の（ａ）に示す時刻ｔのフレームにより生成された第２三次元モデルが投影された画素位置であるとする。この場合、第２三次元モデル生成部１４５は、図１１の（ｂ）に示すハッチングが付されていない箇所における画素について、第２三次元モデルを生成する。

【0171】

また、図１１の（ｃ）に示すように、例えば、時刻ｔ＋２におけるフレームについて、ハッチングで示す一部の箇所で既三次元モデルが投影されたとする。具体的には、図１１の（ｃ）におけるハッチング部分が、図１１の（ａ）に示す時刻ｔのフレームにより生成された第２三次元モデル、及び、図１１の（ｂ）に示す時刻ｔ＋１のフレームにより生成された第２三次元モデルが投影された画素位置であるとする。この場合、第２三次元モデル生成部１４５は、図１１の（ｃ）に示すハッチングが付されていない位置における画素（つまり、未投影画素）について、第２三次元モデルを生成する。

【0172】

このように、第２三次元モデル生成部１４５は、フレームセット生成部１４１が生成したフレームセットにおけるフレーム順に、第２三次元モデルを生成する。

【0173】

続いて、図１４を参照しながら、三次元モデルの生成方法について説明する。

【0174】

三次元モデル生成部１４３は、第１三次元モデルを生成する場合、例えば、２つのフレームを用いて既三次元点を生成する。

【0175】

図１４は、三次元モデル生成部１４３が三次元モデルを生成する処理手順を説明するための図である。

【0176】

図１４に示すように、例えば、第１三次元モデル生成部１４４は、参照フレーム５０１と可視フレーム５０２との２つのフレームを用いて、被写体５００の第１三次元モデルを生成する。

【0177】

参照フレーム５０１と可視フレーム５０２とは、それぞれに被写体５００及び当該被写体５００における共通箇所（例えば、図１４に示す特徴点５０３）が含まれていればよく、特に限定されない。

【0178】

第１三次元モデル生成部１４４は、例えば、フレームセットの１番目のフレームを参照フレーム５０１として用い、フレームセットの２番目のフレームを可視フレーム５０２として用いて、第１三次元モデルを生成する。例えば、第１三次元モデル生成部１４４は、以下の式（１）に示すように、参照フレーム５０１と可視フレーム５０２との組み合わせで小領域間のＮｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）をＮ（Ｉ、Ｊ）として算出し、フレーム間のマッチングを行った結果を示すマッチング情報を生成する。また、第１三次元モデル生成部１４４は、参照フレーム５０１及び可視フレーム５０２のそれぞれを撮影した時のそれぞれでのカメラ３０１の位置及び姿勢を示す情報と、フレーム間のマッチング情報とから、三角測量を実施することで三次元モデルを生成する。

【0179】

【数1】

式（１）

【0180】

なお、Ｉ_ｘｙ及びＪ_ｘｙは、フレームＩ及びフレームＪの小領域内の画素値である。また、

【数2】

及び

【数3】

は、それぞれフレームＩ及びフレームＪの小領域内の画素値の平均値である。

【0181】

また、第２三次元モデル生成部１４５が第２三次元モデルを生成する場合においても、上記した第１三次元モデル生成部１４４が第１三次元モデルを生成する場合と同様の手順である。具体的には、第２三次元モデル生成部１４５は、例えば、第１三次元モデル生成部１４４がフレームセットの１番目のフレームを参照フレーム５０１として用い、フレームセットの２番目のフレームを可視フレーム５０２として用いて第１三次元モデルを生成した場合、フレームセットの３番目を新たに可視フレームとして用いて、当該可視フレームに第１三次元モデルを投影する。

【0182】

例えば、第２三次元モデル生成部１４５は、上記の式（１）に示すように、参照フレーム５０１（例えば、フレームセットの１番目のフレーム）と新たに用いた可視フレームにおける、第１三次元モデルが投影されなかった画素との組み合わせで小領域間のＮＣＣをＮ（Ｉ、Ｊ）として算出し、フレーム間のマッチングを行ったマッチング結果を示すマッチング情報を生成する。また、三次元モデル生成部１４３は、参照フレーム５０１及び新たに用いた可視フレームのそれぞれを撮影した時のカメラ３０１の位置及び姿勢を示す情報と、フレーム間のマッチング情報とから、三角測量を実施することで第２三次元モデルを生成する。

【0183】

［効果等］
以上、実施の形態１に係る三次元モデル生成方法は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップ（ステップＳ１０５）と、少なくとも１つの第２フレームに第１三次元モデルを投影し、少なくとも１つの第２フレームにおいて、第１三次元モデルが投影されなかった複数の未投影画素を特定する特定ステップ（ステップＳ１０６）と、複数の未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成ステップ（ステップＳ１０７）と、を含む。

【0184】

これによれば、生成した三次元モデルの差分の三次元モデルを順次生成していくため、各三次元モデルで重なる箇所のモデルを生成しない。そのため、三次元モデルの生成の処理時間を短縮できる。また、実施の形態１に係る三次元モデル生成方法によれば、第１三次元モデルが少なくとも１つの第２フレームに投影される。したがって、少なくとも１つの第２フレームの撮影時に、一部の被写体が撮影領域外に設けられていても、当該一部の被写体を示す三次元モデルが失われることがない。例えば、静止させることが難しい被写体を一度だけ撮影して複数の第１フレームを生成すれば、当該被写体の三次元モデルを生成し、且つ、少なくとも１つの第２フレームに基づき当該被写体以外の被写体の三次元モデルを生成することができる。

【0185】

また、例えば、実施の形態１に係る三次元モデル生成方法は、さらに、複数の撮影フレームを撮影した際の各々でのカメラ３０１の位置及び姿勢に基づいて複数の撮影フレームに含まれる複数のフレームからなるフレームセットを生成するフレームセット生成ステップ（ステップＳ１０４）を含み、フレームセットは、複数の第１フレーム及び１以上の第２フレームを含む。

【0186】

これによれば、カメラ３０１の位置及び姿勢に基づいて複数のフレームから選択されたフレームからなるフレームセットのフレームを用いて三次元モデルを生成するため、例えば、所定の領域が撮影されていないような不要なフレームを除いたフレームセットを生成できる。そのため、不要なフレームに対する三次元モデルの生成処理をしないため、処理時間を短縮できる。

【0187】

また、例えば、フレームセット生成ステップでは、所フレームセットにおいて複数のフレームをフレーム順に並べ、特定ステップでは、少なくとも１つの第２フレームに、第１三次元モデルを含む既に生成された三次元モデルである第３三次元モデルを投影し、第３三次元モデルを投影した少なくとも１つの第２フレームにおいて、第３三次元モデルが投影されなかった複数の未投影画素を特定し、フレーム順に、上記特定ステップ及び上記第２三次元モデル生成ステップを繰り返し実行する。

【0188】

これによれば、フレームごとに繰り返し投影と第２三次元モデルの生成とを実行する。そのため、第１三次元モデルと生成した第２三次元モデルとを含む既三次元モデルをフレームに投影して、投影されなかった画素を抽出できる。これにより、さらに、処理時間を短縮できる。

【0189】

また、例えば、フレームセット生成ステップでは、フレームセットにおける複数のフレームを撮影した際の各々でのカメラ３０１の位置が所定の領域に近い順に複数のフレームを並べたフレームセットを生成する。

【0190】

これによれば、所定の領域に近いカメラ３０１により撮影されたフレームから順に用いて第２三次元モデルを生成できる。被写体に近いカメラ３０１により撮影されたフレームである程、精度の高い、つまり、高画質な画像である。そのため、これによれば、三次元モデルの生成の処理時間を短縮でき、且つ、三次元モデルの精度を向上できる。

【0191】

また、例えば、フレームセット生成ステップでは、カメラ３０１から所定の領域へ向かう方向を基準軸の正方向とした場合に、フレームセットにおける複数のフレームを撮影した際の各々でのカメラ３０１の位置が基準軸の正方向において所定の領域に近い順にフレームを並べたフレームセットを生成する。

【0192】

これによれば、基準軸方向に基づいて、所定の領域に近いカメラ３０１により撮影されたフレーム順に複数のフレームを並べることができる。

【0193】

また、例えば、フレームセット生成ステップでは、複数のフレームを撮影した際の各々でのカメラ３０１の光軸方向に基づいて基準軸の正方向を算出する。

【0194】

これによれば、例えば、カメラ３０１の光軸方向が基準軸方向となるために、所定の領域をほとんど含まないような不要なフレームを簡単な処理でフレームセットに含めないようにできる。そのため、これによれば、三次元モデルを生成する際に不要なフレームについての処理時間を短縮できる。

【0195】

また、例えば、フレームセット生成ステップでは、複数のフレームから代表フレームを選択し、当該代表フレームを撮影したカメラ３０１の光軸方向を基準軸の正方向として算出する。

【0196】

これによれば、複数のフレームを撮影したそれぞれのカメラ３０１の光軸方向から基準軸方向を算出する場合と比較して、代表フレームを撮影したカメラ３０１の光軸方向から基準軸方向を算出するため、代表フレームを適切な数だけ選択することで、基準軸方向を算出するための処理時間を短縮できる。

【0197】

また、例えば、フレームセット生成ステップでは、複数のフレームのそれぞれが第１条件を満たすか否かを判定し、複数のフレームのうち第１条件を満たすフレームでフレームセットを生成する。

【0198】

これによれば、第１条件が適切に設定されることで、第１三次元モデルが全て投影されるようなフレーム、又は、所定の領域をほとんど含まないようなフレーム等の不要なフレームをフレームセットに含めないようにできる。そのため、これによれば、三次元モデルを生成する際に不要なフレームについての処理時間を短縮できる。

【0199】

また、例えば、フレームセット生成ステップでは、基準軸の正方向と、フレームセットに含まれる複数のフレームを撮影した際のカメラ３０１の光軸方向とのなす角度が第１角度以下であることを第１条件として判定する。

【0200】

これによれば、所定の領域をほとんど含まないような不要なフレームを簡単な処理でフレームセットに含めないようにできる。そのため、これによれば、三次元モデルを生成する際に不要なフレームについての処理時間を短縮できる。

【0201】

また、例えば、所定の領域は、静止している静止物体、及び、動いている動体のうち少なくとも一方を被写体として含む領域である。

【0202】

これによれば、所定の領域に物体が含まれるために、例えば、所定の領域とカメラ３０１との距離を測定する場合に、当該物体を基準として距離の測定ができるため、精度良く当該距離を算出できる。

【0203】

また、例えば、少なくとも１つの第２フレームは、複数の第１フレームのうちの少なくとも１つのフレームと同一である。

【0204】

これによれば、例えば、複数のフレームから第２フレームを決定する際に、第１フレームを除外する処理を行わなくてよいため、処理時間が短縮される。

【0205】

また、例えば、第１フレームと前記第２フレームとは、互いに異なる。

【0206】

これによれば、第２三次元モデルを生成する際に第１フレームには第２三次元モデルを投影しないため、第２三次元モデルの生成のための処理時間を短縮できる。

【0207】

また、実施の形態１に係る三次元モデル生成装置１００は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成部１４４と、少なくとも１つの第２フレームに第１三次元モデルを投影し、第１三次元モデルが投影されなかった未投影画素を特定する特定部１４２と、未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成部１４５と、を備える。

【0208】

これによれば、三次元モデル生成装置１００は、生成した三次元モデルの差分の三次元モデルを順次生成していくため、各三次元モデルで重なる箇所のモデルを生成しない。そのため、三次元モデル生成装置１００によれば、三次元モデルの生成の処理時間を短縮できる。

【0209】

（実施の形態２）
続いて、実施の形態２に係る三次元モデル生成装置について説明する。なお、実施の形態２の説明においては、実施の形態１と実質的に同一の構成については同一の符号を付し、説明を一部簡略化又は省略する場合がある。

【0210】

［構成］
まず、図１５を参照しながら、実施の形態２に係る三次元モデル生成装置の構成について説明する。

【0211】

図１５は、実施の形態２に係る三次元モデル生成装置１００ａの特徴的な構成を示すブロック図である。図１６は、実施の形態２に係る三次元モデル生成装置１００ａが備える生成部１４０ａの特徴的な構成を示すブロック図である。

【0212】

実施の形態２に係る三次元モデル生成システム４００ａは、カメラ群３００と、推定装置２００と、三次元モデル生成装置１００ａと、を備える。

【0213】

三次元モデル生成装置１００ａは、受信部１１０と、記憶部１２０と、取得部１３０と、生成部１４０ａと、出力部１５０と、を備える。

【0214】

生成部１４０ａは、フレームセット生成部１４１ａと、特定部１４２ａと、三次元モデル生成部１４３ａと、判定部１４６と、更新部１４７と、を備える。

【0215】

フレームセット生成部１４１ａは、複数のフレームのフレーム順を決定してフレームセットを生成する処理部である。ここで、フレームセット生成部１４１ａは、記憶部１２０に記憶されたフレーム順を維持したまま、つまり、カメラ３０１による撮影順序のままのフレームセットを生成する。

【0216】

特定部１４２ａは、フレームセット生成部１４１ａが生成したフレームセットの順番通りに、既三次元モデルに画像を投影する処理部である。特定部１４２ａは、少なくとも１つの第２フレームに第１三次元モデルを投影し、少なくとも１つの第２フレームにおいて、第１三次元モデルが投影された複数の投影画素を特定する。具体的には、特定部１４２ａは、第１三次元モデルを、第１フレームを除く複数のフレーム（より具体的には、フレームセット）に含まれるフレームである少なくとも１つの第２フレームに投影し、第１三次元モデルが投影された１以上の第２フレームの画素である投影画素、及び、１以上の第２フレームに投影された第１三次元モデルの画素を特定する。つまり、特定部１４２ａは、第１三次元モデルを投影したフレームについて、当該第１三次元モデルが投影された投影画素を特定する。また、特定部１４２ａは、フレームに投影された第１三次元モデルの画素（つまり、三次元点）を特定する。

【0217】

また、特定部１４２ａは、少なくとも１つの第２フレームにおいて、第１三次元モデルが投影されなかった複数の未投影画素を特定する。

【0218】

三次元モデル生成部１４３ａは、複数のフレームから三次元モデルを生成する処理部である。三次元モデル生成部１４３ａは、第１三次元モデル生成部１４４ａと、第２三次元モデル生成部１４５ａとを有する。

【0219】

第１三次元モデル生成部１４４ａは、複数の第１フレームから所定の領域の第１三次元モデルを生成する処理部である。具体的には、第１三次元モデル生成部１４４ａは、複数のフレームのうちのフレームである少なくとも２以上の第１フレームから被写体の第１三次元モデルを生成する。

【0220】

第２三次元モデル生成部１４５ａは、特定部１４２ａが特定した複数の未投影画素に基づいて第２三次元モデルを生成する処理部である。

【0221】

判定部１４６は、少なくとも１つの第２フレームが撮影された少なくとも１つの第２撮影位置が、複数の第１フレームが撮影された複数の第１撮影位置のいずれかよりも所定の領域に近いか否かを判定する処理部である。具体的には、判定部１４６は、特定部１４２ａが特定した投影画素を含む少なくとも１つの第２フレームが撮影されたカメラ３０１の位置が、特定部１４２ａが特定した画素であって第１三次元モデルの画素を生成するために用いられたフレームが撮影された際のカメラ３０１の位置よりも被写体に近いか否かを判定する。つまり、判定部１４６は、特定部１４２ａが投影したフレームにおける、既三次元モデルに投影された画素について、投影された画素に対応する既三次元モデルの画素を含むフレームと既三次元モデルが投影されたフレームとのそれぞれのフレームを撮影したカメラ３０１と被写体との距離が、いずれが近いかを判定する。

【0222】

更新部１４７は、少なくとも１つの第２撮影位置が複数の第１撮影位置のいずれかよりも所定の領域に近いと判定部１４６が判定した場合、特定部１４２ａが特定した複数の投影画素に基づいて、第１三次元モデルを更新する。具体的には、更新部１４７は、複数のフレームのそれぞれの画素のうち、三次元モデルの三次元点の位置が重なる画素については、判定部１４６により判定された、最も被写体と近いカメラ３０１が撮影したフレームの画素（つまり、第１三次元モデルが投影される前の画素値）を採用するように、第１三次元モデルを更新する。

【0223】

例えば、更新部１４７は、少なくとも１つの第２フレームが撮影されたカメラ３０１の位置が、第１三次元モデルの画素を生成するために用いられたフレームが撮影された際のカメラ３０１の位置よりも被写体に近いと判定部１４６が判定した場合、特定部１４２ａが特定した第１三次元モデルの画素を、特定部１４２ａが特定した少なくとも１つの第２フレームの投影画素に更新（言い換えると、変更）することで、新三次元モデルを生成する。つまり、更新部１４７は、既三次元モデルの画素を生成するために用いたフレームを撮影したカメラ３０１と、既三次元モデルが投影された画素を含むフレームを撮影したカメラ３０１とのうち、被写体に近い方のカメラ３０１が撮影したフレームの画素で新三次元モデルを生成する。

【0224】

例えば、特定部１４２ａは、既三次元モデルに、フレームセットのうちで未だ三次元モデルを投影していないフレームに投影し、当該フレームにおいて三次元モデルが投影された画素である投影画素を特定する。ここで、既三次元モデルは、第２三次元モデル生成部１４５ａが第２三次元モデルを生成していない場合には、第１三次元モデルである。また、既三次元モデルは、第２三次元モデル生成部１４５が第２三次元モデルを生成している場合には、第２三次元モデル生成部１４５が生成した第２三次元モデルである。

【0225】

特定部１４２ａ及び三次元モデル生成部１４３ａは、フレームセットの順序の通りに、三次元モデルをフレームに繰り返し投影することで、当該フレームにおいて既三次元モデルが投影された投影画素及び対応する既三次元モデルの画素を抽出し、抽出した画素について、既三次元モデルの画素を生成するために用いたフレームを撮影したカメラ３０１と、既三次元モデルが投影された投影画素を含むフレームを撮影したカメラ３０１とのうち、被写体に近い方のカメラ３０１が撮影したフレームの画素で新三次元モデルを生成する。

【0226】

［処理手順］
続いて、図１７及び図１８を参照しながら、実施の形態２に係る三次元モデル生成装置の処理手順について詳細に説明する。

【0227】

図１７は、実施の形態２に係る三次元モデル生成装置１００ａが実行する三次元モデルの生成処理を示すフローチャートである。

【0228】

まず、取得部１３０は、記憶部１２０からカメラ３０１の位置及び姿勢を示す情報と、カメラパラメータと、複数のフレームとを取得して生成部１４０ａに入力する（ステップＳ４０１）。具体的には、実施の形態１と同様に、まず、受信部１１０は、推定装置２００で推定したカメラ３０１の位置及び姿勢を示す情報と、カメラパラメータと、複数のフレームとを受信し、これらのデータを記憶部１２０に出力する。また、記憶部１２０は、受信部１１０が受信したカメラ３０１の位置及び姿勢を示す情報と、カメラパラメータと、複数のフレームとを記憶する。それから、取得部１３０は、ステップＳ４０１を実行する。

【0229】

次に、フレームセット生成部１４１ａは、カメラ３０１がフレームを撮影した順序となるフレーム順のフレームセットを生成する（ステップＳ４０２）。例えば、カメラ３０１は、撮影したフレームと、当該フレームを撮影した時刻を示す時刻情報とを紐づけて推定装置２００を介して三次元モデル生成装置１００ａへ送信する。フレームセット生成部１４１ａは、フレームごとに紐づけられた時刻情報に基づいて、カメラ３０１がフレームを撮影した順序となるフレーム順のフレームセットを生成する。

【0230】

次に、第１三次元モデル生成部１４４ａは、フレームセットから三次元モデル（第１三次元モデル）を生成する（ステップＳ４０３）。例えば、第１三次元モデル生成部１４４ａは、フレームセットのうちの任意の２つのフレーム（第１フレーム）を用いて、第１三次元モデルを生成する。

【0231】

次に、生成部１４０ａは、フレームセットに含まれるフレーム数以下の繰り返し処理を開始する（ステップＳ４０４）。具体的には、生成部１４０ａは、フレームセットに含まれる複数のフレームそれぞれについて、ステップＳ４０５～ステップＳ４０８の処理を繰り返し実行する。

【0232】

次に、特定部１４２ａは、既三次元モデルをフレームセットの中の少なくとも１つのフレーム（第２フレーム）に投影する（ステップＳ４０５）。

【0233】

次に、特定部１４２ａは、既三次元モデルを投影したフレームにおいて、既三次元モデルの三次元点が投影された画素を抽出する（ステップＳ４０６）。より具体的には、ステップＳ４０６では、特定部１４２ａは、既三次元モデルを、第１フレームを除くフレームセットに含まれるフレームである少なくとも１以上の第２フレームに投影し、既三次元モデルが投影された少なくとも１つの第２フレームの投影画素を特定する。

【0234】

次に、判定部１４６は、ステップＳ４０６で特定部１４２ａが特定した投影画素が、最近傍点であるか否かを判定する（ステップＳ４０７）。具体的には、判定部１４６は、少なくとも１つの第２フレームが撮影された少なくとも１つの第２撮影位置が、複数の第１フレームが撮影された複数の第１撮影位置のいずれかよりも所定の領域に近いか否かを判定する。より具体的には、判定部１４６は、ステップＳ４０６で特定部１４２ａが特定した抽出画素を含む第２フレームが撮影されたカメラ３０１の位置が、ステップＳ４０６で特定部１４２ａが特定した画素であって既三次元モデルの画素を生成するために用いられたフレームが撮影された際のカメラ３０１の位置よりも被写体に近いか否かを判定する。判定部１４６は、被写体に近い方のカメラ３０１により撮影されたフレームに含まれる画素を最近傍点と判定する。

【0235】

更新部１４７は、ステップＳ４０７で特定した第２フレームの投影画素が最近傍点であると判定部１４６が判定した場合（ステップＳ４０７でＹｅｓ）、つまり、少なくとも１つの第２撮影位置が複数の第１撮影位置のいずれかよりも所定の領域に近いと判定された場合、第１三次元モデルが投影される前の投影画素に基づいて既三次元モデルを更新する（ステップＳ４０８）。つまり、更新部１４７は、ステップＳ４０６で特定された既三次元モデルの画素を、ステップＳ４０６で特定された第２フレームの投影画素に既三次元モデルの画素を更新する。

【0236】

一方、更新部１４７は、ステップＳ４０７で特定した第２フレームの投影画素が最近傍点でないと判定部１４６が判定した場合（ステップＳ４０７でＮｏ）、既三次元モデルの画素を、当該第２フレームの投影画素に変更しない。つまり、更新部１４７は、既三次元モデルの画素を更新する処理をしない。

【0237】

次に、特定部１４２ａは、三次元モデルを投影した第２フレームにおいて、三次元モデル（具体的には、三次元モデルを構成する三次元点）が投影されなかった未投影画素を特定する（ステップＳ４０９）。

【0238】

次に、第２三次元モデル生成部１４５ａは、ステップＳ４０９で特定した未投影画素に基づいて、新たに新三次元モデル（第２三次元モデル）を生成する（ステップＳ４１０）。つまり、第２三次元モデル生成部１４５ａは、既三次元モデルに存在しない点からなる第２三次元モデルを生成する。

【0239】

次に、生成部１４０ａは、フレームセットの繰り返し処理を終了する（ステップＳ４１１）。

【0240】

次に、出力部１５０は、第１三次元モデル及び第２三次元モデルを統合して出力する（ステップＳ４１２）。

【0241】

なお、判定部１４６が、ステップＳ４０７の判定をするために、既三次元モデルを生成するために用いられたフレームにカメラ３０１と三次元点との距離を示す情報が保持されていてもよいし、既三次元モデルの各三次元点（画素）に、各画素が含まれていたフレームが撮影されたカメラ３０１のＩＤ、つまり、当該フレームが撮影された際のカメラ３０１と被写体との距離を示す情報が保持されていてもよい。

【0242】

図１８は、実施の形態２に係る三次元モデル生成装置１００ａが備える更新部１４７が実行する処理におけるフレームの処理位置を説明するための図である。なお、図１８には、時刻ｔ＋１及び時刻ｔ＋２での画素の置き換え範囲、つまり、フレームにおいて既三次元モデルが投影された画素位置を、ハッチングを付して示している。

【0243】

また、図１８に示す例では、時刻ｔ＋２のフレーム、時刻ｔ＋１のフレーム、及び、時刻ｔのフレームは、この順に被写体からの距離が近いとする。

【0244】

まず、図１８の（ａ）に示すように、例えば、時刻ｔにおけるフレームについて、全ての箇所で既三次元モデルが投影されなかったとする。この場合、第２三次元モデル生成部１４５ａは、時刻ｔにおけるフレームの全ての画素について、第２三次元モデルを生成する。

【0245】

また、図１８の（ｂ）に示すように、例えば、時刻ｔ＋１におけるフレームについて、ハッチングで示す箇所（本例では、時刻ｔ＋１のフレームの全て）で既三次元モデルが投影されたとする。具体的には、図１８の（ｂ）におけるハッチング部分が図１８の（ａ）に示す時刻ｔのフレームにより生成された第２三次元モデルを含む既三次元モデルが投影された画素位置であるとする。この場合、更新部１４７は、既三次元モデルが投影された時刻ｔのフレームを用いて生成（更新）された既三次元モデルの三次元点（画素）を、時刻ｔ＋１のフレームの画素で置き換える、つまり、更新する。

【0246】

また、図１８の（ｃ）に示すように、例えば、時刻ｔ＋２におけるフレームについて、ハッチングで示す箇所（本例では、時刻ｔ＋２のフレームの全て）で既三次元モデルが投影されたとする。具体的には、図１８の（ｃ）におけるハッチング部分が、図１８の（ｂ）に示す時刻ｔ＋１のフレームにより更新された既三次元モデルが投影された画素位置（本例では、時刻ｔ＋２のフレームの全て）であるとする。この場合、更新部１４７は、既三次元モデルの三次元点（画素）を、時刻ｔ＋２のフレームの画素で置き換える。

【0247】

このように、例えば、更新部１４７は、フレームを撮影したカメラ３０１の位置に基づいて、既三次元モデルの画素を適宜更新。例えば、更新部１４７は、カメラ光軸方向（言い換えると、基準軸の正方向）にカメラ３０１が進んでシーン（被写体）を撮影する場合、投影された点全てを現処理フレームで生成した新三次元モデルで既三次元モデルの画素を置き換える。

【0248】

［効果等］
以上、実施の形態２に係る三次元モデル生成方法は、複数の第１フレームから所定の領域の第１三次元モデルを生成する第１三次元モデル生成ステップ（ステップＳ４０３）と、少なくとも１つの第２フレームに第１三次元モデルを投影（ステップＳ４０４）し、少なくとも１つの第２フレームにおいて、第１三次元モデルが投影された複数の投影画素を特定する特定ステップ（ステップＳ４０６）と、少なくとも１つの第２フレームが撮影された少なくとも１つの第２撮影位置が、複数の第１フレームが撮影された複数の第１撮影位置のいずれかよりも所定の領域に近いか否かを判定する判定ステップ（ステップＳ４０７）と、少なくとも１つの第２撮影位置が複数の第１撮影位置のいずれかよりも所定の領域に近いと判定された場合（ステップＳ４０７でＹｅｓ）、第１三次元モデルが投影される前の複数の投影画素に基づいて、第１三次元モデルを更新する更新ステップ（ステップＳ４０８）と、を含む。

【0249】

これによれば、カメラ３０１に撮影されたフレームを撮影された時系列に沿った順で用いて、三次元モデルを生成する。そのため、撮影順にフレームを処理することで、フレーム順を並べ替えたフレームセットを生成しないために短時間で三次元モデルを生成できる。また、一度生成した新三次元モデルにおいてもフレームに投影された画素については当該フレームと比較して、精度の高い画素（つまり、所定の領域との距離がより近いカメラ３０１により撮影されたフレームの画素）を採用した新三次元モデルを生成できる。これによれば、高精度な三次元モデルを生成できる。

【0250】

また、例えば、特定ステップは、少なくとも１つの第２フレームにおいて、第１三次元モデルが投影されなかった複数の未投影画素を特定する（ステップＳ４０９）。また、例えば、実施の形態２に係る三次元モデル生成方法は、複数の未投影画素に基づいて第２三次元モデルを生成する第２三次元モデル生成ステップ（ステップＳ４１０）をさらに含む。

【0251】

これによれば、第１三次元モデルに存在しない画素である未投影画素を用いた第２三次元モデルを生成できる。

【0252】

（その他の実施の形態）
以上、本開示に係る三次元モデル生成方法等について、上記各実施の形態１及び実施の形態２に基づいて説明したが、本開示は、上記各実施の形態１及び実施の形態２に限定されるものではない。

【0253】

例えば、上記実施の形態では、三次元モデル生成装置等が備える生成部１４０等の処理部は、ＣＰＵと制御プログラムとによって実現されると説明した。例えば、当該処理部の構成要素は、それぞれ１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、又は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、又は、ＵＬＳＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）も同じ目的で使うことができる。

【0254】

また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、又は、コンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0255】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

【産業上の利用可能性】

【0256】

本開示は、三次元モデル生成装置又は三次元モデル生成システムに適用でき、例えば、フィギュア作成、地形若しくは建物の構造認識、人物の行動認識、又は、自由視点映像の生成等に適用できる。

【符号の説明】

【0257】

１００、１００ａ 三次元モデル生成装置
１１０ 受信部
１２０ 記憶部
１３０ 取得部
１４０、１４０ａ 生成部
１４１、１４１ａ フレームセット生成部
１４２、１４２ａ 特定部
１４３、１４３ａ 三次元モデル生成部
１４４、１４４ａ 第１三次元モデル生成部
１４５、１４５ａ 第２三次元モデル生成部
１４６ 判定部
１４７ 更新部
１５０ 出力部
２００ 推定装置
３００ カメラ群
３０１ カメラ
４００、４００ａ 三次元モデル生成システム
５００、５００Ａ 被写体
５０１ 参照フレーム
５０２ 可視フレーム
５０３ 特徴点

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】