特許 7626958 ３次元再構成装置、３次元再構成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-28

(45)【発行日】2025-02-05

(54)【発明の名称】３次元再構成装置、３次元再構成方法、及びプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20250129BHJP

   G06T 7/00 20170101ALI20250129BHJP

【ＦＩ】

G06T15/20 500

G06T7/00 350C

【請求項の数】 6

(21)【出願番号】P 2023556075

(86)(22)【出願日】2021-10-29

(86)【国際出願番号】 JP2021040164

(87)【国際公開番号】W WO2023073971

(87)【国際公開日】2023-05-04

【審査請求日】2024-01-29

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100164471

【弁理士】

【氏名又は名称】岡野 大和

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】田端 みずき

(72)【発明者】

【氏名】玉松 潤一郎

(72)【発明者】

【氏名】田中 亮

(72)【発明者】

【氏名】竹内 陽祐

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１７／２０３７０９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０３０２６８６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／２０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

屋内空間の３次元再構成を行う３次元再構成装置であって、
対象とする屋内空間のパノラマ画像と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標と、を入力する入力部と、
前記パノラマ画像から画像特徴量を抽出する画像符号化部と、
前記補間された３次元座標から３次元形状特徴量を抽出する形状符号化部と、
前記画像特徴量と、前記３次元形状特徴量と、を連結した特徴量を生成する連結演算部と、
前記連結した特徴量を復号することにより、境界の画像座標を生成する画像座標復号部と、
前記境界の画像座標を基に前記屋内空間の３次元再構成を行う３次元再構成部と、
を備える３次元再構成装置。

【請求項2】

前記画像符号化部は、
前記パノラマ画像からHorizonNetを使用して、画像特徴量を抽出する、請求項１に記載の３次元再構成装置。

【請求項3】

前記形状符号化部は、
PointNetを使用して、前記補間された３次元座標から３次元形状特徴量を抽出する、請求項１又は２に記載の３次元再構成装置。

【請求項4】

前記画像座標復号部は、
前記連結した特徴量をHorizonNetを使用して復号する、請求項１から３のいずれか一項に記載の３次元再構成装置。

【請求項5】

屋内空間の３次元再構成を行う３次元再構成方法であって、
３次元再構成装置により、
対象とする屋内空間のパノラマ画像と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標と、を入力するステップと、
前記パノラマ画像から画像特徴量を抽出するステップと、
前記補間された３次元座標から３次元形状特徴量を抽出するステップと、
前記画像特徴量と、前記３次元形状特徴量と、を連結した特徴量を生成するステップと、
前記連結した特徴量を復号することにより、境界の画像座標を生成するステップと、
前記境界の画像座標を基に前記屋内空間の３次元再構成を行うステップと、
を含む３次元再構成方法。

【請求項6】

コンピュータを、請求項１から４のいずれか一項に記載の３次元再構成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、屋内空間の３次元再構成を行う３次元再構成装置、３次元再構成方法、及びプログラムに関する。

【背景技術】

【0002】

従来、部屋などの屋内空間が撮影されたパノラマ画像から３次元再構成を行う技術には、ディープニューラルネットワーク（Deep Neural Network）を使用したHorizonNet等がある。３次元再構成とは、立体である物体の投影画像、もしくは、平面画像から元の３次元構造を再構築することをいう。ニューラルネットワーク（Neural Network）とは、人間の脳内にある神経細胞（ニューロン）とそのつながり、つまり神経回路網を模式化した数理モデルをコンピュータ上に再現し、機械学習等の操作に応用したものをいう。ニューラルネットワークは、入力層、１つ以上の隠れ層（中間層）、出力層という多層ネットワークを構成する。また、ディープニューラルネットワーク（Deep Neural Network ）とは、ニューラルネットワークをディープラーニング（深層学習）に対応させて、ネットワークの階層を４層以上に深くしたものを指す。非特許文献１には、HorizonNetを用いて１枚のパノラマ画像から３次元の部屋のレイアウトを推定する手法が記載されている。図５は、非特許文献１に開示された写真を引用している。図５に示すように、HorizonNet等の既存技術は、入力情報としてパノラマ画像２１のみを使用し、壁面の隅角部及び境界を画像のみから学習する。そして、境界Ｂを検出し、３次元座標を推定することにより、３次元再構成２３を行っている。また、非特許文献２には、計測した点群を直接入力できるディープニューラルネットワークであるPointNetの概要が記載されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Cheng Sun、他３名、「HorizonNet: Learning Room Layout with 1D Representation and Pano Stretch Data Augmentation」、［ｏｎｌｉｎｅ］、［２０２１年１０月６日検索］、インターネット＜ＵＲＬ：https://openaccess.thecvf.com/content_CVPR_2019/papers/Sun_HorizonNet_Learning_Room_Layout_With_1D_Representation_and_Pano_Stretch_CVPR_2019_paper.pdf＞

【文献】Charles R. Qi、他３名、「PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation」、［ｏｎｌｉｎｅ］、［２０２１年１０月６日検索］、インターネット＜ＵＲＬ：https://openaccess.thecvf.com/content_cvpr_2017/papers/Qi_PointNet_Deep_Learning_CVPR_2017_paper.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来のパノラマ画像のみを使用した境界検出は、画像特徴量（エッジ、コーナー等）に基づいており、屋内空間中に存在する多数の物体が境界を遮蔽している場合、画像特徴量から境界検出が困難な屋内空間も多く存在する。かかる屋内空間に対して従来技術を適用すると、境界検出精度が下がるため３次元画像の再構成精度が低下するという課題があった。

【0005】

かかる事情に鑑みてなされた本発明の目的は、屋内空間中に多数の物体が存在する等、画像特徴量からの境界検出が困難な場合であっても、高精度な屋内空間の３次元再構成を可能とすることにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、一実施形態に係る３次元再構成装置は、屋内空間の３次元再構成を行う３次元再構成装置であって、対象とする屋内空間のパノラマ画像と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標と、を入力する入力部と、前記パノラマ画像から画像特徴量を抽出する画像符号化部と、前記補間された３次元座標から３次元形状特徴量を抽出する形状符号化部と、前記画像特徴量と、前記３次元形状特徴量と、を連結した特徴量を生成する連結演算部と、前記連結した特徴量を復号することにより、境界の画像座標を生成する画像座標復号部と、前記境界の画像座標を基に前記屋内空間の３次元再構成を行う３次元再構成部と、を備える。

【0007】

上記課題を解決するため、一実施形態に係る３次元再構成方法は、屋内空間の３次元再構成を行う３次元再構成方法であって、３次元再構成装置により、対象とする屋内空間のパノラマ画像と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標と、を入力するステップと、前記パノラマ画像から画像特徴量を抽出するステップと、前記補間された３次元座標から３次元形状特徴量を抽出するステップと、前記画像特徴量と、前記３次元形状特徴量と、を連結した特徴量を生成するステップと、前記連結した特徴量を復号することにより、境界の画像座標を生成するステップと、前記境界の画像座標を基に前記屋内空間の３次元再構成を行うステップと、を含む。

【0008】

上記課題を解決するため、一実施形態に係るプログラムは、コンピュータを、上記３次元再構成装置として機能させる。

【発明の効果】

【0009】

本開示によれば、屋内空間中に多数の物体が存在する等、画像特徴量からの境界検出が困難な空間に対しても、パノラマ画像と、点群等３次元座標とを併用することにより、高精度な境界検出を実現することが可能となるため、高精度な屋内空間の３次元再構成が可能となる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る３次元再構成装置の構成例を示すブロック図である。

【図2】一実施形態に係る３次元再構成装置が実行する３次元再構成方法の一例を示すフローチャートである。

【図3】形状符号化部が３次元形状特徴量を抽出する手順を説明するフローチャートである。

【図4】３次元再構成装置として機能するコンピュータの概略構成を示すブロック図である。

【図5】パノラマ画像から３次元再構成を行う従来の手順を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

【0012】

図１は、一実施形態に係る３次元再構成装置の構成例を示すブロック図である。図１に示す３次元再構成装置１は、入力部１１と、画像符号化部１２と、形状符号化部１３と、連結演算部１４と、画像座標復号部１５と、３次元再構成部１６と、を備える。３次元再構成装置１は、屋内空間の３次元再構成を行う。

【0013】

本実施形態では、屋内空間のパノラマ画像２１と該屋内空間の図面とを併用することにより、十分な画像特徴量ａを得ることが困難な空間に対しても、高精度な境界検出を実現する。このため、予め屋内空間のパノラマ画像２１を１枚と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標２２（任意の点を原点とする）とを入力データとして用意することが必要である。

【0014】

入力部１１は、対象とする屋内空間のパノラマ画像２１と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標２２と、を入力する。入力部１１は、パノラマ画像１枚と、対応する３次元座標２２（屋内空間の図面に記載されている寸法から取得する。任意の点を原点とする）とを入力する必要がある。入力部１１は、対象とする屋内空間のパノラマ画像２１を画像符号化部１２へ出力し、補間された３次元座標２２を形状符号化部１３へ出力する。

【0015】

画像符号化部１２は、パノラマ画像２１から行列で表される画像特徴量ａを抽出する。画像符号化部１２は、パノラマ画像２１からHorizonNetを使用して、画像特徴量ａを抽出してもよい。画像符号化部１２は、画像特徴量ａを連結演算部１４へ出力する。

【0016】

HorizonNetは、１枚のパノラマ画像から３次元の部屋のレイアウトを推定する課題に対応するニューラルネットワークである。HorizonNetの特徴抽出器は、1枚のパノラマ画像２１を入力し、行列で表される複数の特徴量を抽出する。次に、複数の特徴量が連結された特徴マップ（feature map）を入力して学習し、床と壁，天井と壁の境界位置，および壁と壁の境界を表す境界の画像座標を生成する。そして、後処理を施し、３次元の部屋のレイアウトが境界の画像座標から再構成される。

【0017】

形状符号化部１３は、補間された３次元座標２２から行列で表される３次元形状特徴量ｂを抽出する。形状符号化部１３は、PointNetを使用して、補間された３次元座標２２から３次元形状特徴量ｂを抽出してもよい。形状符号化部１３は、３次元形状特徴量ｂを連結演算部１４へ出力する。なお、形状符号化部１３が３次元形状特徴量ｂを抽出する手順については、図３を参考として後述する。

【0018】

連結演算部１４は、それぞれの行列で表される、パノラマ画像２１から抽出した画像特徴量ａと、補間された３次元座標２２から抽出した３次元形状特徴量ｂと、を連結した特徴量ｃを生成する。連結演算部１４は、連結した特徴量ｃを画像座標復号部１５へ出力する。

【0019】

画像座標復号部１５は、連結した特徴量ｃを復号することにより、境界の画像座標ｄを生成する。画像座標復号部１５は、連結した特徴量ｃをHorizonNetを使用して復号してもよい。

【0020】

３次元再構成部１６は、境界の画像座標ｄを基に屋内空間の３次元再構成を行う。

【0021】

図２は、一実施形態に係る３次元再構成装置が実行する３次元再構成方法の一例を示すフローチャートである。
＜ステップＳ０１＞

【0022】

ステップＳ０１では、入力部１１が、パノラマ画像２１を入力する。本ステップを実行する前に予め用意されたパノラマ画像２１は、画像の垂直方向を天頂方向に一致させたものとする。
＜ステップＳ０２＞

【0023】

ステップＳ０２では、入力部１１が、パノラマ画像２１の撮影対象の隅角部間を繋ぐように補間された３次元座標２２を入力する。本ステップを実行する前に予め、パノラマ画像２１の撮影対象の３次元座標（座標系の原点を任意の隅角部1点に設定することによって得られる隅角部の３次元座標である。）を用意する。該３次元座標の隅角部間を繋ぐように補間されたものが３次元座標２２である。補間を行う前の３次元座標は、隅角部のみを点群とする各々の点の３次元座標を有するが、３次元座標２２は、隅角部と、隅角部間を繋ぐように補間する線の部分とを点群とする各々の点の３次元座標をも有している。
＜ステップＳ０３＞

【0024】

ステップＳ０３では、画像符号化部１２が、パノラマ画像２１から行列で表される画像特徴量ａを抽出する。画像特徴量ａの抽出には、上述のHorizonNet等を使用してもよい。
＜ステップＳ０４＞

【0025】

ステップＳ０４では、形状符号化部１３が、３次元座標２２から行列で表される３次元形状特徴量ｂを抽出する。形状符号化部１３は、PointNetを使用して、３次元座標２２から３次元形状特徴量ｂを抽出してもよい。PointNetは、計測した点群を直接入力できるディープニューラルネットワークである。図３は、形状符号化部１３がPointNetを使用して３次元形状特徴量を抽出する手順を説明するフローチャートである。形状符号化部１３が３次元形状特徴量を抽出する手順を、ステップＳ０４１～ステップＳ０４４に分けて以下に説明する。

【0026】

ステップＳ０４１では、T-netが、点群を入力し、３×３アフィン変換行列を出力する。点群は、３次元の点の集合{Pi| i = 1, ..., n}として表現され、各点Piは、（ｘ，ｙ，ｚ）座標を有する。T-netとは、点群を入力し、アフィン変換行列を出力するネットワークである。アフィン変換とは、画像の拡大縮小、回転、並進等をまとめて行列を使って行うことをいう。図３に示すようにT-netの内部構造は、形状符号化部１３と同様の構造を有する。

【0027】

ステップＳ０４２では、行列乗算器が、入力点群にT-netが出力したアフィン変換行列を乗じる操作（Matrix multiply）を行う。この結果、ｎ×３の行列が得られる。この操作により、点群の並進・回転による影響をなくすことが可能となる。

【0028】

上述したように、ニューラルネットワークとは、人間の脳内にある神経細胞（ニューロン）とそのつながり、つまり神経回路網を模式化した数理モデルをコンピュータ上に再現し、機械学習などの操作に応用したものをいう。「パーセプトロン」とは、ニューラルネットワークを構成する最小単位であり、複数の入力に対して1つの値を出力する関数のことをいう。「パーセプトロン」は 、ｎ個の入力信号に対し１個の信号を出力する関数であり、以下の式（１）で表される。式（１）中、ｙは出力信号、関数ｆ（）は「活性化関数」、ｘ_ｉはｉ番目の入力信号（ｉ＝０，１，－－－，ｎ－１）、ｗ_ｉはｉ番目の入力信号に掛けられる重みを表す変数、ｂはバイアスと呼ぶ変数である。

y ＝ f (w₀ * x₀ + --- + w_n-1 * x_n-1+ b ) （１）

【0029】

ステップＳ０４３では、ステップＳ０４２で得られたｎ×３の行列を多層パーセプトロン（図３では、多層パーセプトロンをｍｌｐと記載している。）に入力する。図３に示す「ｍｌｐ（６４，１２８，２５６）」は、出力サイズ６４、１２８、２５６の多層パーセプトロンである。多層パーセプトロンは、例えば、全結合層と活性化関数とを接続して構成される。全結合層は、複数のノード（ニューロンをモデル化したものをいう）から、あるノードへの複数の数値の入力を、線形変換処理によって1つの数値にまとめる。活性化関数は、あるノードから次のノードへと出力する際に、入力値を別の数値に非線形変換して出力する関数である。本実施例では、ＲｅＬＵが活性化関数として使用される。ＲｅＬＵ（Rectified Linear Unit）とは、関数への入力値が０以下の場合には出力値が常に０、入力値が０より上の場合には出力値が入力値と同じ値となる関数をいう。

【0030】

ステップＳ０４４では、Max Poolingによって３次元形状特徴量を得る。Max Poolingとは、各範囲の出力値の中から最大値を選択して圧縮することをいう。この操作により、点群の各々の点の順番による影響をなくすことが可能となる。
＜ステップＳ０５＞

【0031】

ステップＳ０５では、連結演算部１４が、画像特徴量ａと３次元形状特徴量ｂとを連結し、連結した特徴量ｃを生成する。特徴量を連結する方法には、単純に行列を結合する方法、行列同士の要素和、要素積、双線形モデル（bilinear model）とする方法等がある。
＜ステップＳ０６＞

【0032】

ステップＳ０６では、画像座標復号部１５が、連結した特徴量ｃを復号することにより、境界の画像座標ｄを生成する。連結した特徴量ｃの復号には、HorizonNetの復号器等を使用してもよい。
＜ステップＳ０７＞

【0033】

ステップＳ０７では、３次元再構成部１６が、復号した境界の画像座標ｄを基に、３次元再構成を行う。３次元再構成部１６は、マンハッタンワールド仮説に基づき主成分分析により壁面を決定する処理等を行う。マンハッタンワールド仮説(Manhattan World Assumption)とは、３次元空間における天井、壁等の人工物には、互いに直交する支配的な３軸が存在し、人工物を構成する天井、壁等の面は、３軸に垂直又は平行に配置されているとする仮設である。

【0034】

上述のように、十分な画像特徴量ａを得ることが困難な屋内空間に対しても高精度な境界検出を実現するという本発明の目的を達成するため、該屋内空間のパノラマ画像２１と、該屋内空間の図面とを併用した。

【0035】

本開示において、図面を併用して高精度な境界検出を実現するために実施したことは、（ｉ）図面に記載されているパノラマ画像２１の撮影対象の隅角部間を補間された３次元座標２２を入力データとして用意したこと、（ｉｉ）３次元座標２２から３次元形状特徴量（点群特徴量）ｂを抽出する形状符号化部１３を加えたこと、及び（ｉｉｉ）画像特徴量ａと３次元形状特徴量ｂとを連結した特徴量ｃを復号することにより、３次元情報を加味した境界推定を行ったこと、である。上記実施により、画像特徴量ａに加え３次元形状特徴量ｂをも加味した境界検出が可能となり、３次元再構成精度が向上する。

【0036】

パノラマ画像２１に加えて、図面等に記載されている３次元情報を活用すると、図面情報により即した境界検出が可能となる。また、高精度な境界検出が実現できると、高精度な３次元再構成が可能となる。さらに、高精度な３次元再構成により、画像の再投影誤差を小さくすることができるため、視認性の向上につながる。

【0037】

また、パノラマ画像２１に構造物の点検画像を用いると、劣化情報を含んだ３次元データが得られるため、構造計算を行い定量的な健全性評価が可能となる。

【0038】

したがって、本開示に係る３次元画像再構成装置１によれば、屋内空間中に多数の物体が存在する等、画像特徴量ａからの境界検出が困難な空間に対しても、パノラマ画像２１と、点群等の３次元座標２２とを併用することにより、高精度な境界検出を実現することが可能となるため、高精度な３次元再構成が可能となる。

【0039】

より具体的には、本開示に係る３次元画像再構成装置１によれば、（ｉ）従来のパノラマ画像からの３次元再構成技術では、画像特徴量に再構成精度が依存していたが、本開示では、パノラマ画像と、点群等の３次元座標を併用することで、十分な画像特徴量を得ることが困難な空間に対しても、境界検出の高精度化を実現することが可能となり、（ｉｉ）パノラマ画像取得時のカメラ位置姿勢を必要としない高精度な壁面同士の境界検出が可能となり、（ｉｉｉ）収容物で壁面が遮蔽されている屋内空間に対しても高精度な３次元画像の再構成が可能となる、等の効果が得られる。

【0040】

上記の３次元再構成装置１における入力部１１、画像符号化部１２、形状符号化部１３、連結演算部１４、画像座標復号部１５及び３次元再構成部１６は、制御装置（コントローラ）の一部を構成する。該制御装置は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。

【0041】

上記の３次元再構成装置１を機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。図４は、３次元再構成装置として機能するコンピュータの概略構成を示すブロック図である。ここで、３次元再構成装置１として機能するコンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッド等であってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメント等であってもよい。

【0042】

図４に示すように、コンピュータ１００は、プロセッサ１１０と、記憶部としてＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、及びストレージ１４０と、入力部１５０と、出力部１６０と、通信インターフェース（Ｉ／Ｆ）１７０と、を備える。各構成は、バス１８０を介して相互に通信可能に接続されている。

【0043】

ＲＯＭ１２０は、各種プログラム及び各種データを保存する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive)又はＳＳＤ(Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを保存する。本開示では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが保存されている。

【0044】

プロセッサ１１０は、具体的にはＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）等であり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。

【0045】

プログラムは、３次元再構成装置１が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、３次元再構成装置１にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0046】

以上の実施形態に関し、更に以下の付記を開示する。

【0047】

（付記項１）
屋内空間の３次元再構成を行う３次元再構成装置であって、
メモリと、
前記メモリに接続されたコントローラと、
を備え、
前記コントローラは、
対象とする屋内空間のパノラマ画像と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標と、を入力し、
前記パノラマ画像から画像特徴量を抽出し、
前記補間された３次元座標から３次元形状特徴量を抽出し、
前記画像特徴量と、前記３次元形状特徴量と、を連結した特徴量を生成し、
前記連結した特徴量を復号することにより、境界の画像座標を生成し、
前記境界の画像座標を基に前記屋内空間の３次元再構成を行う、３次元再構成装置。
（付記項２）
前記コントローラは、
前記パノラマ画像からHorizonNetを使用して、画像特徴量を抽出する、付記項１に記載の３次元再構成装置。
（付記項３）
前記コントローラは、
PointNetを使用して、前記補間された３次元座標から３次元形状特徴量を抽出する、付記項１又は２に記載の３次元再構成装置。
（付記項４）
前記コントローラは、
前記連結した特徴量をHorizonNetを使用して復号する、付記項１から３のいずれか一項に記載の３次元再構成装置。
（付記項５）
屋内空間の３次元再構成を行う３次元再構成方法であって、
３次元再構成装置により、
対象とする屋内空間のパノラマ画像と、該屋内空間の図面に記載されている撮影対象の隅角部間を繋ぐように補間された３次元座標と、を入力するステップと、
前記パノラマ画像から画像特徴量を抽出するステップと、
前記補間された３次元座標から３次元形状特徴量を抽出するステップと、
前記画像特徴量と、前記３次元形状特徴量と、を連結した特徴量を生成するステップと、
前記連結した特徴量を復号することにより、境界の画像座標を生成するステップと、
前記境界の画像座標を基に前記屋内空間の３次元再構成を行うステップと、
を含む３次元再構成方法。
（付記項６）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から４のいずれか一項に記載の３次元再構成装置として機能させるプログラムを記憶した非一時的記憶媒体。

【0048】

上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。たとえば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0049】

１ ３次元再構成装置
１１ 入力部
１２ 画像符号化部
１３ 形状符号化部
１４ 連結演算部
１５ 画像座標復号部
１６ ３次元再構成部
２１ パノラマ画像
２２ ３次元座標（補間された３次元座標）
２３ ３次元再構成
１００ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース（Ｉ／Ｆ）
１８０ バス

【図1】

【図2】

【図3】

【図4】

【図5】