(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-04
(45)【発行日】2024-06-12
(54)【発明の名称】建築物のレイアウトの決定
(51)【国際特許分類】
G06F 30/13 20200101AFI20240605BHJP
G06F 30/10 20200101ALI20240605BHJP
【ＦＩ】
G06F30/13
G06F30/10 100
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2023040561
(22)【出願日】2023-03-15
(62)【分割の表示】P 2018089986の分割
【原出願日】2018-05-08
(65)【公開番号】P2023072058
(43)【公開日】2023-05-23
【審査請求日】2023-04-14
(31)【優先権主張番号】17305523.7
(32)【優先日】2017-05-09
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】500102435
【氏名又は名称】ダッソー システムズ
【氏名又は名称原語表記】ＤＡＳＳＡＵＬＴ ＳＹＳＴＥＭＥＳ
(74)【代理人】
【識別番号】110000752
【氏名又は名称】弁理士法人朝日特許事務所
(72)【発明者】
【氏名】イーライ メア
(72)【発明者】
【氏名】アディール バージ
【審査官】松浦 功
(56)【参考文献】
【文献】特表２０１２－５３０３２３（ＪＰ，Ａ）
【文献】特表２００６－５１３５０２（ＪＰ，Ａ）
【文献】SUI, W. et al.，Layer-Wise Floorplan Extraction for Automatic Urban Building Reconstruction，IEEE Transactions on Visualization and Computer Graphics [online]，IEEE，2016年03月，Vol. 22, No. 3，pp. 1261 - 1277，[検索日 2022.02.18], インターネット，ＵＲＬ：https://ieeexplore.ieee.org/document/7346513
【文献】LAI, K. et al.，Detection-based object labeling in 3D scenes，2012 IEEE International Conference on Robotics and Automation [online]，IEEE，2012年05月，pp. 1330 - 1337，[検索日 2022.02.18], インターネット，ＵＲＬ：https://ieeexplore.ieee.org/document/6225316
【文献】吉田智晴 外２名，角転送行列法を用いた格子状マルコフ確率場の厳密計算，電子情報通信学会技術研究報告，一般社団法人電子情報通信学会，Ｖｏｌ．１１６，Ｎｏ．５００，ｐｐ．９－１６
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３０／００ －３０／２８
Ｇ０６Ｔ ７／００ － ７／９０
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
建築物のレイアウトを決定するための、コンピュータによって実施される方法であって、壁のサイクルの平断面を表す点のサイクル（
【数35】
与えられた各法線ベクトル（ｎｉ）について、当該法線ベクトル（ｎｉ）と所定の閾値よりも小さい角度を形成する他の法線ベクトル（ｎｊ）の個数をカウントし、当該個数が最大の法線ベクトルをＮ０と表す、カウントすることと、
それぞれが前記レイアウトに垂直な方向（Ｎｋ）を表す第２のデータの集合（
【数36】
【数37】
【数38】
【数39】
【数40】
【数41】
【数42】
【数43】
【数44】
【数45】
同じ第２のデータム（Ｎｋ）が割り当てられた連続する点の極大集合を識別すること（Ｓ７０）と、
前記建築物のレイアウトを表すセグメントのサイクルを境界付ける頂点のサイクル（
【数46】
を含むことを特徴とする方法。
【請求項2】
前記ＭＲＦエネルギーの最小化は厳密最小化であることを特徴とする請求項１に記載の方法。
【請求項3】
前記ＭＲＦエネルギーの最小化は、１つまたは複数の確率伝搬法により行われることを特徴とする請求項１または２に記載の方法。
【請求項4】
前記第１のデータムのそれぞれおよび前記第２のデータはベクトルであり、割り当てられた第２のデータムＮｋによって表される方向と、割り当てられた第１のデータムｎｉのそれぞれによって表される方向との間の前記角距離は【数47】
【数48】
【数49】
ことを特徴とする請求項１、２および３のいずれか一項に記載の方法。
【請求項5】
前記ＭＲＦエネルギーは、【数50】
【数51】
【数52】
【数53】
【数54】
【数55】
λは、正の数である
ことを特徴とする請求項４に記載の方法。
【請求項6】
各頂点（ｙｊ）は、それぞれの第１の点（ｘｉ）および第２の点（ｘｉ＋１）に対応し、前記各第１の点（ｘｉ）は、その頂点（ｙｊ）によって境界付けられたセグメントに対応する前記極大集合の終点であり、前記各第２の点（ｘｉ＋１）は、その頂点（ｙｊ）によって境界付けられた他のセグメントに対応する前記極大集合の始点であり、前記各頂点（ｙｊ）の決定は、前記各第１の点および前記各第２の点の関数として各頂点（ｙｊ）の初期位置（
【数56】
前記初期位置を最適化すること（Ｓ８４）とを含む
ことを特徴とする請求項１～５のいずれか１つに記載の方法。
【請求項7】
前記各第１の点および前記各第２の点の前記関数は平均値関数であることを特徴とする請求項６に記載の方法。
【請求項8】
前記最適化は、各セグメントについて、そのセグメントの長さの初期値（【数57】
【数58】
【数59】
【数60】
ことを特徴とする請求項６または７に記載の方法。
【請求項9】
前記点のサイクルは、投影平面上の前記壁のサイクルを表す３Ｄ点群の投影に対応する２Ｄ点群の凹包であり、前記投影平面は前記平断面に対応する
ことを特徴とする請求項１～８のいずれか１つに記載の方法。
【請求項10】
前記投影平面は床平面を表し、かつ／あるいは、前記投影は垂直投影であることを特徴とする請求項９に記載の方法。
【請求項11】
前記点のサイクルの前記提供は、前記壁のサイクルを含む部屋を表す３Ｄ点群を提供すること（Ｓ１２～Ｓ１４）と、
前記部屋を表す前記３Ｄ点群から前記投影平面および前記壁のサイクルを表す３Ｄ点群を識別すること（Ｓ２２～Ｓ２４）と、
前記投影平面上に前記壁のサイクルを表す前記３Ｄ点群を投影すること（Ｓ３０）と、
前記２Ｄ点群を決定すること（Ｓ４２～Ｓ４６）と、
前記凹包を決定すること（Ｓ５２）とを含む
ことを特徴とする請求項９または１０に記載の方法。
【請求項12】
前記投影平面および前記壁のサイクルを表す前記３Ｄ点群の前記識別は、ランダム・サンプル・コンセンサス・アルゴリズムを用いて前記部屋を表す前記３Ｄ点群の中から平面を検出すること（Ｓ２２）を含むことを特徴とする請求項１１に記載の方法。
【請求項13】
前記２Ｄ点群の前記決定は、検出された各平面について、前記平面の投影の結果を前記結果の線形回帰に投影すること（Ｓ４４）を含むことを特徴とする請求項１２に記載の方法。
【請求項14】
コンピュータに、請求項１～１３のいずれか１つに記載の方法を実行させるための命令を含むことを特徴とするコンピュータプログラム。
【請求項15】
請求項１４に記載のコンピュータプログラムを記憶したコンピュータ読み取り可能媒体、および前記コンピュータ読み取り可能媒体に接続され前記コンピュータプログラムを実行するプロセッサを備えることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータプログラムおよび及びシステムの分野に関し、より具体的には
、建築物のレイアウトを決定するための方法、システム、およびプログラムに関する。
、建築物のレイアウトを決定するための方法、システム、およびプログラムに関する。
【背景技術】
【0002】
オブジェクトの設計、エンジニアリング、製造のため、多数のシステムおよびプログラ
ムが市場に提供されている。ＣＡＤは、コンピュータ支援設計（Ｃｏｍｐｕｔｅｒ－Ａｉ
ｄｅｄ Ｄｅｓｉｇｎ）の略語であり、例えば、オブジェクトを設計するためのソフトウ
ェア・ソリューションに関する。ＣＡＥは、コンピュータ支援エンジニアリング（Ｃｏｍ
ｐｕｔｅｒ－Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）の略語であり、例えば、将来の製品
の物理的挙動をシミュレーションするためのソフトウェア・ソリューションに関する。Ｃ
ＡＭは、コンピュータ支援製造（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒ
ｉｎｇ）の略語であり、例えば、製造工程および動作を定義するためのソフトウェア・ソ
リューションに関する。このようなコンピュータ支援設計システムにおいて、グラフィカ
ル・ユーザ・インターフェースは、技術の効率に関して、重要な役割を果たす。これらの
技術は、製品ライフサイクル管理（Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅ
ｍｅｎｔ： ＰＬＭ）システムに組み込むことができる。ＰＬＭとは、企業が、拡張エン
タープライズの概念全体にわたって、製品データを共有し、共通の工程を適用し、構想に
始まり製品寿命の終わりに至る製品開発のための企業知識を活用するのを支援するビジネ
ス戦略を指す。ダッソー・システムズが提供するＰＬＭソリューション（製品名ＣＡＴＩ
Ａ、ＥＮＯＶＩＡ、ＤＥＬＭＩＡ）は、製品エンジニアリング知識を体系化するエンジニ
アリング・ハブ、製造エンジニアリング知識を管理する製造ハブ、およびエンジニアリン
グ・ハブと製造ハブの両方に対するエンタープライズ統合と接続を可能にするエンタープ
ライズ・ハブを提供する。全てのシステムは、製品、工程、リソースを結ぶオープンなオ
ブジェクトモデルを提供し、最適化された製品定義、製造準備、生産およびサービスを推
進する、動的な知識ベースの製品作成および意思決定支援を可能にする。
ムが市場に提供されている。ＣＡＤは、コンピュータ支援設計（Ｃｏｍｐｕｔｅｒ－Ａｉ
ｄｅｄ Ｄｅｓｉｇｎ）の略語であり、例えば、オブジェクトを設計するためのソフトウ
ェア・ソリューションに関する。ＣＡＥは、コンピュータ支援エンジニアリング（Ｃｏｍ
ｐｕｔｅｒ－Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）の略語であり、例えば、将来の製品
の物理的挙動をシミュレーションするためのソフトウェア・ソリューションに関する。Ｃ
ＡＭは、コンピュータ支援製造（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒ
ｉｎｇ）の略語であり、例えば、製造工程および動作を定義するためのソフトウェア・ソ
リューションに関する。このようなコンピュータ支援設計システムにおいて、グラフィカ
ル・ユーザ・インターフェースは、技術の効率に関して、重要な役割を果たす。これらの
技術は、製品ライフサイクル管理（Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅ
ｍｅｎｔ： ＰＬＭ）システムに組み込むことができる。ＰＬＭとは、企業が、拡張エン
タープライズの概念全体にわたって、製品データを共有し、共通の工程を適用し、構想に
始まり製品寿命の終わりに至る製品開発のための企業知識を活用するのを支援するビジネ
ス戦略を指す。ダッソー・システムズが提供するＰＬＭソリューション（製品名ＣＡＴＩ
Ａ、ＥＮＯＶＩＡ、ＤＥＬＭＩＡ）は、製品エンジニアリング知識を体系化するエンジニ
アリング・ハブ、製造エンジニアリング知識を管理する製造ハブ、およびエンジニアリン
グ・ハブと製造ハブの両方に対するエンタープライズ統合と接続を可能にするエンタープ
ライズ・ハブを提供する。全てのシステムは、製品、工程、リソースを結ぶオープンなオ
ブジェクトモデルを提供し、最適化された製品定義、製造準備、生産およびサービスを推
進する、動的な知識ベースの製品作成および意思決定支援を可能にする。
【0003】
こうした文脈において、３Ｄ点群におけるシーン理解と意味抽出が重要視されるように
なってきている。
なってきている。
【0004】
例えば部屋のような環境を３Ｄで再構成するために、異なるアルゴリズムが開発されて
いる。これは特に、ＲＧＢカメラの利用に基づく以下の論文に記載されている解決策の場
合にあてはまる。
・Ｒ．Ｎｅｗｃｏｍｂｅ，Ｓ．Ｌｏｖｅｇｒｏｖｅ，Ａ．Ｄａｖｉｓｏｎ，“ＤＴＡＭ
： Ｄｅｎｓｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ ｉｎ Ｒｅａｌ－Ｔｉｍ
ｅ”，ｉｎ ＩＣＣＶ ２０１１．
・Ｐ．Ｔａｎｓｋａｎｅｎ，Ｋ．Ｋｏｌｅｖ，Ｌ．Ｍｅｉｅｒ，Ｆ．Ｃａｍｐｏｓｅｃ
ｏ，Ｏ．Ｓａｕｒｅｒ，Ｍ．Ｐｏｌｌｅｆｅｙｓ，“Ｌｉｖｅ Ｍｅｔｒｉｃ ３Ｄ Ｒ
ｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｎ Ｍｏｂｉｌｅ Ｐｈｏｎｅｓ”，ｉｎ ＩＣＣＶ
２０１３．
・Ｊ．Ｅｎｇｅｌ，Ｔ．Ｓｃｈoｐｓ，Ｄ．Ｃｒｅｍｅｒｓ，“ＬＳＤ－ＳＬＡＭ：
Ｌａｒｇｅ－Ｓｃａｌｅ Ｄｉｒｅｃｔ Ｍｏｎｏｃｕｌａｒ ＳＬＡＭ”，ｉｎ ＥＣ
ＣＶ ２０１４．
これはまた、ＲＧＢ深度カメラの利用に基づく以下の論文に記載されている解決策の場
合にあてはまる。
・Ｔ．Ｗｈｅｌａｎ，Ｊ．ＭｃＤｏｎａｌｄ，Ｍ．Ｋａｅｓｓ，Ｍ．Ｆａｌｌｏｎ，Ｈ
．Ｊｏｈａｎｎｓｓｏｎ，Ｊ．Ｌｅｏｎａｒｄ，“Ｋｉｎｔｉｎｕｏｕｓ； Ｓｐａｔｉ
ａｌｌｙ Ｅｘｔｅｎｄｅｄ ＫｉｎｅｃｔＦｕｓｉｏｎ”，ｉｎ ＭＩＴ Ｔｅｃｈｎ
ｉｃａｌ Ｒｅｐｏｒｔ，２０１２．
・Ｑ．Ｚｈｏｕ，Ｓ．Ｍｉｌｌｅｒ，Ｖ．Ｋｏｌｔｕｎ，“Ｅｌａｓｔｉｃ Ｆｒａｇ
ｍｅｎｔｓ ｆｏｒ Ｄｅｎｓｅ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ”，ｉｎ
ＩＣＣＶ ２０１３．
・Ｓ．Ｃｈｏｉ，Ｑ．Ｚｈｏｕ，Ｖ．Ｋｏｌｔｕｎ，“Ｒｏｂｕｓｔ Ｒｅｃｏｎｓｔ
ｒｕｃｔｉｏｎ ｏｆ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ”，ｉｎ ＣＶＰＲ ２０１５．
いる。これは特に、ＲＧＢカメラの利用に基づく以下の論文に記載されている解決策の場
合にあてはまる。
・Ｒ．Ｎｅｗｃｏｍｂｅ，Ｓ．Ｌｏｖｅｇｒｏｖｅ，Ａ．Ｄａｖｉｓｏｎ，“ＤＴＡＭ
： Ｄｅｎｓｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ ｉｎ Ｒｅａｌ－Ｔｉｍ
ｅ”，ｉｎ ＩＣＣＶ ２０１１．
・Ｐ．Ｔａｎｓｋａｎｅｎ，Ｋ．Ｋｏｌｅｖ，Ｌ．Ｍｅｉｅｒ，Ｆ．Ｃａｍｐｏｓｅｃ
ｏ，Ｏ．Ｓａｕｒｅｒ，Ｍ．Ｐｏｌｌｅｆｅｙｓ，“Ｌｉｖｅ Ｍｅｔｒｉｃ ３Ｄ Ｒ
ｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｎ Ｍｏｂｉｌｅ Ｐｈｏｎｅｓ”，ｉｎ ＩＣＣＶ
２０１３．
・Ｊ．Ｅｎｇｅｌ，Ｔ．Ｓｃｈoｐｓ，Ｄ．Ｃｒｅｍｅｒｓ，“ＬＳＤ－ＳＬＡＭ：
Ｌａｒｇｅ－Ｓｃａｌｅ Ｄｉｒｅｃｔ Ｍｏｎｏｃｕｌａｒ ＳＬＡＭ”，ｉｎ ＥＣ
ＣＶ ２０１４．
これはまた、ＲＧＢ深度カメラの利用に基づく以下の論文に記載されている解決策の場
合にあてはまる。
・Ｔ．Ｗｈｅｌａｎ，Ｊ．ＭｃＤｏｎａｌｄ，Ｍ．Ｋａｅｓｓ，Ｍ．Ｆａｌｌｏｎ，Ｈ
．Ｊｏｈａｎｎｓｓｏｎ，Ｊ．Ｌｅｏｎａｒｄ，“Ｋｉｎｔｉｎｕｏｕｓ； Ｓｐａｔｉ
ａｌｌｙ Ｅｘｔｅｎｄｅｄ ＫｉｎｅｃｔＦｕｓｉｏｎ”，ｉｎ ＭＩＴ Ｔｅｃｈｎ
ｉｃａｌ Ｒｅｐｏｒｔ，２０１２．
・Ｑ．Ｚｈｏｕ，Ｓ．Ｍｉｌｌｅｒ，Ｖ．Ｋｏｌｔｕｎ，“Ｅｌａｓｔｉｃ Ｆｒａｇ
ｍｅｎｔｓ ｆｏｒ Ｄｅｎｓｅ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ”，ｉｎ
ＩＣＣＶ ２０１３．
・Ｓ．Ｃｈｏｉ，Ｑ．Ｚｈｏｕ，Ｖ．Ｋｏｌｔｕｎ，“Ｒｏｂｕｓｔ Ｒｅｃｏｎｓｔ
ｒｕｃｔｉｏｎ ｏｆ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ”，ｉｎ ＣＶＰＲ ２０１５．
【0005】
これらのアルゴリズムの多くは、依然として、３Ｄ点群や単純なメッシュのようなノイ
ズの多い未処理の３Ｄデータを生成する。高度なアプリケーションにおいてこのような３
Ｄ再構成を利用するのは難しい可能性がある。仮想環境を利用するためには、シーン内の
オブジェクトや標準的な形状（例えば、平面）のセグメント、各オブジェクトの分類、３
Ｄデータベース内の各オブジェクトの取得、シーンのレイアウトに関連付けられた意味、
シーングラフなど、より多くの情報が必要となる可能性がある。これらの複雑なタスクは
、文献、特に以下の論文で言及されているいわゆる「シーン理解問題」を構成する。
・Ｈ．Ｋｏｐｐｕｌａ，Ａ．Ａｎａｎｄ，Ｔ．Ｊｏａｃｈｉｍｓ，Ａ．Ｓａｘｅｎａ，
“Ｓｅｍａｎｔｉｃ Ｌａｂｅｌｉｎｇ ｏｆ ３Ｄ Ｐｏｉｎｔ Ｃｌｏｕｄｓ ｆｏ
ｒ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ”，ｉｎ ＮＩＰＳ ２０１１．
・Ｌ．Ｎａｎ，Ｋ．Ｘｉｅ，Ａ．Ｓｈａｒｆ，“Ａ Ｓｅａｒｃｈ－Ｃｌａｓｓｉｆｙ
Ａｐｐｒｏａｃｈ ｆｏｒ Ｃｌｕｔｔｅｒｅｄ Ｉｎｄｄｏｒ Ｓｃｅｎｅ Ｕｎｄ
ｅｒｓｔａｎｄｉｎｇ”，ｉｎ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２０１２．
・Ｗ．Ｃｈｏｉ，Ｙ．Ｃｈａｏ，Ｃ．Ｐａｎｔｏｆａｒｕ，Ｓ．Ｓａｖａｒｅｓｅ，“
Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ Ｕｓｉｎｇ ３Ｄ Ｇｅｏ
ｍｅｔｒｉｃ Ｐｈｒａｓｅｓ”，ｉｎ ＣＶＰＲ ２０１３．
・Ｄ．Ｌｉｎ，Ｓ．Ｆｉｄｌｅｒ，Ｒ．Ｕｒｔａｓｕｎ，“Ｈｏｌｉｓｔｉｃ Ｓｃｅ
ｎｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ
ｗｉｔｈ ＲＧＢＤ Ｃａｍｅｒａｓ”，ｉｎ ＩＣＣＶ ２０１３．
・Ｓ．Ｓａｔｋｉｎ，Ｍ．Ｈｅｂｅｒｔ，“３ＤＮＮ： Ｖｉｅｗｐｏｉｎｔ Ｉｎｖ
ａｒｉａｎｔ ３Ｄ Ｇｅｏｍｅｔｒｙ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｓｃｅｎｅ Ｕｎ
ｄｅｒｓｔａｎｄｉｎｇ”，ｉｎ ＩＣＣＶ ２０１３．
・Ｍ．Ｈｕｅｔｉｎｇ，Ｍ．Ｏｖｓｊａｎｉｋｏｖ，Ｎ．Ｍｉｔｒａ，“ＣｒｏｓｓＬ
ｉｎｋ： Ｊｏｉｎｔ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｏｆ Ｉｍａｇｅ ａｎｄ ３Ｄ
Ｍｏｄｅｌ Ｃｏｌｌｅｃｔｉｏｎｓ ｔｈｒｏｕｇｈ Ｓｈａｐｅ ａｎｄ Ｃａｍ
ｅｒａ Ｐｏｓｅ Ｖａｒｉａｔｉｏｎｓ”，ｉｎ ＳＩＧＧＲＡＰｈ Ａｓｉａ ２０
１５．
ズの多い未処理の３Ｄデータを生成する。高度なアプリケーションにおいてこのような３
Ｄ再構成を利用するのは難しい可能性がある。仮想環境を利用するためには、シーン内の
オブジェクトや標準的な形状（例えば、平面）のセグメント、各オブジェクトの分類、３
Ｄデータベース内の各オブジェクトの取得、シーンのレイアウトに関連付けられた意味、
シーングラフなど、より多くの情報が必要となる可能性がある。これらの複雑なタスクは
、文献、特に以下の論文で言及されているいわゆる「シーン理解問題」を構成する。
・Ｈ．Ｋｏｐｐｕｌａ，Ａ．Ａｎａｎｄ，Ｔ．Ｊｏａｃｈｉｍｓ，Ａ．Ｓａｘｅｎａ，
“Ｓｅｍａｎｔｉｃ Ｌａｂｅｌｉｎｇ ｏｆ ３Ｄ Ｐｏｉｎｔ Ｃｌｏｕｄｓ ｆｏ
ｒ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ”，ｉｎ ＮＩＰＳ ２０１１．
・Ｌ．Ｎａｎ，Ｋ．Ｘｉｅ，Ａ．Ｓｈａｒｆ，“Ａ Ｓｅａｒｃｈ－Ｃｌａｓｓｉｆｙ
Ａｐｐｒｏａｃｈ ｆｏｒ Ｃｌｕｔｔｅｒｅｄ Ｉｎｄｄｏｒ Ｓｃｅｎｅ Ｕｎｄ
ｅｒｓｔａｎｄｉｎｇ”，ｉｎ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２０１２．
・Ｗ．Ｃｈｏｉ，Ｙ．Ｃｈａｏ，Ｃ．Ｐａｎｔｏｆａｒｕ，Ｓ．Ｓａｖａｒｅｓｅ，“
Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ Ｕｓｉｎｇ ３Ｄ Ｇｅｏ
ｍｅｔｒｉｃ Ｐｈｒａｓｅｓ”，ｉｎ ＣＶＰＲ ２０１３．
・Ｄ．Ｌｉｎ，Ｓ．Ｆｉｄｌｅｒ，Ｒ．Ｕｒｔａｓｕｎ，“Ｈｏｌｉｓｔｉｃ Ｓｃｅ
ｎｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ
ｗｉｔｈ ＲＧＢＤ Ｃａｍｅｒａｓ”，ｉｎ ＩＣＣＶ ２０１３．
・Ｓ．Ｓａｔｋｉｎ，Ｍ．Ｈｅｂｅｒｔ，“３ＤＮＮ： Ｖｉｅｗｐｏｉｎｔ Ｉｎｖ
ａｒｉａｎｔ ３Ｄ Ｇｅｏｍｅｔｒｙ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｓｃｅｎｅ Ｕｎ
ｄｅｒｓｔａｎｄｉｎｇ”，ｉｎ ＩＣＣＶ ２０１３．
・Ｍ．Ｈｕｅｔｉｎｇ，Ｍ．Ｏｖｓｊａｎｉｋｏｖ，Ｎ．Ｍｉｔｒａ，“ＣｒｏｓｓＬ
ｉｎｋ： Ｊｏｉｎｔ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｏｆ Ｉｍａｇｅ ａｎｄ ３Ｄ
Ｍｏｄｅｌ Ｃｏｌｌｅｃｔｉｏｎｓ ｔｈｒｏｕｇｈ Ｓｈａｐｅ ａｎｄ Ｃａｍ
ｅｒａ Ｐｏｓｅ Ｖａｒｉａｔｉｏｎｓ”，ｉｎ ＳＩＧＧＲＡＰｈ Ａｓｉａ ２０
１５．
【0006】
最近の進歩により、３Ｄ再構成の工程においてシーン理解タスクを実行する方法が提供
されている。これは特に、以下の論文の場合に当てはまる。
・Ｙ．Ｆｕｒｕｋａｗａ，Ｂ．Ｃｕｒｌｅｓｓ，Ｓ．Ｓｅｉｔｚ，“Ｒｅｃｏｎｓｔｒ
ｕｃｔｉｎｇ Ｂｕｉｌｄｉｎｇ Ｉｎｔｅｒｉｏｒｓ ｆｒｏｍ Ｉｍａｇｅｓ”，ｉ
ｎ ＩＣＣＶ ２００９．
・Ｙ．Ｋｉｍ，Ｎ．Ｍｉｔｒａ，Ｄ．Ｙａｎ，Ｌ．Ｇｕｉｂａｓ，“Ａｃｑｕｉｒｉｎ
ｇ ３Ｄ Ｉｎｄｏｏｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｖａｒｉａｂｉｌｉｔ
ｙ ａｎｄ Ｒｅｐｅｔｉｔｉｏｎ”，ｉｎ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２０１２．
・Ｒ．Ｓａｌａｓ－Ｍｏｒｅｎｏ，Ｒ．Ｎｅｗｃｏｍｂｅ，Ｈ．Ｓｔｒａｓｄａｔ，Ｐ
．Ｋｅｌｌｙ，Ａ．Ｄａｖｉｓｏｎ，“ＳＬＡＭ＋＋： Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌ
ｏｃａｌｉｓａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ａｔ ｔｈｅ Ｌｅｖｅｌ ｏｆ
Ｏｂｊｅｃｔｓ”，ｉｎ ＣＶＰＲ ２０１３．
・Ｒ．Ｓａｌａｓ－Ｍｏｒｅｎｏ，Ｂ．Ｇｌｏｃｋｅｒ，Ｐ．Ｋｅｌｌｙ，Ａ．Ｄａｖ
ｉｓｏｎ，“Ｄｅｎｓｅ Ｐｌａｎａｒ ＳＬＡＭ”，ｉｎ ＩＳＭＡＲ ２０１４．
・Ｈｅｒｍａｎｓ，Ｇ．Ｆｌｏｒｏｓ，Ｂ．Ｌｅｉｂｅ，“Ｄｅｎｓｅ ３Ｄ Ｓｅｍ
ａｎｔｉｃ Ｍａｐｐｉｎｇ ｏｆ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ ｆｒｏｍ ＲＧＢ－
Ｄ Ｉｍａｇｅｓ”，ｉｎ ＩＣＲＡ ２０１４．
されている。これは特に、以下の論文の場合に当てはまる。
・Ｙ．Ｆｕｒｕｋａｗａ，Ｂ．Ｃｕｒｌｅｓｓ，Ｓ．Ｓｅｉｔｚ，“Ｒｅｃｏｎｓｔｒ
ｕｃｔｉｎｇ Ｂｕｉｌｄｉｎｇ Ｉｎｔｅｒｉｏｒｓ ｆｒｏｍ Ｉｍａｇｅｓ”，ｉ
ｎ ＩＣＣＶ ２００９．
・Ｙ．Ｋｉｍ，Ｎ．Ｍｉｔｒａ，Ｄ．Ｙａｎ，Ｌ．Ｇｕｉｂａｓ，“Ａｃｑｕｉｒｉｎ
ｇ ３Ｄ Ｉｎｄｏｏｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｖａｒｉａｂｉｌｉｔ
ｙ ａｎｄ Ｒｅｐｅｔｉｔｉｏｎ”，ｉｎ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２０１２．
・Ｒ．Ｓａｌａｓ－Ｍｏｒｅｎｏ，Ｒ．Ｎｅｗｃｏｍｂｅ，Ｈ．Ｓｔｒａｓｄａｔ，Ｐ
．Ｋｅｌｌｙ，Ａ．Ｄａｖｉｓｏｎ，“ＳＬＡＭ＋＋： Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌ
ｏｃａｌｉｓａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ａｔ ｔｈｅ Ｌｅｖｅｌ ｏｆ
Ｏｂｊｅｃｔｓ”，ｉｎ ＣＶＰＲ ２０１３．
・Ｒ．Ｓａｌａｓ－Ｍｏｒｅｎｏ，Ｂ．Ｇｌｏｃｋｅｒ，Ｐ．Ｋｅｌｌｙ，Ａ．Ｄａｖ
ｉｓｏｎ，“Ｄｅｎｓｅ Ｐｌａｎａｒ ＳＬＡＭ”，ｉｎ ＩＳＭＡＲ ２０１４．
・Ｈｅｒｍａｎｓ，Ｇ．Ｆｌｏｒｏｓ，Ｂ．Ｌｅｉｂｅ，“Ｄｅｎｓｅ ３Ｄ Ｓｅｍ
ａｎｔｉｃ Ｍａｐｐｉｎｇ ｏｆ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ ｆｒｏｍ ＲＧＢ－
Ｄ Ｉｍａｇｅｓ”，ｉｎ ＩＣＲＡ ２０１４．
【0007】
それにもかかわらず、これらの既知の解決策は、主に、オブジェクトの認識およびクラ
スタリング、ならびに３Ｄシーンを構成する平面のセグメント化に限定されている。その
ため、３Ｄ再構成が完了すると、シーンの理解は通常、完全なデータに対して実行される
。
スタリング、ならびに３Ｄシーンを構成する平面のセグメント化に限定されている。その
ため、３Ｄ再構成が完了すると、シーンの理解は通常、完全なデータに対して実行される
。
【0008】
現在では、３Ｄで再構成された屋内シーンのレイアウト抽出に特化した解決策も存在す
る。このような建築物のレイアウトの決定には、シーン・モデリング、シーン理解、拡張
現実、および、精密な３Ｄ屋内シーンを正確に構築したり、厳密な測定を行ったりする必
要があるすべての分野において、多くの応用例がある。最先端の技術には、２つの主要な
ファミリーが存在する。すなわち壁、天井および床をクラスタ化する学習アルゴリズムに
基づく方法、および純粋なジオメトリ的仮説に基づいてレイアウトを抽出する方法（例え
ば、部屋は直方体であり、壁は垂直であり、それらの投影は間取り図上の線である）であ
る。
る。このような建築物のレイアウトの決定には、シーン・モデリング、シーン理解、拡張
現実、および、精密な３Ｄ屋内シーンを正確に構築したり、厳密な測定を行ったりする必
要があるすべての分野において、多くの応用例がある。最先端の技術には、２つの主要な
ファミリーが存在する。すなわち壁、天井および床をクラスタ化する学習アルゴリズムに
基づく方法、および純粋なジオメトリ的仮説に基づいてレイアウトを抽出する方法（例え
ば、部屋は直方体であり、壁は垂直であり、それらの投影は間取り図上の線である）であ
る。
【0009】
公知の解決策では、ＲＧＢ深度データが与えられた場合に、確率的グラフィックモデル
を使用して壁、天井および床を推定する：
・Ｘ．Ｘｉｏｎｇ，Ｄ．Ｈｕｂｅｒ，“Ｕｓｉｎｇ Ｃｏｎｔｅｘｔ ｔｏ Ｃｒｅａ
ｔｅ Ｓｅｍａｎｔｉｃ ３Ｄ Ｍｏｄｅｌｓ ｏｆ Ｉｎｄｏｏｒ Ｅｎｖｉｒｏｎｍ
ｅｎｔｓ”，ｉｎ ＢＭＶＣ ２０１０．
を使用して壁、天井および床を推定する：
・Ｘ．Ｘｉｏｎｇ，Ｄ．Ｈｕｂｅｒ，“Ｕｓｉｎｇ Ｃｏｎｔｅｘｔ ｔｏ Ｃｒｅａ
ｔｅ Ｓｅｍａｎｔｉｃ ３Ｄ Ｍｏｄｅｌｓ ｏｆ Ｉｎｄｏｏｒ Ｅｎｖｉｒｏｎｍ
ｅｎｔｓ”，ｉｎ ＢＭＶＣ ２０１０．
【0010】
その他の論文では、深度（ｄｅｐｔｈ）とＲＧＢデータを用いて壁面とコーナーエッジ
を識別する方法を示している。
・Ｃ．Ｙａｐｉｃｉｌａｒ，Ｂ．Ｂｏｌｕｍｕ，Ｄ．Ｏｋｕｌｕ，Ｉ．Ｔｕｒｋｉｙｅ
，Ｎ．Ａｒｉｃａ，“３Ｄ Ｓｐａｔｉａｌ Ｌａｙｏｕｔ Ｅｘｔｒａｃｔｉｏｎ ｏ
ｆ Ｉｎｄｏｏｒ Ｉｍａｇｅｓ ｕｓｉｎｇ ＲＧＢ－Ｄ Ｄａｔａ”，ｉｎ ＳＩＵ
２０１３．
・Ｊ．Ｚｈａｎｇ，Ｃ．Ｋａｎ，Ａ．Ｓｃｈｗｉｎｇ，Ｒ．Ｕｒｔａｓｕｎ，“Ｅｓｔ
ｉｍａｔｉｎｇ ｔｈｅ ３Ｄ Ｌａｙｏｕｔ ｏｆ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ ａ
ｎｄ ｉｔｓ Ｃｌｕｔｔｅｒ ｆｒｏｍ Ｄｅｐｔｈ Ｓｅｎｓｏｒｓ”，ｉｎ ＩＣ
ＣＶ ２０１３．
を識別する方法を示している。
・Ｃ．Ｙａｐｉｃｉｌａｒ，Ｂ．Ｂｏｌｕｍｕ，Ｄ．Ｏｋｕｌｕ，Ｉ．Ｔｕｒｋｉｙｅ
，Ｎ．Ａｒｉｃａ，“３Ｄ Ｓｐａｔｉａｌ Ｌａｙｏｕｔ Ｅｘｔｒａｃｔｉｏｎ ｏ
ｆ Ｉｎｄｏｏｒ Ｉｍａｇｅｓ ｕｓｉｎｇ ＲＧＢ－Ｄ Ｄａｔａ”，ｉｎ ＳＩＵ
２０１３．
・Ｊ．Ｚｈａｎｇ，Ｃ．Ｋａｎ，Ａ．Ｓｃｈｗｉｎｇ，Ｒ．Ｕｒｔａｓｕｎ，“Ｅｓｔ
ｉｍａｔｉｎｇ ｔｈｅ ３Ｄ Ｌａｙｏｕｔ ｏｆ Ｉｎｄｏｏｒ Ｓｃｅｎｅｓ ａ
ｎｄ ｉｔｓ Ｃｌｕｔｔｅｒ ｆｒｏｍ Ｄｅｐｔｈ Ｓｅｎｓｏｒｓ”，ｉｎ ＩＣ
ＣＶ ２０１３．
【0011】
特に後者の論文において開発された解決策は、屋内シーンのレイアウトが単純な直方体
であるという強い前提を立てている。この解決策は、条件付きランダムフィールドを用い
て、壁からクラッタを分離する。
そのような仮定をしない解決策も存在し、そこではレイアウトは非凸形であってもよい
。
・Ｃ．Ｍｕｒａ，Ｏ．Ｍａｔｔａｕｓｃｈ，Ａ．Ｖｉｌｌａｎｕｅｖａ，Ｅ．Ｇｏｂｂ
ｅｔｔｉ，Ｒ．Ｐａｊａｒｏｌａ，“Ａｕｔｏｍａｔｉｃ Ｒｏｏｍ Ｄｅｔｅｃｔｉｏ
ｎ ａｎｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ Ｃｌｕｔｔｅｒｅｄ Ｉｎｄｏｏｒ
Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｃｏｍｐｌｅｘ Ｒｏｏｍ Ｌａｙｏｕｔｓ”
，ｉｎ Ｃｏｍｐｕｔｅｒ＆Ｇｒａｐｈｉｃｓ ２０１４．
であるという強い前提を立てている。この解決策は、条件付きランダムフィールドを用い
て、壁からクラッタを分離する。
そのような仮定をしない解決策も存在し、そこではレイアウトは非凸形であってもよい
。
・Ｃ．Ｍｕｒａ，Ｏ．Ｍａｔｔａｕｓｃｈ，Ａ．Ｖｉｌｌａｎｕｅｖａ，Ｅ．Ｇｏｂｂ
ｅｔｔｉ，Ｒ．Ｐａｊａｒｏｌａ，“Ａｕｔｏｍａｔｉｃ Ｒｏｏｍ Ｄｅｔｅｃｔｉｏ
ｎ ａｎｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ Ｃｌｕｔｔｅｒｅｄ Ｉｎｄｏｏｒ
Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｃｏｍｐｌｅｘ Ｒｏｏｍ Ｌａｙｏｕｔｓ”
，ｉｎ Ｃｏｍｐｕｔｅｒ＆Ｇｒａｐｈｉｃｓ ２０１４．
【0012】
この論文は、再構成された屋内シーンの最終的なレイアウトにおける異なる部屋を識別
することを目的としている。この解決策は、屋内シーンの異なる部屋をクラスタ化するの
に用いられるセルグラフを構築するために、オクルージョンが生じていても壁を識別し、
間取り図上に投影する。しかし、この論文では、再構築された３Ｄ点群は、各部屋の内部
の固定位置に配されたレーザスキャナから得るものと仮定している。さらに、この方法で
は、レイアウトの詳細を検出することができない。
することを目的としている。この解決策は、屋内シーンの異なる部屋をクラスタ化するの
に用いられるセルグラフを構築するために、オクルージョンが生じていても壁を識別し、
間取り図上に投影する。しかし、この論文では、再構築された３Ｄ点群は、各部屋の内部
の固定位置に配されたレーザスキャナから得るものと仮定している。さらに、この方法で
は、レイアウトの詳細を検出することができない。
【0013】
単眼画像の集合だけを用いる解決策も存在するが、不明瞭な箇所が多くなり、レイアウ
トの絶対的なメトリックが得られない。
・Ｃ．Ｌｉｕ，Ａ．Ｓｃｈｗｉｎｇ，Ｋ．Ｋｕｎｄｕ，Ｒ．Ｕｒｔａｓｕｎ，Ｓ．Ｆｉ
ｄｌｅｒ，“Ｒｅｎｔ３Ｄ： Ｆｌｏｏｒ－Ｐｌａｎ Ｐｒｉｏｒｓ ｆｏｒ Ｍｏｎｏ
ｃｕｌａｒ Ｌａｙｏｕｔ Ｅｓｔｉｍａｔｉｏｎ”，ｉｎ ＣＶＰＲ ２０１５．
トの絶対的なメトリックが得られない。
・Ｃ．Ｌｉｕ，Ａ．Ｓｃｈｗｉｎｇ，Ｋ．Ｋｕｎｄｕ，Ｒ．Ｕｒｔａｓｕｎ，Ｓ．Ｆｉ
ｄｌｅｒ，“Ｒｅｎｔ３Ｄ： Ｆｌｏｏｒ－Ｐｌａｎ Ｐｒｉｏｒｓ ｆｏｒ Ｍｏｎｏ
ｃｕｌａｒ Ｌａｙｏｕｔ Ｅｓｔｉｍａｔｉｏｎ”，ｉｎ ＣＶＰＲ ２０１５．
【0014】
さらに、この論文は、マンハッタンワールド仮説の強い仮定を用いており、それは、壁
の各対が平行か垂直のいずれかでなければならないことを意味する。この方法では、最適
化を用いて、部屋のレイアウトを推定し、間取り図における各写真が撮影された部屋を選
択する。
の各対が平行か垂直のいずれかでなければならないことを意味する。この方法では、最適
化を用いて、部屋のレイアウトを推定し、間取り図における各写真が撮影された部屋を選
択する。
【0015】
こうした文脈において、建築物のレイアウトを決定するための改善された解決策が依然
として必要とされている。
として必要とされている。
【発明の概要】
【0016】
したがって、コンピュータによって実施される、建築物のレイアウトを決定するための
方法が提供される。本方法は、壁のサイクルの平断面を表す点のサイクルを提供すること
を含む。本方法はまた、それぞれの点に割り当てられ、それぞれの点において点のサイク
ルに垂直な方向を表す、第１のデータムを提供することを含む。本方法はまた、マルコフ
・ランダム・フィールド（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ：ＭＲＦ）エネルギ
ーを最小にすることを含む。ＭＲＦエネルギーは、点のサイクル上にラベルで定義される
。ラベルは、第２のデータの集合内の値をとる。各第２のデータムは、レイアウトに対し
て垂直な、それぞれの方向を表す。本方法は、最小化により、各点に、それぞれ、第２の
データの集合のうちの１つを割り当てる。ＭＲＦエネルギーは単項を含む。当該単項は、
各点について、割り当てられた第２のデータムによって表される方向と、割り当てられた
第１のデータムによって表される方向との、角距離にペナルティを科す。ＭＲＦエネルギ
ーは、バイナリ項をさらに含む。当該バイナリ項は、連続する点の組のそれぞれついて、
割り当てられた第１のデータによって表される方向間の角距離が減少するほど、割り当て
られた第２のデータによって表される方向間の角距離に、より大きなペナルティを科す。
本方法はまた、同じ第２のデータムが割り当てられた連続する点の極大集合を識別するこ
とを含む。本方法はまた、セグメントのサイクルを境界付ける頂点のサイクルを決定する
ことを含む。セグメントのサイクルは建築物のレイアウトを表す。各セグメントは、それ
ぞれの壁に対応する。各セグメントは、それぞれの極大集合に適合し、それぞれの極大集
合における点に割り当てられた第２のデータムによって表される方向に対して垂直である
。
方法が提供される。本方法は、壁のサイクルの平断面を表す点のサイクルを提供すること
を含む。本方法はまた、それぞれの点に割り当てられ、それぞれの点において点のサイク
ルに垂直な方向を表す、第１のデータムを提供することを含む。本方法はまた、マルコフ
・ランダム・フィールド（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ：ＭＲＦ）エネルギ
ーを最小にすることを含む。ＭＲＦエネルギーは、点のサイクル上にラベルで定義される
。ラベルは、第２のデータの集合内の値をとる。各第２のデータムは、レイアウトに対し
て垂直な、それぞれの方向を表す。本方法は、最小化により、各点に、それぞれ、第２の
データの集合のうちの１つを割り当てる。ＭＲＦエネルギーは単項を含む。当該単項は、
各点について、割り当てられた第２のデータムによって表される方向と、割り当てられた
第１のデータムによって表される方向との、角距離にペナルティを科す。ＭＲＦエネルギ
ーは、バイナリ項をさらに含む。当該バイナリ項は、連続する点の組のそれぞれついて、
割り当てられた第１のデータによって表される方向間の角距離が減少するほど、割り当て
られた第２のデータによって表される方向間の角距離に、より大きなペナルティを科す。
本方法はまた、同じ第２のデータムが割り当てられた連続する点の極大集合を識別するこ
とを含む。本方法はまた、セグメントのサイクルを境界付ける頂点のサイクルを決定する
ことを含む。セグメントのサイクルは建築物のレイアウトを表す。各セグメントは、それ
ぞれの壁に対応する。各セグメントは、それぞれの極大集合に適合し、それぞれの極大集
合における点に割り当てられた第２のデータムによって表される方向に対して垂直である
。
【0017】
このような方法は、建築物のレイアウトを決定するための改善された解決策を提供する
。
。
【0018】
特に、ＭＲＦエネルギーの最小化のおかげで、本方法は、比較的、ロバストに、および
／または、高速に実行することができる。さらに、本方法は、これに関わる特定のＭＲＦ
エネルギーにより、従来技術の問題を、少なくとも低減することができる。従来技術と比
較して、本方法は、ノイズの多いデータになりにくく、本方法は、完全または少なくとも
より大きなレイアウトを抽出することができ、本方法は、正確なレイアウト（例えば、詳
細な内容を含む）を再構成することができ、本方法は、レイアウトの形状（例えば、マン
ハッタンワールド仮説、および／または、直方体仮説）、またはオクルージョン、および
／または、３Ｄ点群を取得したセンサの位置（例えばそこから点のサイクルが導出される
）についての仮定を排除することができ、本方法は、提供されたデータ中におけるカラー
データの必要性を排除することができ、本方法は、従来の機械学習（例えば、ラベル付け
されたデータセットについてパラメータを学習すること）を実行する必要性を排除するこ
とができる。
／または、高速に実行することができる。さらに、本方法は、これに関わる特定のＭＲＦ
エネルギーにより、従来技術の問題を、少なくとも低減することができる。従来技術と比
較して、本方法は、ノイズの多いデータになりにくく、本方法は、完全または少なくとも
より大きなレイアウトを抽出することができ、本方法は、正確なレイアウト（例えば、詳
細な内容を含む）を再構成することができ、本方法は、レイアウトの形状（例えば、マン
ハッタンワールド仮説、および／または、直方体仮説）、またはオクルージョン、および
／または、３Ｄ点群を取得したセンサの位置（例えばそこから点のサイクルが導出される
）についての仮定を排除することができ、本方法は、提供されたデータ中におけるカラー
データの必要性を排除することができ、本方法は、従来の機械学習（例えば、ラベル付け
されたデータセットについてパラメータを学習すること）を実行する必要性を排除するこ
とができる。
【0019】
本方法は、以下のうち１つまたは複数を含んでいてもよい。
・前記ＭＲＦエネルギーの最小化は厳密最小化である。
・前記ＭＲＦエネルギーの最小化は厳密最小化である。
【0020】
・前記ＭＲＦエネルギーの最小化は、１つまたは複数の確率伝搬法により行われる。
【0021】
・前記第１のデータおよび前記第２のデータはベクトルであり、割り当てられた第２の
データムＮｋによって表される方向と、割り当てられた第１のデータムｎｉによって表さ
れる方向との間の角距離は、
のタイプであり、割り当てられた第２のデータＮｋおよびＮｍによって表される方向間の
角距離は
のタイプであり、かつ／あるいは、割り当てられた第１のデータｎｉおよびｎｊによって
表される方向間の角距離は
のタイプである。
・前記ＭＲＦエネルギーは、
のタイプであり、ここで、
は点のサイクルであって、
のとき
であり、
は単項であり、
はバイナリ項であり、λは、正の数である。
データムＮｋによって表される方向と、割り当てられた第１のデータムｎｉによって表さ
れる方向との間の角距離は、
【数1】
のタイプであり、割り当てられた第２のデータＮｋおよびＮｍによって表される方向間の
角距離は
【数2】
のタイプであり、かつ／あるいは、割り当てられた第１のデータｎｉおよびｎｊによって
表される方向間の角距離は
【数3】
のタイプである。
・前記ＭＲＦエネルギーは、
【数4】
のタイプであり、ここで、
【数5】
は点のサイクルであって、
【数6】
のとき
【数7】
であり、
【数8】
は単項であり、
【数9】
はバイナリ項であり、λは、正の数である。
【0022】
・各頂点は、それぞれの第１の点および第２の点に対応し、前記各第１の点は、その頂
点によって境界付けられたセグメントに対応する前記極大集合の終点であり、前記各第２
の点は、その頂点によって境界付けられた他のセグメントに対応する前記極大集合の始点
であり、前記各頂点の決定は、前記各第１の点および前記各第２の点の関数として各頂点
の初期位置を決定することと、前記初期位置を最適化することとを含む。
点によって境界付けられたセグメントに対応する前記極大集合の終点であり、前記各第２
の点は、その頂点によって境界付けられた他のセグメントに対応する前記極大集合の始点
であり、前記各頂点の決定は、前記各第１の点および前記各第２の点の関数として各頂点
の初期位置を決定することと、前記初期位置を最適化することとを含む。
【0023】
・前記各第１の点および前記各第２の点の前記関数は平均値関数である。
【0024】
・前記最適化は、各セグメントについて、そのセグメントの長さの初期値から、結果と
して得られるそのセグメントの長さの値の距離にペナルティを科す、コスト関数を最小化
する。
して得られるそのセグメントの長さの値の距離にペナルティを科す、コスト関数を最小化
する。
【0025】
・前記点のサイクルは、投影平面上の前記壁のサイクルを表す３Ｄ点群の投影に対応す
る２Ｄ点群の凹包であり、前記投影平面は前記平断面に対応する。
る２Ｄ点群の凹包であり、前記投影平面は前記平断面に対応する。
【0026】
・前記投影平面は床平面を表し、かつ／あるいは、前記投影は垂直投影である。
【0027】
・前記点のサイクルの前記提供は、前記壁のサイクルを含む部屋を表す３Ｄ点群を提供
することと、前記部屋を表す前記３Ｄ点群から前記投影平面および前記壁のサイクルを表
す３Ｄ点群を識別することと、前記投影平面上に前記壁のサイクルを表す前記３Ｄ点群を
投影することと、前記２Ｄ点群を決定することと、前記凹包を決定することとを含む。
することと、前記部屋を表す前記３Ｄ点群から前記投影平面および前記壁のサイクルを表
す３Ｄ点群を識別することと、前記投影平面上に前記壁のサイクルを表す前記３Ｄ点群を
投影することと、前記２Ｄ点群を決定することと、前記凹包を決定することとを含む。
【0028】
・前記投影平面および前記壁のサイクルを表す３Ｄ点群の前記識別は、ランダム・サン
プル・コンセンサス・アルゴリズムを用いて前記部屋を表す前記３Ｄ点群の中から平面を
検出することを含む。かつ／あるいは、
プル・コンセンサス・アルゴリズムを用いて前記部屋を表す前記３Ｄ点群の中から平面を
検出することを含む。かつ／あるいは、
【0029】
・前記２Ｄ点群の前記決定は、検出された各平面について、前記平面の投影の結果を前
記結果の線形回帰に投影することを含む。
記結果の線形回帰に投影することを含む。
【0030】
さらには、本方法を実行するための命令を含むコンピュータプログラムが提供される。
【0031】
さらには、前記コンピュータプログラムを記録したデータ記憶媒体を備える装置が提供
される。前記装置は、非一時的なコンピュータ読み取り可能な媒体を構成してもよい。あ
るいは、前記装置は、前記データ記憶媒体に接続されたプロセッサを備えていてもよい。
前記装置は、このように、システムを構成していてもよい。前記システムは、さらに、前
記プロセッサに接続されたグラフィカル・ユーザ・インターフェースを備えていてもよい
。前記システムは、前記プロセッサに結合され、かつ、部屋を表す３Ｄ点群であって点の
サイクルを決定可能な３Ｄ点群をキャプチャするように構成された、１つまたは複数のセ
ンサを、さらに備え、かつ／あるいは、当該センサに接続され、かつ／あるいは、当該セ
ンサに接続可能である。前記センサ（群）は、１つまたは複数の可搬型センサを含んでい
てもよい。前記センサ（群）は、１つまたは複数の深度センサ、ＲＧＢ深度センサ、およ
び／または、１つまたは複数のレーザスキャナを含んでいてもよい。
される。前記装置は、非一時的なコンピュータ読み取り可能な媒体を構成してもよい。あ
るいは、前記装置は、前記データ記憶媒体に接続されたプロセッサを備えていてもよい。
前記装置は、このように、システムを構成していてもよい。前記システムは、さらに、前
記プロセッサに接続されたグラフィカル・ユーザ・インターフェースを備えていてもよい
。前記システムは、前記プロセッサに結合され、かつ、部屋を表す３Ｄ点群であって点の
サイクルを決定可能な３Ｄ点群をキャプチャするように構成された、１つまたは複数のセ
ンサを、さらに備え、かつ／あるいは、当該センサに接続され、かつ／あるいは、当該セ
ンサに接続可能である。前記センサ（群）は、１つまたは複数の可搬型センサを含んでい
てもよい。前記センサ（群）は、１つまたは複数の深度センサ、ＲＧＢ深度センサ、およ
び／または、１つまたは複数のレーザスキャナを含んでいてもよい。
【図面の簡単な説明】
【0032】
【図1】本方法の例を説明するための図である。
【図2】本方法の例を説明するための図である。
【図3】本方法の例を説明するための図である。
【図4】本方法の例を説明するための図である。
【図5】本方法の例を説明するための図である。
【図6】本方法の例を説明するための図である。
【図7】本方法の例を説明するための図である。
【図8】本方法の例を説明するための図である。
【図9】本方法の例を説明するための図である。
【図10】本システムの一例を示す。
【発明を実施するための形態】
【0033】
「データム」という語は、１つのデータを指す。「データ」という語は、複数のそのよ
うなデータを指す。
うなデータを指す。
【0034】
「サイクル」という語は、「環状集合（ｃｙｃｌｉｃｓｅｔ）」という数学的表現に対
応する。壁は四辺形の材料構造である。壁のサイクルは、エッジ同士が接続されたそのよ
うな四辺形の（例えば、有限の）集合であり、各四辺形は、対向するエッジにおいて厳密
に２つの他の四辺形に接続され、これにより当該集合が環を形成する。壁のサイクルは、
部屋の壁に対応していてもよい。部屋はまた、床を含み、オプションとして、天井を含む
か、あるいは、上側が開口していてもよい。部屋の壁は、床の上、例えば床と天井の間の
、四辺形パネル構造であってもよい。そのような壁は、開口（窓、ドア、あるいは他の穴
など）を含んでいてもよい。例において、壁は垂直であってもよい。そのような場合、点
は、壁を表す３Ｄ点群の水平面に対する垂直投影の結果生じてもよく、平断面は、例えば
床平面に対応する水平断面である。
応する。壁は四辺形の材料構造である。壁のサイクルは、エッジ同士が接続されたそのよ
うな四辺形の（例えば、有限の）集合であり、各四辺形は、対向するエッジにおいて厳密
に２つの他の四辺形に接続され、これにより当該集合が環を形成する。壁のサイクルは、
部屋の壁に対応していてもよい。部屋はまた、床を含み、オプションとして、天井を含む
か、あるいは、上側が開口していてもよい。部屋の壁は、床の上、例えば床と天井の間の
、四辺形パネル構造であってもよい。そのような壁は、開口（窓、ドア、あるいは他の穴
など）を含んでいてもよい。例において、壁は垂直であってもよい。そのような場合、点
は、壁を表す３Ｄ点群の水平面に対する垂直投影の結果生じてもよく、平断面は、例えば
床平面に対応する水平断面である。
【0035】
壁のサイクルは、直方体とは異なる構造を形成してもよい。壁のサイクルは、９０°と
は異なる角度で接続された連続する壁の対を含んでいてもよい。壁のサイクルは、４個と
は異なる数の壁を含んでいてもよい。
は異なる角度で接続された連続する壁の対を含んでいてもよい。壁のサイクルは、４個と
は異なる数の壁を含んでいてもよい。
【0036】
「建築物のレイアウト」という表現は、建築構造物がどのように配置されているかを表
す情報を指す。本方法によって決定される頂点のサイクルは、セグメントのサイクルに対
応し、各セグメントは、境界が定められ、それにより頂点のサイクルのうち連続した一対
の頂点によって定義され、各セグメントは、壁のサイクルのうちのそれぞれの壁に対応す
る。このように、頂点のサイクルは壁同士の配置を表す。このような比較的精密な情報は
、未処理のまま壁のサイクルの平面断面を表し得る、提供された点のサイクルとは対照的
に、建築物のレイアウトを表す。
す情報を指す。本方法によって決定される頂点のサイクルは、セグメントのサイクルに対
応し、各セグメントは、境界が定められ、それにより頂点のサイクルのうち連続した一対
の頂点によって定義され、各セグメントは、壁のサイクルのうちのそれぞれの壁に対応す
る。このように、頂点のサイクルは壁同士の配置を表す。このような比較的精密な情報は
、未処理のまま壁のサイクルの平面断面を表し得る、提供された点のサイクルとは対照的
に、建築物のレイアウトを表す。
【0037】
本方法は、例えば、本方法内で予め提供されるか、あるいは決定され得る床平面と天井
平面との間のセグメントのサイクルの押し出しに対応する、３Ｄレイアウトをさらに決定
してもよい。
平面との間のセグメントのサイクルの押し出しに対応する、３Ｄレイアウトをさらに決定
してもよい。
【0038】
第１のデータは、例えば本方法の初期段階で、例えば点のサイクル（例えば、点のサイ
クルのみ）に基づいて決定されてもよい。第１のデータムは、それぞれの点において点の
サイクルに垂直な方向を表す。第１のデータムは、それぞれの点において、壁の断面の真
の法線に近似していてもよい。前記第１のデータムは、ベクトルであってもよい。第１の
データムは、各点のそれぞれの側の２つの点、例えば、（各点に対して）距離閾値未満の
点のサイクルに対応するグラフ上の２つの点によって境界付けられたセグメントに垂直な
方向を表していてもよく、例えば、これらの点はそれぞれ当該閾値とまったく同じ距離に
ある。当該距離は、グラフ距離であってもよい。当該２つの点は、例えば、点のサイクル
における各点に隣接する２つの点であってもよい。サイクルでは、隣接する２つの要素は
、定義上、サイクルにおいて一方が他方に連続するような二つの要素である。
クルのみ）に基づいて決定されてもよい。第１のデータムは、それぞれの点において点の
サイクルに垂直な方向を表す。第１のデータムは、それぞれの点において、壁の断面の真
の法線に近似していてもよい。前記第１のデータムは、ベクトルであってもよい。第１の
データムは、各点のそれぞれの側の２つの点、例えば、（各点に対して）距離閾値未満の
点のサイクルに対応するグラフ上の２つの点によって境界付けられたセグメントに垂直な
方向を表していてもよく、例えば、これらの点はそれぞれ当該閾値とまったく同じ距離に
ある。当該距離は、グラフ距離であってもよい。当該２つの点は、例えば、点のサイクル
における各点に隣接する２つの点であってもよい。サイクルでは、隣接する２つの要素は
、定義上、サイクルにおいて一方が他方に連続するような二つの要素である。
【0039】
第２のデータムは、それが割り当てられた点においてレイアウトに垂直な方向を表す。
第２のデータは、第１のデータ同様、ベクトルであってもよい。第２のデータの集合は、
第１のデータの集合よりも小さくてもよい。ラベルは、有限かつ／または予め定められ得
る第２のデータの集合内の値をとる。第２のデータの集合は、例えば角度の範囲［０°，
３６０°］または［０°，１８０°］から、例えば規則的にサンプリングしたものに対応
していてもよく、各角度は、任意の共通基準軸またはベクトル（自由に決めてもよい）に
対する方向を定義する。サンプリングは、０°の値、３６０、１８０、９０、４５、３０
、および１５に等しいかそれらより小さい値、および／または、１、２、４、または１０
に等しいかそれらより大きい値を含んでいてもよい。サンプリングは、例えば、｛０°，
４５°，９０°，１３５°｝または｛０°，１５°，３０°，４５°，６０°，７５°，
９０°，１０５°，１２０°，１３５°，１５０°，１６５°｝であってもよい。
第２のデータは、第１のデータ同様、ベクトルであってもよい。第２のデータの集合は、
第１のデータの集合よりも小さくてもよい。ラベルは、有限かつ／または予め定められ得
る第２のデータの集合内の値をとる。第２のデータの集合は、例えば角度の範囲［０°，
３６０°］または［０°，１８０°］から、例えば規則的にサンプリングしたものに対応
していてもよく、各角度は、任意の共通基準軸またはベクトル（自由に決めてもよい）に
対する方向を定義する。サンプリングは、０°の値、３６０、１８０、９０、４５、３０
、および１５に等しいかそれらより小さい値、および／または、１、２、４、または１０
に等しいかそれらより大きい値を含んでいてもよい。サンプリングは、例えば、｛０°，
４５°，９０°，１３５°｝または｛０°，１５°，３０°，４５°，６０°，７５°，
９０°，１０５°，１２０°，１３５°，１５０°，１６５°｝であってもよい。
【0040】
ＭＲＦエネルギーの最小化は、厳密最小化または擬似最小化であってもよい。本質的に
、本方法は、第１のデータによって提供される大まかな情報をクリーニング、訂正、およ
び／または、整理して、壁の識別を可能にする情報にすることを目的とする。ＭＲＦは、
第１のデータを考慮したペナルティ項により、そのようなクリーニング、訂正、および／
または、整理を実行する。
、本方法は、第１のデータによって提供される大まかな情報をクリーニング、訂正、およ
び／または、整理して、壁の識別を可能にする情報にすることを目的とする。ＭＲＦは、
第１のデータを考慮したペナルティ項により、そのようなクリーニング、訂正、および／
または、整理を実行する。
【0041】
単項は、各点について、割り当てられた第２のデータムによって表される方向と、割り
当てられた第１のデータムによって表される方向との、角距離にペナルティを科す。言い
換えれば、ＭＲＦ最小化は、既に割り当てられた第１のデータムによって表される方向に
近い方向を表す第２のデータムを各点に割り当てる傾向がある。このように、単項は、角
距離の増加関数であるコスト関数を構成する。増加は必ずしも厳密ではなく、コスト関数
は一定ではない。
当てられた第１のデータムによって表される方向との、角距離にペナルティを科す。言い
換えれば、ＭＲＦ最小化は、既に割り当てられた第１のデータムによって表される方向に
近い方向を表す第２のデータムを各点に割り当てる傾向がある。このように、単項は、角
距離の増加関数であるコスト関数を構成する。増加は必ずしも厳密ではなく、コスト関数
は一定ではない。
【0042】
バイナリ項は、連続する点の組のそれぞれついて、割り当てられた第１のデータによっ
て表される方向間の角距離が減少するほど、割り当てられた第２のデータによって表され
る方向間の角距離に、より大きなペナルティを科す。言い換えれば、ＭＲＦ最小化は、少
なくとも第１のデータが互いに近接する方向を表すときに、２つの連続する点に対して、
互いに近接する方向を表す第２のデータを割り当てる傾向がある。このように、バイナリ
項は、割り当てられた第２のデータによって表される方向間の角距離の所与の値に対して
は割り当てられた第１のデータによって表される方向間の角距離についての減少関数であ
り、また、割り当てられた第１のデータによって表される方向間の角距離の所与の値に対
しては割り当てられた第２のデータによって表される方向間の角距離についての増加関数
である、コスト関数を構成する。前記増減は必ずしも厳密なものではなく、割り当てられ
た第１データによって表される方向間の角距離の少なくとも１つの所与の値に対して、増
加関数は一定ではない。
て表される方向間の角距離が減少するほど、割り当てられた第２のデータによって表され
る方向間の角距離に、より大きなペナルティを科す。言い換えれば、ＭＲＦ最小化は、少
なくとも第１のデータが互いに近接する方向を表すときに、２つの連続する点に対して、
互いに近接する方向を表す第２のデータを割り当てる傾向がある。このように、バイナリ
項は、割り当てられた第２のデータによって表される方向間の角距離の所与の値に対して
は割り当てられた第１のデータによって表される方向間の角距離についての減少関数であ
り、また、割り当てられた第１のデータによって表される方向間の角距離の所与の値に対
しては割り当てられた第２のデータによって表される方向間の角距離についての増加関数
である、コスト関数を構成する。前記増減は必ずしも厳密なものではなく、割り当てられ
た第１データによって表される方向間の角距離の少なくとも１つの所与の値に対して、増
加関数は一定ではない。
【0043】
同一の第２のデータムが割り当てられる連続する点の極大集合は、任意の所与の点につ
いて、当該所与の点に割り当てられた同一の第２のデータムが割り当てられた当該所与の
点を含む連続した点の最大の集合である。
いて、当該所与の点に割り当てられた同一の第２のデータムが割り当てられた当該所与の
点を含む連続した点の最大の集合である。
【0044】
極大集合は、（決定された頂点によって境界付けられた）セグメントに適合させる。こ
れは、頂点が、各極大集合の点に対応する位置にセグメントがそれぞれ局在するように決
定されることを意味する。当該適合は、セグメントが、それぞれの極大集合における点に
割り当てられた第２のデータムによって表される方向に対して垂直であれば、そのような
任意の位置決めに対応していてもよい。一例は後で示す。
れは、頂点が、各極大集合の点に対応する位置にセグメントがそれぞれ局在するように決
定されることを意味する。当該適合は、セグメントが、それぞれの極大集合における点に
割り当てられた第２のデータムによって表される方向に対して垂直であれば、そのような
任意の位置決めに対応していてもよい。一例は後で示す。
【0045】
本方法は、コンピュータにより実施される。すなわち、本方法のステップ（あるいは略
全てのステップ）が少なくとも１つのコンピュータ、または類似の任意のシステムによっ
て実行される。よって本方法のステップは、コンピュータにより、完全に自動的に、ある
いは半自動的に実行される可能性がある。例えば、本方法の少なくともいくつかのステッ
プは、ユーザとコンピュータの対話を通じて始動されてもよい。求められるユーザとコン
ピュータの対話レベルは、想定される自動性のレベルに応じたものであって、ユーザの要
望を実装する必要性との間でバランスをとるものとしてもよい。例えば、このレベルは、
ユーザが設定し、かつ／あるいは、予め定義されていてもよい。
全てのステップ）が少なくとも１つのコンピュータ、または類似の任意のシステムによっ
て実行される。よって本方法のステップは、コンピュータにより、完全に自動的に、ある
いは半自動的に実行される可能性がある。例えば、本方法の少なくともいくつかのステッ
プは、ユーザとコンピュータの対話を通じて始動されてもよい。求められるユーザとコン
ピュータの対話レベルは、想定される自動性のレベルに応じたものであって、ユーザの要
望を実装する必要性との間でバランスをとるものとしてもよい。例えば、このレベルは、
ユーザが設定し、かつ／あるいは、予め定義されていてもよい。
【0046】
方法のコンピュータによる実施の典型的な例は、この目的に適したシステムを用いて本
方法を実行することである。当該システムは、本方法を実行するための命令を含むコンピ
ュータプログラムを記録したメモリに接続されたプロセッサ、および、グラフィカル・ユ
ーザ・インターフェース（ＧＵＩ）を備えていてもよい。メモリは、データベースを記憶
していてもよい。メモリは、そのような記憶に適した任意のハードウェアであり、場合に
より、物理的に区別可能ないくつかの部分（例えば、プログラム用に１つ、場合によりデ
ータベース用に１つ）を含む。
方法を実行することである。当該システムは、本方法を実行するための命令を含むコンピ
ュータプログラムを記録したメモリに接続されたプロセッサ、および、グラフィカル・ユ
ーザ・インターフェース（ＧＵＩ）を備えていてもよい。メモリは、データベースを記憶
していてもよい。メモリは、そのような記憶に適した任意のハードウェアであり、場合に
より、物理的に区別可能ないくつかの部分（例えば、プログラム用に１つ、場合によりデ
ータベース用に１つ）を含む。
【0047】
本方法は、一般に、モデル化オブジェクトを操作する。モデル化オブジェクトは、例え
ばデータベースに格納されたデータによって定義される任意のオブジェクトである。さら
には、「モデル化オブジェクト」という表現は、データそのものも指す。システムの種類
に応じて、異なる種類のデータによってモデル化オブジェクトが定義されてもよい。実際
、システムは、ＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、お
よび／またはＰＬＭシステムのうちの任意の組み合わせであってもよい。それら異なるシ
ステムにおいて、モデル化オブジェクトは、対応するデータによって定義される。したが
って、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェ
クト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ
、ＣＡＥデータについて言及することがある。しかしながら、モデル化オブジェクトは、
これらのシステムの任意の組み合わせに対応するデータによって定義されてもよいため、
これらのシステムは、互いに排他的なものではない。したがって、システムは、ＣＡＤ兼
ＰＬＭシステムであってもよい。
ばデータベースに格納されたデータによって定義される任意のオブジェクトである。さら
には、「モデル化オブジェクト」という表現は、データそのものも指す。システムの種類
に応じて、異なる種類のデータによってモデル化オブジェクトが定義されてもよい。実際
、システムは、ＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、お
よび／またはＰＬＭシステムのうちの任意の組み合わせであってもよい。それら異なるシ
ステムにおいて、モデル化オブジェクトは、対応するデータによって定義される。したが
って、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェ
クト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ
、ＣＡＥデータについて言及することがある。しかしながら、モデル化オブジェクトは、
これらのシステムの任意の組み合わせに対応するデータによって定義されてもよいため、
これらのシステムは、互いに排他的なものではない。したがって、システムは、ＣＡＤ兼
ＰＬＭシステムであってもよい。
【0048】
ＣＡＤシステムは、少なくとも、ＣＡＴＩＡのようなモデル化オブジェクトのグラフィ
ック表現に基づくモデル化オブジェクトの設計に適した任意のシステムをも意味する。こ
の場合、モデル化オブジェクトを定義するデータは、モデル化オブジェクトを表現可能に
するデータを含む。ＣＡＤシステムは、例えば、辺や線を用い、また、場合により面（ｆ
ａｃｅｓ ｏｒ ｓｕｒｆａｃｅｓ）を用いて、ＣＡＤモデル化オブジェクトの表現を提
供してもよい。線、辺、あるいは面は、例えば、非一様有理Ｂスプライン（ＮＵＲＢＳ）
など、様々な様式で表現されてもよい。具体的には、ＣＡＤファイルは仕様を含み、その
仕様に基づきジオメトリが生成可能であり、よって表現が生成可能となる。モデル化オブ
ジェクトの仕様は１つまたは複数のＣＡＤファイルに格納されていてもよい。ＣＡＤシス
テムでモデル化オブジェクトを表現するファイルの典型的なサイズは、一部分あたり１メ
ガバイトの範囲である。また、モデル化オブジェクトは、典型的には、数千の部分の集合
体であってもよい。
ック表現に基づくモデル化オブジェクトの設計に適した任意のシステムをも意味する。こ
の場合、モデル化オブジェクトを定義するデータは、モデル化オブジェクトを表現可能に
するデータを含む。ＣＡＤシステムは、例えば、辺や線を用い、また、場合により面（ｆ
ａｃｅｓ ｏｒ ｓｕｒｆａｃｅｓ）を用いて、ＣＡＤモデル化オブジェクトの表現を提
供してもよい。線、辺、あるいは面は、例えば、非一様有理Ｂスプライン（ＮＵＲＢＳ）
など、様々な様式で表現されてもよい。具体的には、ＣＡＤファイルは仕様を含み、その
仕様に基づきジオメトリが生成可能であり、よって表現が生成可能となる。モデル化オブ
ジェクトの仕様は１つまたは複数のＣＡＤファイルに格納されていてもよい。ＣＡＤシス
テムでモデル化オブジェクトを表現するファイルの典型的なサイズは、一部分あたり１メ
ガバイトの範囲である。また、モデル化オブジェクトは、典型的には、数千の部分の集合
体であってもよい。
【0049】
ＣＡＤの文脈において、モデル化オブジェクトは、典型的には、３Ｄモデル化オブジェ
クト、例えば、一つの部品や部品の集合体などの製品、あるいは製品の集合体を表現する
ものであってもよい。「３Ｄモデル化オブジェクト」は、３Ｄ表現が可能なデータによっ
てモデル化される任意のオブジェクトを意味する。３Ｄ表現は、その部品をすべての角度
から見ることを可能にする。たとえば、３Ｄで表現された３Ｄモデル化オブジェクトは、
その軸のうちの任意の軸、あるいは、その表現が表示された画面中の任意の軸を中心に、
処理して回転させることが可能である。これは、特に、３Ｄモデル化されていない２Ｄア
イコンについては除外される。３Ｄ表現の表示は、設計を容易にする（すなわち、設計者
が作業を達成するスピードを統計的に速める）。
クト、例えば、一つの部品や部品の集合体などの製品、あるいは製品の集合体を表現する
ものであってもよい。「３Ｄモデル化オブジェクト」は、３Ｄ表現が可能なデータによっ
てモデル化される任意のオブジェクトを意味する。３Ｄ表現は、その部品をすべての角度
から見ることを可能にする。たとえば、３Ｄで表現された３Ｄモデル化オブジェクトは、
その軸のうちの任意の軸、あるいは、その表現が表示された画面中の任意の軸を中心に、
処理して回転させることが可能である。これは、特に、３Ｄモデル化されていない２Ｄア
イコンについては除外される。３Ｄ表現の表示は、設計を容易にする（すなわち、設計者
が作業を達成するスピードを統計的に速める）。
【0050】
コンピュータプログラムは、コンピュータによって実行可能な命令を含んでいてもよく
、命令は、上記システムに方法を実行させるための手段を含む。プログラムは、システム
のメモリを含む任意のデータ記憶媒体に記録可能であってもよい。プログラムは、例えば
、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア
、またはそれらの組み合わせで実装されてもよい。プログラムは、例えばプログラマブル
プロセッサによる実行のための機械読み取り可能な記憶装置に具体的に実現された製品の
ような装置として実装されてもよい。方法ステップは、プログラム可能なプロセッサが命
令のプログラムを実行し、入力データを操作して出力を生成することによって方法の機能
を実行することによって実行されてもよい。したがって、プロセッサは、データ記憶シス
テム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータ
および命令を受信し、また、それらにデータおよび命令を送信するようにプログラム可能
であってもよく、またそのように接続されていてもよい。アプリケーションプログラムは
、高水準の手続き型またはオブジェクト指向のプログラミング言語で、または必要に応じ
てアセンブリ言語または機械語で実装されていてもよい。いずれの場合も、言語はコンパ
イラ型言語またはインタープリタ型言語であってもよい。プログラムは、フルインストー
ルプログラムまたは更新プログラムであってもよい。いずれの場合も、プログラムをシス
テムに適用すると、本方法を実行するための指示が得られる。
、命令は、上記システムに方法を実行させるための手段を含む。プログラムは、システム
のメモリを含む任意のデータ記憶媒体に記録可能であってもよい。プログラムは、例えば
、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア
、またはそれらの組み合わせで実装されてもよい。プログラムは、例えばプログラマブル
プロセッサによる実行のための機械読み取り可能な記憶装置に具体的に実現された製品の
ような装置として実装されてもよい。方法ステップは、プログラム可能なプロセッサが命
令のプログラムを実行し、入力データを操作して出力を生成することによって方法の機能
を実行することによって実行されてもよい。したがって、プロセッサは、データ記憶シス
テム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータ
および命令を受信し、また、それらにデータおよび命令を送信するようにプログラム可能
であってもよく、またそのように接続されていてもよい。アプリケーションプログラムは
、高水準の手続き型またはオブジェクト指向のプログラミング言語で、または必要に応じ
てアセンブリ言語または機械語で実装されていてもよい。いずれの場合も、言語はコンパ
イラ型言語またはインタープリタ型言語であってもよい。プログラムは、フルインストー
ルプログラムまたは更新プログラムであってもよい。いずれの場合も、プログラムをシス
テムに適用すると、本方法を実行するための指示が得られる。
【0051】
本方法は、例えば、壁をクラッタからクラスタリングしたり、あるいは、部分的なレイ
アウトを抽出したりするのではなく、部屋の完全なレイアウトを抽出するのに適用しても
よい。本方法では、ラベル付けされたトレーニングサンプルからの任意の学習ステップを
除外してもよい。本方法は、無色の点群に対して機能してもよいため、任意のＲＧＢデー
タについて、その使用を除外してもよい。本方法は、入力データのノイズに対してロバス
トである。本方法は、任意のセンサまたはアルゴリズムで再構成された任意の３Ｄ点群を
用いて適用してもよい。本方法では、レイアウトに関する強い仮定を除外してもよい。レ
イアウトは、直方体に対応する必要はなく、マンハッタンワールドの仮定に従う必要はな
く、また非凸状であってもよい。抽出されたレイアウトには、建築物の詳細な内容が含ま
れ得る。本方法の根底にあるアルゴリズムは、例えば、実行可能で正確なレイアウトと考
えられるものを実現するために、取り得る壁の間の角度が特定の有限の集合（例えば｛０
°，４５°，９０°，１３５°｝）に属するレイアウトを提供するように制約されていて
もよい。この方法は、最終レイアウトにおいて正確なメトリックを、３Ｄ再構成シーンが
そのようなメトリックを所有する場合に提供してもよい。
アウトを抽出したりするのではなく、部屋の完全なレイアウトを抽出するのに適用しても
よい。本方法では、ラベル付けされたトレーニングサンプルからの任意の学習ステップを
除外してもよい。本方法は、無色の点群に対して機能してもよいため、任意のＲＧＢデー
タについて、その使用を除外してもよい。本方法は、入力データのノイズに対してロバス
トである。本方法は、任意のセンサまたはアルゴリズムで再構成された任意の３Ｄ点群を
用いて適用してもよい。本方法では、レイアウトに関する強い仮定を除外してもよい。レ
イアウトは、直方体に対応する必要はなく、マンハッタンワールドの仮定に従う必要はな
く、また非凸状であってもよい。抽出されたレイアウトには、建築物の詳細な内容が含ま
れ得る。本方法の根底にあるアルゴリズムは、例えば、実行可能で正確なレイアウトと考
えられるものを実現するために、取り得る壁の間の角度が特定の有限の集合（例えば｛０
°，４５°，９０°，１３５°｝）に属するレイアウトを提供するように制約されていて
もよい。この方法は、最終レイアウトにおいて正確なメトリックを、３Ｄ再構成シーンが
そのようなメトリックを所有する場合に提供してもよい。
【0052】
本方法は、ロバストなアプローチを形成してもよく、また、色なしの屋内の部屋の３Ｄ
点群を入力とすることができて、点群内にノイズが存在する場合であっても、自動的にそ
こからレイアウトを抽出するシステムまたは装置によって実装されてもよい。レイアウト
の壁の、出力された内角は、比較的高精度であってもよい。
点群を入力とすることができて、点群内にノイズが存在する場合であっても、自動的にそ
こからレイアウトを抽出するシステムまたは装置によって実装されてもよい。レイアウト
の壁の、出力された内角は、比較的高精度であってもよい。
【0053】
図１は、本方法を統合する工程の一例を示す。
【0054】
【0055】
【0056】
図２の方法は、再構成された３Ｄ点群において、壁、天井、および床を、例えば、平面
パッチ抽出アルゴリズムを用いて、例えばＲＡＮＳＡＣアルゴリズムに基づいて、検出す
る。そして、図２の方法は、例えば間取り図上に投影された、点群の輪郭（例えば凹包）
を抽出する。次に、図２の方法は、ＭＲＦ最適化を用いて、レイアウトの識別された壁を
セグメント化し、各壁と次の壁との間の直角を推定する。次に、図２の方法は、ＭＲＦ最
適化の結果によって推定される制約を用いて最終的なレイアウトをさらに最適化する。本
方法は、最終的に、屋内シーンの多面体３Ｄレイアウトを出力する。
パッチ抽出アルゴリズムを用いて、例えばＲＡＮＳＡＣアルゴリズムに基づいて、検出す
る。そして、図２の方法は、例えば間取り図上に投影された、点群の輪郭（例えば凹包）
を抽出する。次に、図２の方法は、ＭＲＦ最適化を用いて、レイアウトの識別された壁を
セグメント化し、各壁と次の壁との間の直角を推定する。次に、図２の方法は、ＭＲＦ最
適化の結果によって推定される制約を用いて最終的なレイアウトをさらに最適化する。本
方法は、最終的に、屋内シーンの多面体３Ｄレイアウトを出力する。
【0057】
ここで、本方法の詳細な例を図３のフローチャートを参照して説明する。本方法のこの
例を以下では「本方法」と呼ぶ。本方法のステップは、図面上では順番に表されているが
、これらステップは、順番であってもよいし、インターレースされていてもよい。
例を以下では「本方法」と呼ぶ。本方法のステップは、図面上では順番に表されているが
、これらステップは、順番であってもよいし、インターレースされていてもよい。
【0058】
本方法は、部屋（「シーン」とも呼ぶ）を表す３Ｄ点群をキャプチャすること（Ｓ１２
）を含む。３Ｄ点群は、未処理の３Ｄ点または３Ｄメッシュの頂点の集合から成っていて
もよい。３Ｄ点群は、任意の色データを除外してもよい。当該キャプチャリング（Ｓ１２
）は、例えば、１つまたは複数のセンサを用いて測定を行い、測定値から３Ｄ点群を決定
するなど、任意の方法で行ってもよい。前記１つまたは複数のセンサは、そのような目的
のために構成された任意のセンサ、例えば、単なるＲＧＢセンサでないセンサ、例えば、
深度センサ、ＲＧＢ深度センサ、および／または、レーザスキャンセンサなどを含むか、
またはこれらからなっていてもよい。他の例では、３Ｄ点群は、例えば遠隔システムから
受信するか、あるいはデータベース内で検索するなど、他の任意の方法で提供されてもよ
い。
）を含む。３Ｄ点群は、未処理の３Ｄ点または３Ｄメッシュの頂点の集合から成っていて
もよい。３Ｄ点群は、任意の色データを除外してもよい。当該キャプチャリング（Ｓ１２
）は、例えば、１つまたは複数のセンサを用いて測定を行い、測定値から３Ｄ点群を決定
するなど、任意の方法で行ってもよい。前記１つまたは複数のセンサは、そのような目的
のために構成された任意のセンサ、例えば、単なるＲＧＢセンサでないセンサ、例えば、
深度センサ、ＲＧＢ深度センサ、および／または、レーザスキャンセンサなどを含むか、
またはこれらからなっていてもよい。他の例では、３Ｄ点群は、例えば遠隔システムから
受信するか、あるいはデータベース内で検索するなど、他の任意の方法で提供されてもよ
い。
【0059】
３Ｄ点群は部屋の異なる構造物上の位置を表し、当該構造物には、壁、あるいは床や天
井のような他の構造物、および／または、家具や他の物体のような、室内の任意の構造物
が含まれる。キャプチャリング（Ｓ１２）は、例えば、１つまたは複数のセンサを含む装
置を前記構造物の方に向けて、室内において前記構造物に対する測定を実行することを含
んでいてもよい。キャプチャリング（Ｓ１２）は、１人または複数の人間が室内で装置を
運搬し、例えば装置を手で運搬するときに、装置を操作して測定を行うことによって実行
されてもよい。これは高度なエルゴノミクスを提供する。キャプチャリング（Ｓ１２）は
、そのような人間が建物全体の中で装置を運搬する全体的な工程に統合されていてもよい
。そのような場合、キャプチャされたデータの異なる部屋への割り当ては、任意の方法で
実行してもよく、本方法は、各部屋に対して独立して実行してもよい。
井のような他の構造物、および／または、家具や他の物体のような、室内の任意の構造物
が含まれる。キャプチャリング（Ｓ１２）は、例えば、１つまたは複数のセンサを含む装
置を前記構造物の方に向けて、室内において前記構造物に対する測定を実行することを含
んでいてもよい。キャプチャリング（Ｓ１２）は、１人または複数の人間が室内で装置を
運搬し、例えば装置を手で運搬するときに、装置を操作して測定を行うことによって実行
されてもよい。これは高度なエルゴノミクスを提供する。キャプチャリング（Ｓ１２）は
、そのような人間が建物全体の中で装置を運搬する全体的な工程に統合されていてもよい
。そのような場合、キャプチャされたデータの異なる部屋への割り当ては、任意の方法で
実行してもよく、本方法は、各部屋に対して独立して実行してもよい。
【0060】
本方法は、次いで、オプションとしての３Ｄ点群の前処理（Ｓ１４）を含む。他の例で
は、３Ｄ点群は、本方法の次のステップに直接入力してもよい。前処理（Ｓ１４）により
、本方法の残りの部分が比較的クリーンなデータに対して機能し、それにより、よりロバ
ストに実行できるようになる。
は、３Ｄ点群は、本方法の次のステップに直接入力してもよい。前処理（Ｓ１４）により
、本方法の残りの部分が比較的クリーンなデータに対して機能し、それにより、よりロバ
ストに実行できるようになる。
【0061】
前処理（Ｓ１４）は、シーン内の点の濃度を均一にするため、ボクセル化グリッドを用
いて、入力点群をフィルタリングすることを含んでいてもよい。次いで、前処理（Ｓ１４
）は、メインフレームをその主軸に揃えるために、点群に、主成分分析（Ｐｒｉｎｃｉｐ
ａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ： ＰＣＡ）を適用してもよい。
いて、入力点群をフィルタリングすることを含んでいてもよい。次いで、前処理（Ｓ１４
）は、メインフレームをその主軸に揃えるために、点群に、主成分分析（Ｐｒｉｎｃｉｐ
ａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ： ＰＣＡ）を適用してもよい。
【0062】
この段階で、ｚベクトルも３Ｄ点群に割り当ててもよい。例えば、ｚベクトルは、慣例
的に、ＰＣＡの最小分散軸に関連付けられた主軸となるように設定することができる。こ
のように、ｚ軸は屋内シーンの垂直な軸、すなわち床に直交する軸を概ね指す。
的に、ＰＣＡの最小分散軸に関連付けられた主軸となるように設定することができる。こ
のように、ｚ軸は屋内シーンの垂直な軸、すなわち床に直交する軸を概ね指す。
【0063】
本方法は、次いで、この例ではランダム・サンプル・コンセンサス・アルゴリズムを用
いて、部屋を表す３Ｄ点群内の平面（例えば、全ての平面）を検出すること（Ｓ２２）を
含むが、代わりに、同目的のために構成された他の任意のアルゴリズムを用いてもよい。
いて、部屋を表す３Ｄ点群内の平面（例えば、全ての平面）を検出すること（Ｓ２２）を
含むが、代わりに、同目的のために構成された他の任意のアルゴリズムを用いてもよい。
【0064】
ランダム・サンプル・コンセンサス・アルゴリズムは、以下の論文に記載のものであっ
てもよい。
・Ｒ．Ｈａｒｔｌｅｙ，Ａ．Ｚｉｓｓｅｒｍａｎ，“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇ
ｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，ｉｎ Ｃａｍｂｒｉｄｇｅ
Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ ２００３．
てもよい。
・Ｒ．Ｈａｒｔｌｅｙ，Ａ．Ｚｉｓｓｅｒｍａｎ，“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇ
ｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，ｉｎ Ｃａｍｂｒｉｄｇｅ
Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ ２００３．
【0065】
次のステップは、ＲＡＮＳＡＣアルゴリズムによって検出されたすべての平面および投
影平面における壁の候補を決定すること（Ｓ２４）からなる。投影平面は、天井と床から
選択すればよいが、オプションとして、Ｓ２４で決定して、本方法の残りの部分に出力す
ることもできる。代替的に、投影平面は、例えば、直交平面として、決定された壁の候補
に基づいて算出してもよい。
影平面における壁の候補を決定すること（Ｓ２４）からなる。投影平面は、天井と床から
選択すればよいが、オプションとして、Ｓ２４で決定して、本方法の残りの部分に出力す
ることもできる。代替的に、投影平面は、例えば、直交平面として、決定された壁の候補
に基づいて算出してもよい。
【0066】
特に効率的な例では、本方法は、法線ベクトルとｚベクトルが所定の閾値よりも大きい
角度（例えば、５０°あるいは６０°よりも大きい角度、例えば７５°）を形成する平面
を選択することによって、壁である可能性のある平面を識別してもよい。天井は、法線ベ
クトルとｚベクトルが所定の閾値よりも小さい角度（例えば、５０°あるいは４０°より
も小さい角度、例えば２０°）を形成するすべての平面のうち、ｚ軸に沿った重心が最も
高い平面であるとして識別してもよい。床は、法線ベクトルとｚベクトルが所定の閾値よ
りも小さい角度（例えば、５０°あるいは４０°よりも小さい角度、例えば２０°）を形
成するすべての平面のうち、ｚ軸に沿った重心が最も低い平面であるとして識別してもよ
い。最後に、オプションとして、本方法では、ｋｄ木を用いた単純なユークリッド・クラ
スタリングを実行することにより、壁の候補を異なる均一な平面パッチに分割し、それに
より、より正確な壁の候補を得てもよい。
角度（例えば、５０°あるいは６０°よりも大きい角度、例えば７５°）を形成する平面
を選択することによって、壁である可能性のある平面を識別してもよい。天井は、法線ベ
クトルとｚベクトルが所定の閾値よりも小さい角度（例えば、５０°あるいは４０°より
も小さい角度、例えば２０°）を形成するすべての平面のうち、ｚ軸に沿った重心が最も
高い平面であるとして識別してもよい。床は、法線ベクトルとｚベクトルが所定の閾値よ
りも小さい角度（例えば、５０°あるいは４０°よりも小さい角度、例えば２０°）を形
成するすべての平面のうち、ｚ軸に沿った重心が最も低い平面であるとして識別してもよ
い。最後に、オプションとして、本方法では、ｋｄ木を用いた単純なユークリッド・クラ
スタリングを実行することにより、壁の候補を異なる均一な平面パッチに分割し、それに
より、より正確な壁の候補を得てもよい。
【0067】
気づくとおり、アルゴリズムは、実際には壁ではない部屋内の壁の候補を検出する可能
性がある。また、この段階では、本方法では、ｚ軸が天井を向いているか床を向いている
かが分からないため、床と天井が逆になることがある。しかし、これらは本方法において
後に実行されるステップのおかげで、問題とはならない。
性がある。また、この段階では、本方法では、ｚ軸が天井を向いているか床を向いている
かが分からないため、床と天井が逆になることがある。しかし、これらは本方法において
後に実行されるステップのおかげで、問題とはならない。
【0068】
【0069】
本方法は、次いで、壁のサイクルを表す３Ｄ点群を、投影平面、例えば床平面上に投影
すること（Ｓ３０）を含む。当該投影（Ｓ３０）は垂直であってもよい。言い換えれば、
本方法では、壁の候補、天井、および床に属する点を、床平面上に投影し、点群の２Ｄ表
現を導き出す。これによって得られた２Ｄ点群は、上側から見た表現である。投影された
壁の各候補は、このとき、床平面上で概ね一直線をなす。
すること（Ｓ３０）を含む。当該投影（Ｓ３０）は垂直であってもよい。言い換えれば、
本方法では、壁の候補、天井、および床に属する点を、床平面上に投影し、点群の２Ｄ表
現を導き出す。これによって得られた２Ｄ点群は、上側から見た表現である。投影された
壁の各候補は、このとき、床平面上で概ね一直線をなす。
【0070】
本方法では、壁を表すものとして検出された平面のそれぞれについて、投影の結果の線
形回帰（Ｓ４２）を行う。言い換えれば、本方法は、例えば、壁の各候補について最良の
線を最小二乗することにより、回帰を行う。次いで、本方法は、各壁の２Ｄ点を適合させ
た線上に投影し（Ｓ４４）、その結果を出力する（Ｓ４６）。これにより入力スキャン中
のノイズをフィルタリングできる。
形回帰（Ｓ４２）を行う。言い換えれば、本方法は、例えば、壁の各候補について最良の
線を最小二乗することにより、回帰を行う。次いで、本方法は、各壁の２Ｄ点を適合させ
た線上に投影し（Ｓ４４）、その結果を出力する（Ｓ４６）。これにより入力スキャン中
のノイズをフィルタリングできる。
【0071】
【0072】
本方法では、次いで、出力された２Ｄ点群の凹包を決定する（Ｓ５２）。これは任意の
方法で行うことができる。図３の方法の代わりとしては、凹包は、例えば、遠隔システム
から受信するか、あるいはデータベース内で検索するなどして提供される。
方法で行うことができる。図３の方法の代わりとしては、凹包は、例えば、遠隔システム
から受信するか、あるいはデータベース内で検索するなどして提供される。
【0073】
特に良好な結果が得られるようにテストした例では、決定（Ｓ５２）はＳ４６で出力さ
れた２Ｄ点群のアルファシェイプを抽出することによって実行してもよい。
れた２Ｄ点群のアルファシェイプを抽出することによって実行してもよい。
【0074】
これは、以下の論文に記載されているように実行してもよい。
・Ｎ．Ａｋｋｉｒａｊｕ，Ｈ．Ｅｄｅｌｓｂｒｕｎｎｅｒ，Ｍ．Ｆａｃｅｌｌｏ，Ｐ．
Ｆｕ，Ｅ．Ｍｕｃｋｅ，Ｃ．Ｖａｒｅｌａ，“Ａｌｐｈａ Ｓｈａｐｅｓ： Ｄｅｆｉｎ
ｉｔｉｏｎ ａｎｄ Ｓｏｆｔｗａｒｅ”，ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍ
ｐｕｔａｔｉｏｎａｌ Ｇｅｏｍｅｔｒｙ Ｓｏｆｔｗａｒｅ Ｗｏｒｋｓｈｏｐ １９
９５．
・Ｎ．Ａｋｋｉｒａｊｕ，Ｈ．Ｅｄｅｌｓｂｒｕｎｎｅｒ，Ｍ．Ｆａｃｅｌｌｏ，Ｐ．
Ｆｕ，Ｅ．Ｍｕｃｋｅ，Ｃ．Ｖａｒｅｌａ，“Ａｌｐｈａ Ｓｈａｐｅｓ： Ｄｅｆｉｎ
ｉｔｉｏｎ ａｎｄ Ｓｏｆｔｗａｒｅ”，ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍ
ｐｕｔａｔｉｏｎａｌ Ｇｅｏｍｅｔｒｙ Ｓｏｆｔｗａｒｅ Ｗｏｒｋｓｈｏｐ １９
９５．
【0075】
アルファシェイプは、２Ｄ点群の包を表す。アルファが大きいほど、アルファシェイプ
によって与えられる包が、より凸となる。アルファ値を調整するための効率的なスキーム
は以下の通りである。本方法では、点群について、ミリメートル単位で、アルファ＝２０
０から開始してもよい。本方法では、パイプライン全体の最後に、レイアウトＰの外周を
、アルファシェイプの長さＬ、および投影されたポイントクラウドＣの凸包の長さと比較
してもよい。
の場合、または
の場合、または
の場合、アルゴリズムは、アルファを１００×ｉだけ増加させた後、このステップから再
開してもよい。ここでｉは繰り返しの現在の回である。
によって与えられる包が、より凸となる。アルファ値を調整するための効率的なスキーム
は以下の通りである。本方法では、点群について、ミリメートル単位で、アルファ＝２０
０から開始してもよい。本方法では、パイプライン全体の最後に、レイアウトＰの外周を
、アルファシェイプの長さＬ、および投影されたポイントクラウドＣの凸包の長さと比較
してもよい。
【数10】
の場合、または
【数11】
の場合、または
【数12】
の場合、アルゴリズムは、アルファを１００×ｉだけ増加させた後、このステップから再
開してもよい。ここでｉは繰り返しの現在の回である。
【0076】
【0077】
決定（Ｓ５２）は、投影平面（例えば床平面）に沿った壁のサイクルの平断面を表す点
のクリーンなサイクルをＭＲＦに入力することを可能にする（ただし、この段階では未処
理のままである）。このように、点のサイクルは、２Ｄ点群の凹包を形成する。ここで、
２Ｄ点群は、壁のサイクルを表す３Ｄ点群の、床平面などの投影平面上への投影に対応し
、「～に対応する」という表現は、（Ｓ４２～Ｓ４４で実行するように）壁ごとの線形回
帰の結果に点を投影することによってノイズを低減するというオプションを包含する。こ
れにより、Ｓ２４で未整理の状態で検出される可能性のある壁を整理し、壁に対応しない
点を破棄し、Ｓ２４ですべての壁が検出されない場合でもＭＲＦをロバストに実行するこ
とができる。
のクリーンなサイクルをＭＲＦに入力することを可能にする（ただし、この段階では未処
理のままである）。このように、点のサイクルは、２Ｄ点群の凹包を形成する。ここで、
２Ｄ点群は、壁のサイクルを表す３Ｄ点群の、床平面などの投影平面上への投影に対応し
、「～に対応する」という表現は、（Ｓ４２～Ｓ４４で実行するように）壁ごとの線形回
帰の結果に点を投影することによってノイズを低減するというオプションを包含する。こ
れにより、Ｓ２４で未整理の状態で検出される可能性のある壁を整理し、壁に対応しない
点を破棄し、Ｓ２４ですべての壁が検出されない場合でもＭＲＦをロバストに実行するこ
とができる。
【0078】
次いで、本方法は、点のサイクルの各点に法線ベクトルである第１のデータムを割り当
てる（Ｓ５４）。図３の方法の代わりとして、凹包には、例えば、遠隔システムから受信
するか、あるいはデータベース内で検索するなどして、予めそのような第１のデータが提
供されていてもよい。次いで、本方法は、ＭＲＦエネルギーを最小化する（Ｓ６０）。本
方法は、図３に示されたシーケンスに沿って、またはＭＲＦの最小化（Ｓ６０）とインタ
ーレースして、割り当て（Ｓ５４）を実行してもよい。
てる（Ｓ５４）。図３の方法の代わりとして、凹包には、例えば、遠隔システムから受信
するか、あるいはデータベース内で検索するなどして、予めそのような第１のデータが提
供されていてもよい。次いで、本方法は、ＭＲＦエネルギーを最小化する（Ｓ６０）。本
方法は、図３に示されたシーケンスに沿って、またはＭＲＦの最小化（Ｓ６０）とインタ
ーレースして、割り当て（Ｓ５４）を実行してもよい。
【0079】
ここで、Ｓ５４－Ｓ６０のテストした効率的な実装は、以下のように表記される。以下
において、便宜上、インデックスは
に属し、よって、
のとき
が成り立つ。
において、便宜上、インデックスは
【数13】
に属し、よって、
【数14】
のとき
【数15】
が成り立つ。
【0080】
各点ｘｉは、単位法線
と関連付けられ得る。ここで、
であり、また
である。ｎｉは、ｘｉが属する壁の近似法線を表す。（０）および（１）は、２Ｄ点群が
表される２Ｄ平面の２つの座標を表す。
【数16】
と関連付けられ得る。ここで、
【数17】
であり、また
【数18】
である。ｎｉは、ｘｉが属する壁の近似法線を表す。（０）および（１）は、２Ｄ点群が
表される２Ｄ平面の２つの座標を表す。
【0081】
次いで、本方法は、これらの法線の分布において、主たる最頻値を見つけてもよい。本
方法は、各法線ｎｉについて、他の何個の法線ｎｊがｎｉと所定の閾値よりも小さい角度
（例えば２０°よりも小さい角度、例えば１０°）を形成しているかをカウントしてもよ
い。本方法は、各ｎｊの個数に、長さ
で重み付けを行ってもよい。本方法は、最大個数と関連付けられた法線を識別し、Ｎ０と
する。Ｎ０は主な壁の方向のうちの１つについての法線である。
方法は、各法線ｎｉについて、他の何個の法線ｎｊがｎｉと所定の閾値よりも小さい角度
（例えば２０°よりも小さい角度、例えば１０°）を形成しているかをカウントしてもよ
い。本方法は、各ｎｊの個数に、長さ
【数19】
で重み付けを行ってもよい。本方法は、最大個数と関連付けられた法線を識別し、Ｎ０と
する。Ｎ０は主な壁の方向のうちの１つについての法線である。
【0082】
本方法は、各壁とその隣接する壁との間の角度である第２のデータの取り得る値の有限
集合
を考慮してもよい。ここで、
である。本方法では、多くの角度が許可されるほど、レイアウト点群中のノイズへのより
高い感度を犠牲にして、レイアウト内で最も細かい内容を補足できる。本方法では、例え
ば、Ａ＝｛０°，４５°，９０°，１３５°｝、または、Ａ＝｛０°，１５°，３０°，
４５°，６０°，７５°，９０°，１０５°，１２０°，１３５°，１５０°，１６５°
｝を取り、これにより、入力点群におけるノイズに対して高いロバスト性を有するほぼあ
らゆるレイアウトを、正確にモデル化できる。しかし、例えば、１°のような最も細かい
レベルで離散化することの妨げになるような制限は本方法には存在せず、よって本方法で
は、集合Ａ内に３６０個のラベルが提供され得る。
集合
【数20】
を考慮してもよい。ここで、
【数21】
である。本方法では、多くの角度が許可されるほど、レイアウト点群中のノイズへのより
高い感度を犠牲にして、レイアウト内で最も細かい内容を補足できる。本方法では、例え
ば、Ａ＝｛０°，４５°，９０°，１３５°｝、または、Ａ＝｛０°，１５°，３０°，
４５°，６０°，７５°，９０°，１０５°，１２０°，１３５°，１５０°，１６５°
｝を取り、これにより、入力点群におけるノイズに対して高いロバスト性を有するほぼあ
らゆるレイアウトを、正確にモデル化できる。しかし、例えば、１°のような最も細かい
レベルで離散化することの妨げになるような制限は本方法には存在せず、よって本方法で
は、集合Ａ内に３６０個のラベルが提供され得る。
【0083】
Ｎｋを、すべての
についてａｋ°回転させたベクトルＮ０とする。これらはＭＲＦのラベルであってもよい
。
【数22】
についてａｋ°回転させたベクトルＮ０とする。これらはＭＲＦのラベルであってもよい
。
【0084】
本方法では、各ｘｉについての正しい法線を推定するために、ＭＲＦモデルの対ごとに
レイアウトサイクルに関連付けてもよく、それは、凹包における各壁のセグメントおよび
角度を得ることに相当する。
レイアウトサイクルに関連付けてもよく、それは、凹包における各壁のセグメントおよび
角度を得ることに相当する。
【0085】
ラベルｋに関連付けられたｘｉについてのデータまたは単項は、
に等しくてもよい。
【数23】
に等しくてもよい。
【0086】
ラベルｋを有する頂点ｘｉとラベルｍを有する頂点ｘｊという２つの接続された頂点に
ついての平滑度またはバイナリ項は、
に等しくてもよい。
ついての平滑度またはバイナリ項は、
【数24】
に等しくてもよい。
【0087】
ｌ（ｘｉ）を頂点ｘｉに関連付けられたラベル、すなわち、取り得る厳密な法線とする
。
。
【0088】
モデルに関連付けられたＭＲＦエネルギーは、
に等しくてもよい。λは正の数であってもよく、例えば、０．５より大きい。λ＝２の場
合をテストした。
【数25】
に等しくてもよい。λは正の数であってもよく、例えば、０．５より大きい。λ＝２の場
合をテストした。
【0089】
ＭＲＦのグラフは単一のサイクルであるため、本方法は、特定の実装において、サイク
ルをチェーンに分割するｘ０に対する異なるラベルを固定するたびにＬ個の確率伝搬法を
実行し、最後に、Ｌ個の構成のうち最もエネルギーの低いものを採用することによって、
そのグラフを高速かつ厳密に解決してもよい。
ルをチェーンに分割するｘ０に対する異なるラベルを固定するたびにＬ個の確率伝搬法を
実行し、最後に、Ｌ個の構成のうち最もエネルギーの低いものを採用することによって、
そのグラフを高速かつ厳密に解決してもよい。
【0090】
確率伝搬法は、以下の論文に記載の方法で実行してもよい。
Ｊ．Ｙｅｄｉｄｉａ，Ｗ．Ｆｒｅｅｍａｎ，Ｙ．Ｗｅｉｓｓ，“Ｕｎｄｅｒｓｔａｎｄ
ｉｎｇ Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ ａｎｄ Ｉｔｓ Ｇｅｎｅｒａｌｉｚ
ａｔｉｏｎｓ”，ｉｎ Ｅｘｐｌｏｒｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇ
ｅｎｃｅ ｉｎ ｔｈｅ Ｎｅｗ Ｍｉｌｌｅｎｎｉｕｍ ２００３．
Ｊ．Ｙｅｄｉｄｉａ，Ｗ．Ｆｒｅｅｍａｎ，Ｙ．Ｗｅｉｓｓ，“Ｕｎｄｅｒｓｔａｎｄ
ｉｎｇ Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ ａｎｄ Ｉｔｓ Ｇｅｎｅｒａｌｉｚ
ａｔｉｏｎｓ”，ｉｎ Ｅｘｐｌｏｒｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇ
ｅｎｃｅ ｉｎ ｔｈｅ Ｎｅｗ Ｍｉｌｌｅｎｎｉｕｍ ２００３．
【0091】
この離散最適化の結果、Ｓ６０の出力として、最初の凹包の各頂点に対する正確な推定
法線が得られる。本方法はこのように、各頂点について、その頂点が属する壁の向きを知
る。隣接する２つの頂点が同じ法線方向を共有していない場合は常に、それらが２つの異
なる壁に属していることを意味し、したがって、本方法では、同じ第２のベクトルが割り
当てられた連続する点の極大集合を識別（Ｓ７０）することによって、異なる壁における
最初の２Ｄ包のセグメントを得る。
法線が得られる。本方法はこのように、各頂点について、その頂点が属する壁の向きを知
る。隣接する２つの頂点が同じ法線方向を共有していない場合は常に、それらが２つの異
なる壁に属していることを意味し、したがって、本方法では、同じ第２のベクトルが割り
当てられた連続する点の極大集合を識別（Ｓ７０）することによって、異なる壁における
最初の２Ｄ包のセグメントを得る。
【0092】
これにより本方法では、概ね床平面を表す凹包を得る。この凹包は、それぞれが壁に関
連付けられたｎ個の２Ｄ点
の単一のサイクルからなる。
連付けられたｎ個の２Ｄ点
【数26】
の単一のサイクルからなる。
【0093】
本方法は、次いで、以下のようにレイアウト最適化を行う。
【0094】
ＷをＭＲＦによって推定された壁の数とする。本方法は、Ｗ２ｄ個の点
のポリゴンを用いて間取り図をモデル化できる。
【数27】
のポリゴンを用いて間取り図をモデル化できる。
【0095】
本方法は、各ｙｊを、連続する壁ｊとｊ＋１とにそれぞれ関連付けられた２つの連続す
る頂点ｘｉとｘ（ｉ＋１）の関数（例えばそれらの平均値関数）
によって初期化（Ｓ８２）してもよい（上記同様、便宜上、インデックスｊは
に属する）。
を各壁の基準長とする。また
とする。
る頂点ｘｉとｘ（ｉ＋１）の関数（例えばそれらの平均値関数）
【数28】
によって初期化（Ｓ８２）してもよい（上記同様、便宜上、インデックスｊは
【数29】
に属する）。
【数30】
を各壁の基準長とする。また
【数31】
とする。
【0096】
本方法は、出力される各セグメントと、当該セグメントに対応する極大集合の点に予め
割り当てられた第２のデータムとの、直交性に関する制約の下で最適化（Ｓ８４）を行う
ことができる。本方法は、特に、間取り図を表すポリゴンを、各壁の基準長を可能な限り
保ちつつ、制約付き最適化を用いて最適化（Ｓ８４）し、ポリゴンの内角がＭＲＦによっ
て推定される角度と等しくなるようしてもよい。
割り当てられた第２のデータムとの、直交性に関する制約の下で最適化（Ｓ８４）を行う
ことができる。本方法は、特に、間取り図を表すポリゴンを、各壁の基準長を可能な限り
保ちつつ、制約付き最適化を用いて最適化（Ｓ８４）し、ポリゴンの内角がＭＲＦによっ
て推定される角度と等しくなるようしてもよい。
【0097】
ここで最適化（Ｓ８４）の一例を示す。
【0098】
ＷｊをＭＲＦによって推定された壁ｊの法線とする。本方法は、すべてのｊについて、
制約
の下で、
を最小化してもよい。
制約
【数32】
の下で、
【数33】
を最小化してもよい。
【0099】
あるいは、本方法は、各セグメントについて、そのセグメントの長さの初期値から、結
果として得られるそのセグメントの長さの値の距離にペナルティを科す、他の任意のコス
ト関数を最小化してもよい。全ての場合において、最小化（Ｓ８４）は、ＭＲＦによって
予め推定された角度についての制約下で実行されてもよい。
果として得られるそのセグメントの長さの値の距離にペナルティを科す、他の任意のコス
ト関数を最小化してもよい。全ての場合において、最小化（Ｓ８４）は、ＭＲＦによって
予め推定された角度についての制約下で実行されてもよい。
【0100】
本方法は、ペナルティ法を用いて、一連の制約なし問題
を、非常に小さなγから始めて制約が満たされるまでそれを増加させて最小化を行うこと
により当該問題を解決してもよい。
【数34】
を、非常に小さなγから始めて制約が満たされるまでそれを増加させて最小化を行うこと
により当該問題を解決してもよい。
【0101】
ペナルティ法は、以下の論文に記載のものであってもよい。
・Ｄ．Ｂｅｒｔｓｅｋａｓ，“Ｃｏｎｓｔｒａｉｎｅｄ Ｏｐｔｉｍｉｚａｔｉｏｎ
ａｎｄ Ｌａｇｒａｎｇｅ Ｍｕｌｔｉｐｌｉｅｒ Ｍｅｔｈｏｄｓ”，ｉｎ Ａｔｈｅ
ｎａ Ｓｃｉｅｎｔｉｆｉｃ １９９６．
・Ｄ．Ｂｅｒｔｓｅｋａｓ，“Ｃｏｎｓｔｒａｉｎｅｄ Ｏｐｔｉｍｉｚａｔｉｏｎ
ａｎｄ Ｌａｇｒａｎｇｅ Ｍｕｌｔｉｐｌｉｅｒ Ｍｅｔｈｏｄｓ”，ｉｎ Ａｔｈｅ
ｎａ Ｓｃｉｅｎｔｉｆｉｃ １９９６．
【0102】
最適化において、レイアウトに関する平行移動と回転の自由度を排除するため、最適化
の間、ｙ０とｙ１は固定されていてもよい。各制約なし問題は、非線形最小二乗であり、
レーベンバーグ・マーカート法アルゴリズムを用いて解決することもできるが、本方法は
、常に、検索した最小値に非常に近いため、単純なガウス・ニュートンスキームも機能し
得る。
の間、ｙ０とｙ１は固定されていてもよい。各制約なし問題は、非線形最小二乗であり、
レーベンバーグ・マーカート法アルゴリズムを用いて解決することもできるが、本方法は
、常に、検索した最小値に非常に近いため、単純なガウス・ニュートンスキームも機能し
得る。
【0103】
レーベンバーグ・マーカート法アルゴリズムは、以下の論文に記載のものであってもよ
い。
・Ｄ．Ｍａｒｑｕａｒｄｔ，“Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｌｅａｓｔ Ｓｑ
ｕａｒｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｎｏｎ－Ｌｉｎｅａｒ Ｐａｒａｍｅｔｅｒｓ
”，ｉｎ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ｉｎｄｕｓｔｒｉ
ａｌ ａｎｄ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔｉｃｓ １９６３．
い。
・Ｄ．Ｍａｒｑｕａｒｄｔ，“Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｌｅａｓｔ Ｓｑ
ｕａｒｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｎｏｎ－Ｌｉｎｅａｒ Ｐａｒａｍｅｔｅｒｓ
”，ｉｎ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ｉｎｄｕｓｔｒｉ
ａｌ ａｎｄ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔｉｃｓ １９６３．
【0104】
最適化（Ｓ８４）が完了すると、本方法は、出力（Ｓ８６）される正確な間取り図を得
る。
る。
【0105】
オプションとして、本方法はさらに、天井および床平面を用いて部屋の高さを算出し、
レイアウトの３Ｄポリゴンモデルを作成してもよい。
レイアウトの３Ｄポリゴンモデルを作成してもよい。
【0106】
【0107】
【0108】
【0109】
これから分かるように、当該３Ｄポリゴンモデルは、最初の３Ｄ点群と視覚的に一致す
る。
る。
【0110】
図１０は、本システムの一例を示すものであって、当該システムは、クライアントコン
ピュータシステム、例えばユーザのワークステーションである。
ピュータシステム、例えばユーザのワークステーションである。
【0111】
本例のクライアントコンピュータは、内部通信バス１０００に接続された中央演算処理
装置（ＣＰＵ）１０１０、および同じくバスに接続されたランダムアクセスメモリ（ＲＡ
Ｍ）１０７０とを備える。クライアントコンピュータは、さらに、バスに接続されたビデ
オランダムアクセスメモリ１１００と関連付けられたグラフィックス処理装置（ＧＰＵ）
１１１０を備える。ビデオＲＡＭ１１００は、当該技術分野において、フレームバッファ
としても知られる。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０な
どの大容量記憶装置へのアクセスを管理する。コンピュータプログラムの命令及びデータ
を具体的に実現するのに適した大容量メモリ装置は、例として、ＥＰＲＯＭ、ＥＥＰＲＯ
Ｍ及びフラッシュメモリ装置のような半導体メモリ装置、内蔵ハードディスクやリムーバ
ブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ－ＲＯＭディスク１０４
０を含む、全ての形式の不揮発性メモリを含む。前述のいずれも、特別に設計されたＡＳ
ＩＣ（特定用途向け集積回路）によって補完されてもよいし、組み入れられてもよい。ネ
ットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライ
アントコンピュータはまた、カーソル制御装置、キーボードなどの触覚装置１０９０を含
んでいてもよい。カーソル制御装置は、ユーザがディスプレイ１０８０上の任意の所望の
位置にカーソルを選択的に位置させることを可能にするために、クライアントコンピュー
タ内で使用される。さらに、カーソル制御装置は、ユーザが様々なコマンドを選択し、制
御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力す
るための多数の信号生成装置を含む。典型的には、カーソル制御装置はマウスであっても
よく、マウスのボタンは信号を生成するために使用される。あるいは、または追加的に、
クライアントコンピュータシステムは、感知パッドおよび／または感知スクリーンを備え
てもよい。
装置（ＣＰＵ）１０１０、および同じくバスに接続されたランダムアクセスメモリ（ＲＡ
Ｍ）１０７０とを備える。クライアントコンピュータは、さらに、バスに接続されたビデ
オランダムアクセスメモリ１１００と関連付けられたグラフィックス処理装置（ＧＰＵ）
１１１０を備える。ビデオＲＡＭ１１００は、当該技術分野において、フレームバッファ
としても知られる。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０な
どの大容量記憶装置へのアクセスを管理する。コンピュータプログラムの命令及びデータ
を具体的に実現するのに適した大容量メモリ装置は、例として、ＥＰＲＯＭ、ＥＥＰＲＯ
Ｍ及びフラッシュメモリ装置のような半導体メモリ装置、内蔵ハードディスクやリムーバ
ブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ－ＲＯＭディスク１０４
０を含む、全ての形式の不揮発性メモリを含む。前述のいずれも、特別に設計されたＡＳ
ＩＣ（特定用途向け集積回路）によって補完されてもよいし、組み入れられてもよい。ネ
ットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライ
アントコンピュータはまた、カーソル制御装置、キーボードなどの触覚装置１０９０を含
んでいてもよい。カーソル制御装置は、ユーザがディスプレイ１０８０上の任意の所望の
位置にカーソルを選択的に位置させることを可能にするために、クライアントコンピュー
タ内で使用される。さらに、カーソル制御装置は、ユーザが様々なコマンドを選択し、制
御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力す
るための多数の信号生成装置を含む。典型的には、カーソル制御装置はマウスであっても
よく、マウスのボタンは信号を生成するために使用される。あるいは、または追加的に、
クライアントコンピュータシステムは、感知パッドおよび／または感知スクリーンを備え
てもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】