(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022181716
(43)【公開日】2022-12-08
(54)【発明の名称】３次元マップ再構成方法及び３次元マップ再構成装置
(51)【国際特許分類】
G01S 13/86 20060101AFI20221201BHJP
G01S 13/89 20060101ALI20221201BHJP
G01S 17/86 20200101ALI20221201BHJP
【ＦＩ】
G01S13/86
G01S13/89
G01S17/86
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021088807
(22)【出願日】2021-05-26
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】ポンサック ラサン
(72)【発明者】
【氏名】ウー ジェン
(72)【発明者】
【氏名】タクリット タナスニティクル
(72)【発明者】
【氏名】ロイ ケン リャン
(72)【発明者】
【氏名】吉川 直毅
(72)【発明者】
【氏名】シュオン ツェルン ウィー
(72)【発明者】
【氏名】ピージー ペン
【テーマコード（参考）】
5J070
5J084
【Ｆターム（参考）】
5J070AC02
5J070AE11
5J070AF02
5J070AK22
5J070BD06
5J070BD08
5J070BE03
5J084AA04
5J084AB09
5J084AC01
5J084AD05
5J084AD07
5J084EA05
(57)【要約】
【課題】従来よりも短時間かつ高精度で、隠れたオブジェクトの３次元マップを再構成できる３次元マップ再構成方法を提供する。
【解決手段】３次元マップ再構成方法は、遮蔽物の一方側に配置された不可視オブジェクト３１の３次元マップ３３を再構成する方法であって、遮蔽物の他方側においてＲＦセンサ２１を移動させながら、ＲＦセンサ２１から出射され、遮蔽物を透過して不可視オブジェクト３１で反射して返ってくる電波をＲＦセンサ２１で受信させることで得られるＲＦデータを収集するデータ収集ステップＳ１０１と、ＳＬＡＭを用いてＲＦセンサ２１の位置を特定する位置特定ステップＳ１０２と、収集されたＲＦデータ及び特定されたＲＦセンサ２１の位置から、不可視オブジェクト３１の３次元マップ３３を生成する３次元マップ生成ステップＳ１０４とを含む。
【選択図】図３
【解決手段】３次元マップ再構成方法は、遮蔽物の一方側に配置された不可視オブジェクト３１の３次元マップ３３を再構成する方法であって、遮蔽物の他方側においてＲＦセンサ２１を移動させながら、ＲＦセンサ２１から出射され、遮蔽物を透過して不可視オブジェクト３１で反射して返ってくる電波をＲＦセンサ２１で受信させることで得られるＲＦデータを収集するデータ収集ステップＳ１０１と、ＳＬＡＭを用いてＲＦセンサ２１の位置を特定する位置特定ステップＳ１０２と、収集されたＲＦデータ及び特定されたＲＦセンサ２１の位置から、不可視オブジェクト３１の３次元マップ３３を生成する３次元マップ生成ステップＳ１０４とを含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクトの３次元マップを再構成する３次元マップ再構成方法であって、
前記遮蔽物の他方側においてＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集ステップと、
ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて前記ＲＦセンサの位置を特定する位置特定ステップと、
前記データ収集ステップで収集された前記ＲＦデータ及び前記位置特定ステップで特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成ステップとを含む、
３次元マップ再構成方法。
前記遮蔽物の他方側においてＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集ステップと、
ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて前記ＲＦセンサの位置を特定する位置特定ステップと、
前記データ収集ステップで収集された前記ＲＦデータ及び前記位置特定ステップで特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成ステップとを含む、
３次元マップ再構成方法。
【請求項2】
前記位置特定ステップでは、前記ＲＦセンサと固定の位置関係となるように設けられた３次元センサ又はイメージセンサであるＳＬＡＭセンサを用いて前記遮蔽物の他方側に存在するオブジェクトである可視オブジェクトに対してＳＬＡＭを適用することで前記ＲＦセンサの位置を特定する、
請求項１記載の３次元マップ再構成方法。
請求項１記載の３次元マップ再構成方法。
【請求項3】
前記位置特定ステップでは、前記ＳＬＡＭセンサを用いることで得られる前記可視オブジェクトの推定位置の誤差と、前記ＲＦセンサを用いることで得られる前記不可視オブジェクトの推定位置の誤差との合計値を最小化する連結最適化を行うことで、前記ＲＦセンサの位置を特定する、
請求項２記載の３次元マップ再構成方法。
請求項２記載の３次元マップ再構成方法。
【請求項4】
前記不可視オブジェクトの推定位置の誤差は、前記ＲＦデータに対するフィルタリングと前記ＲＦデータに対するスケーリングとを用いて、算出される、
請求項３記載の３次元マップ再構成方法。
請求項３記載の３次元マップ再構成方法。
【請求項5】
前記３次元マップ生成ステップは、収集された前記ＲＦデータをフィルタリングするフィルタリングステップを含み、フィルタリングされた前記ＲＦデータを用いて、前記３次元マップを生成する、
請求項１～４のいずれか１項に記載の３次元マップ再構成方法。
請求項１～４のいずれか１項に記載の３次元マップ再構成方法。
【請求項6】
前記フィルタリングステップは、信号処理、機械学習アルゴリズム、及び、深層学習アルゴリズムの少なくとの一つを用いて行われる、
請求項５記載の３次元マップ再構成方法。
請求項５記載の３次元マップ再構成方法。
【請求項7】
さらに、前記データ収集ステップで収集された前記ＲＦデータに対して、前記位置特定ステップで特定された前記ＲＦセンサの位置の情報でタグ付けし、得られたＲＦデータを圧縮した後に記憶部に格納する格納ステップを含み、
前記３次元マップ生成ステップでは、圧縮された前記ＲＦデータを前記記憶部から読み出して解凍したうえで前記３次元マップを生成する、
請求項１～６のいずれか１項に記載の３次元マップ再構成方法。
前記３次元マップ生成ステップでは、圧縮された前記ＲＦデータを前記記憶部から読み出して解凍したうえで前記３次元マップを生成する、
請求項１～６のいずれか１項に記載の３次元マップ再構成方法。
【請求項8】
さらに、前記位置特定ステップで特定された位置に基づいて、前記３次元マップ生成ステップで生成された前記３次元マップにおける前記不可視オブジェクトを検出し、検出した前記不可視オブジェクトを分類する検出・分類ステップを含む、
請求項１～７のいずれか１項に記載の３次元マップ再構成方法。
請求項１～７のいずれか１項に記載の３次元マップ再構成方法。
【請求項9】
前記検出・分類ステップでは、信号処理、機械学習アルゴリズム、及び、深層学習アルゴリズムの少なくとの一つを用いて、前記不可視オブジェクトを検出する、
請求項８記載の３次元マップ再構成方法。
請求項８記載の３次元マップ再構成方法。
【請求項10】
前記検出・分類ステップでは、信号処理、機械学習アルゴリズム、及び、深層学習アルゴリズムの少なくとの一つを用いて、前記不可視オブジェクトを分類する、
請求項８又は９記載の３次元マップ再構成方法。
請求項８又は９記載の３次元マップ再構成方法。
【請求項11】
さらに、前記３次元マップ生成ステップで生成された前記３次元マップを、標準化されたデジタルファイルフォーマットに変換する変換ステップを含む、
請求項１～１０のいずれか１項に記載の３次元マップ再構成方法。
請求項１～１０のいずれか１項に記載の３次元マップ再構成方法。
【請求項12】
遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクトの３次元マップを再構成する３次元マップ再構成装置であって、
ＲＦセンサと、
前記遮蔽物の他方側において前記ＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集部と、
ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて前記ＲＦセンサの位置を特定する位置特定部と、
前記データ収集部で収集された前記ＲＦデータ及び前記位置特定部で特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成部とを備える、
３次元マップ再構成装置。
ＲＦセンサと、
前記遮蔽物の他方側において前記ＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集部と、
ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて前記ＲＦセンサの位置を特定する位置特定部と、
前記データ収集部で収集された前記ＲＦデータ及び前記位置特定部で特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成部とを備える、
３次元マップ再構成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、３次元マップ再構成方法及び３次元マップ再構成装置に関し、特に、隠れたオブジェクトの３次元マップを再構成する方法等に関する。
【背景技術】
【0002】
壁の後ろ、又は、吊り天井の上には、隠されたダクトやパイプ等のオブジェクトがある。建物内の隠れたオブジェクトについて３次元マップを再構成することは、隠れたオブジェクトのマップを利用できない場所で検査及び保守を行う建築業界では役立つ。
【0003】
隠れたオブジェクトを検査する従来の方法として、隠れたオブジェクトを検出するＲＦセンサ、又は、ＲＦセンサと他のセンサとの組み合わせを用いて、壁オブジェクトの中のセクタを検出してマップを生成できるハンドヘルドデバイスがある（例えば、特許文献１～３参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第１０５６６６９９号明細書
【特許文献2】米国特許第１０６９０７６０号明細書
【特許文献3】米国特許第１０５１１２８０号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１～３におけるデバイスは、センサの正確な位置を特定するために、ビーコン又は壁の表面に施されるマーキングを必要とする。これらのデバイスは、吊り天井より上の隠れたオブジェクトをスキャンするためには利用できるが、吊り天井より上の領域等の広い領域に対してマップ生成をする場合には、極めて多くの時間の作業を要し、しかも、精度の低いマップしか生成できない可能性がある。よって、吊り天井の上にある隠れたオブジェクトの３次元マップを従来よりも短時間かつ高精度で生成する方法が必要とされている。
【0006】
そこで、本開示は、従来よりも短時間かつ高精度で、隠れたオブジェクトの３次元マップを再構成できる３次元マップ再構成方法及び３次元マップ再構成装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本開示の一形態に係る３次元マップ再構成方法は、遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクトの３次元マップを再構成する３次元マップ再構成方法であって、前記遮蔽物の他方側においてＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集ステップと、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて前記ＲＦセンサの位置を特定する位置特定ステップと、前記データ収集ステップで収集された前記ＲＦデータ及び前記位置特定ステップで特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成ステップとを含む。
【0008】
上記目的を達成するために、本開示の一形態に係る３次元マップ再構成装置は、遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクトの３次元マップを再構成する３次元マップ再構成装置であって、ＲＦセンサと、前記遮蔽物の他方側において前記ＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集部と、ＳＬＡＭを用いて前記ＲＦセンサの位置を特定する位置特定部と、前記データ収集部で収集された前記ＲＦデータ及び前記位置特定部で特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成部とを備える。
【発明の効果】
【0009】
本開示により、従来よりも短時間かつ高精度で、隠れたオブジェクトの３次元マップを再構成できる３次元マップ再構成方法及び３次元マップ再構成装置が提供される。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
（本発明者らが得た知見）
上記背景技術に記載した従来技術について、本発明者らは、以下の問題を発見した。
上記背景技術に記載した従来技術について、本発明者らは、以下の問題を発見した。
【0012】
図１は、隠れたオブジェクトを検出する従来のデバイス１０の構成の一例を示す図である。従来のデバイス１０は、壁１５を透過する電波を用いてＲＦデータを収集するセンサ１１、センサ１１の位置を測定する測定部１２、センサ１１によって収集されたＲＦデータと測定部１２によって測定されたセンサ１１の位置とから、壁に隠れたオブジェクトの位置を特定する位置特定部１３、及び、特定された位置の情報が付随するＲＦデータを格納する記憶部１４を備える。つまり、このような従来のデバイス１０は、隠れたオブジェクトを検出するＲＦセンサ、又は、ＲＦセンサと他のセンサとの組み合わせを用いて、壁１５の中のセクタを検出してマップを生成している。このような従来のデバイス１０は、センサ１１の正確な位置を特定するために、ビーコン又は壁１５の表面に施されるマーキングを必要とする。そのために、従来のデバイス１０は、吊り天井より上の隠れたオブジェクトをスキャンするためには利用できるが、吊り天井より上の領域等の広い領域に対してマップ生成をする場合には、極めて多くの時間の作業を要し、しかも、精度の低いマップしか生成できない可能性がある。よって、吊り天井の上にある隠れたオブジェクトの３次元マップを従来よりも短時間かつ高精度で生成する方法が必要とされている。
【0013】
そこで、本発明者らは、この問題を解決する方策の一つとして、まず、ＲＦセンサと固定の位置関係にあるカメラ／ＬｉＤＡＲ（Light Detection And Ranging）等のＳＬＡＭセンサを用いて可視点（つまり、可視オブジェクトがある点）に対してＳＬＡＭ(Simultaneous Localization And Mapping)を適用することでＳＬＡＭセンサのポーズ（位置及び姿勢）を推定し、次に、ＲＦセンサのポーズを導出することで、不可視点（つまり、不可視オブジェクトがある点）を組み合わせて３次元Ｄマップを作成した。
【0014】
ただし、このような位置推定の方法では、ＲＦセンサから収集された不可視点の位置推定が最適ではない可能性がある。そのために、本発明者らは、吊り天井の上に隠れたオブジェクトのデータをキャプチャして記憶部に保存するのに使用されるＲＦセンサの位置を正確に推定するために、可視点及び不可視点についてＳＬＡＭにおける連結最適化を適用する新しい３次元マップ再構成方法を考案した。さらに、記憶部に保存されたデータに対してフィルタ処理を施してアーチファクトを除去し、それらのデータを組み合わせることで、建物近傍の中でスキャンされた隠しオブジェクトの３次元マップを再構成した。
【0015】
本明細書に開示される例示的な実施形態の一つは、遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクトの３次元マップを再構成する３次元マップ再構成方法であって、前記遮蔽物の他方側においてＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集ステップと、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて前記ＲＦセンサの位置を特定する位置特定ステップと、前記データ収集ステップで収集された前記ＲＦデータ及び前記位置特定ステップで特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成ステップとを含む。
【0016】
また、本明細書に開示される例示的な実施形態の他の一つは、遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクトの３次元マップを再構成する３次元マップ再構成装置であって、ＲＦセンサと、前記遮蔽物の他方側において前記ＲＦセンサを移動させながら、前記ＲＦセンサから出射され、前記遮蔽物を透過して前記不可視オブジェクトで反射して返ってくる電波を前記ＲＦセンサで受信させることで得られるＲＦデータを収集するデータ収集部と、ＳＬＡＭを用いて前記ＲＦセンサの位置を特定する位置特定部と、前記データ収集部で収集された前記ＲＦデータ及び前記位置特定部で特定された前記ＲＦセンサの位置から、前記不可視オブジェクトの３次元マップを生成する３次元マップ生成部とを備える。
【0017】
（実施の形態）
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【0018】
図２は、実施の形態に係る３次元マップ再構成装置２０の構成を示すブロック図である。３次元マップ再構成装置２０は、遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクトの３次元マップを再構成する装置であり、本実施の形態では、吊り天井の上に隠れたダクト及びパイプ等の不可視オブジェクトの３次元マップを生成し、生成した３次元マップからＢＩＭ（Building Information Modelling）データを生成する。そのために、３次元マップ再構成装置２０は、図２に示されるように、データ収集のための構成要素（ＲＦセンサ２１、ＳＬＡＭセンサ２２、データ収集・位置特定部２３、記憶部２４）と、データ前処理のための構成要素（３次元マップ生成部２５、オブジェクト検出・分類部２６）と、モデリングのための構成要素（フォーマット変換部２７）とを備える。
【0019】
ＲＦセンサ２１は、遮蔽物を透過する電波を発射し、不可視オブジェクトで反射して返ってくる反射波を受信することで不可視オブジェクトまでの距離を測定するレーダーセンサであり、例えば、一次元又は２次元状に配置されたＲＦセンサのアレイである。
【0020】
ＳＬＡＭセンサ２２は、ＲＦセンサ２１と固定の位置関係となるように設けられた３次元センサ又はイメージセンサであり、例えば、カメラ又はＬｉＤＡＲである。
【0021】
データ収集・位置特定部２３は、遮蔽物の他方側においてＲＦセンサ２１を移動させながら、ＲＦセンサ２１から出射され、遮蔽物を透過して不可視オブジェクトで反射して返ってくる電波をＲＦセンサ２１で受信させることで得られる点群データであるＲＦデータを収集するデータ収集部、及び、ＳＬＡＭを用いてＲＦセンサ２１の位置を特定する位置特定部としての機能を有し、データ収集部で得られたＲＦデータに対して位置特定部で得られた位置情報でタグ付けして得られるＲＦデータを圧縮した後に記憶部２４に格納する。
【0022】
記憶部２４は、データ収集・位置特定部２３で得られた、位置情報でタグ付けされたＲＦデータを格納する記憶媒体であり、例えば、ハードディスク、半導体メモリ等である。
【0023】
３次元マップ生成部２５は、記憶部２４に格納された圧縮されたＲＦデータを読み出して解凍し、解凍後のＲＦデータに対して、アーチファクトを除去するためのフィルタリングを施し、得られたＲＦデータに含まれる点群データを、タグ付けされた位置情報に従って繋ぎ合わせることで、不可視オブジェクトの３次元マップを生成する。
【0024】
オブジェクト検出・分類部２６は、３次元マップ生成部２５で生成された３次元マップに対して、オブジェクトを検出して分類することで、ダクト、パイプ等の建築構造物を特定する。
【0025】
フォーマット変換部２７は、オブジェクト検出・分類部２６で特定された建築構造物の情報を用いて、３次元マップ生成部２５で生成された３次元マップを、標準化されたデジタルファイルフォーマット（ここでは、ＢＩＭフォーマット）に変換する。
【0026】
なお、データ収集・位置特定部２３、３次元マップ生成部２５、オブジェクト検出・分類部２６、及び、フォーマット変換部２７は、典型的には、プログラムを格納するメモリ、プログラムを実行するプロセッサを有するコンピュータ装置によってソフトウェア的に実現される。ただし、これらは、ＦＰＧＡ（Field Programmable Gate Array）等を含む半導体集積回路によってハードウェア的に実現されてもよい。
【0027】
また、データ収集・位置特定部２３によるフィルタリング、オブジェクト検出・分類部２６によるオブジェクトの検出及び分類は、信号処理、機械学習アルゴリズム、及び、深層学習アルゴリズムの少なくとの一つを用いて実行されてもよい。ここで、信号処理は、電子回路による信号処理であってもよいし、プロセッサによる信号処理であってもよい。また、機械学習アルゴリズムを用いる方法は、教師あり学習、教師なし学習又は強化学習等によって学習された機械学習モデルにデータを入力して得られる結果を利用する方法である。深層学習アルゴリズムを用いる方法は、ニューラルネットワークを多層に結合した、学習済みの機械学習モデルにデータを入力して得られる結果を利用する方法である。
【0028】
次に、以上のように構成された実施の形態に係る３次元マップ再構成装置２０の動作（つまり、３次元マップ再構成方法）について、説明する。
【0029】
図３は、実施の形態に係る３次元マップ再構成装置２０の動作を示すフローチャートである。
【0030】
まず、吊り天井の上にある不可視オブジェクトに向けたＲＦセンサ２１と、吊り天井の下にある可視オブジェクトに向けたＳＬＡＭセンサ２２とを、互いの位置関係を保ったまま、吊り天井の下側で移動させながら、データ収集・位置特定部２３により、データを収集する（データ収集ステップＳ１０１）。図４は、本実施の形態に係る３次元マップ再構成装置２０によるＲＦセンサ２１及びＳＬＡＭセンサ２２を用いたデータ収集の様子を示す図である。ここでは、説明の便宜上、吊り天井３０の一部が剥がされ、この箇所から、吊り天井３０の上にあるパイプ及びダクト等の不可視オブジェクト３１が見えている様子が示されている。ＲＦセンサ２１は吊り天井３０の上にある不可視オブジェクト３１を向き、一方、ＳＬＡＭセンサ２２は、部屋の床に置かれた可視オブジェクト（図示せず）を向いた状態で、一つのポール３２に固定されている。ＲＦセンサ２１及びＳＬＡＭセンサ２２が固定されたポール３２は、ロボット又は移動台車等に固定され、あるいは、手動により、移動される。
【0031】
次に、データ収集・位置特定部２３は、収集したデータに対してＳＬＡＭを適用することで、ＲＦセンサ２１の位置を特定する（位置特定ステップＳ１０２）。つまり、データ収集・位置特定部２３は、ＲＦセンサ２１と固定の位置関係となるように設けられたＳＬＡＭセンサ２２を用いて遮蔽物の他方側に存在するオブジェクトである可視オブジェクトに対してＳＬＡＭを適用することでＲＦセンサ２１の位置を特定する。より詳しくは、データ収集・位置特定部２３は、ＳＬＡＭセンサを用いることで得られる可視オブジェクトの推定位置の誤差と、ＲＦセンサを用いることで得られる不可視オブジェクトの推定位置の誤差との合計値を最小化する連結最適化を行うことで、ＲＦセンサ２１の位置を特定する。このとき、不可視オブジェクトの推定位置の誤差は、ＲＦデータに対するフィルタリングとＲＦデータに対するスケーリングとを用いて、算出される。
【0032】
続いて、データ収集・位置特定部２３は、収集したＲＦデータに対して、ＲＦセンサ２１の位置情報でタグ付けし、得られたＲＦデータを圧縮した後に記憶部２４に格納する（格納ステップＳ１０３）。
【0033】
次に、３次元マップ生成部２５は、記憶部２４に格納された圧縮されたＲＦデータを読み出して解凍し、解凍後のＲＦデータに対して、アーチファクトを除去するためのフィルタリングを施し、得られたＲＦデータに含まれる点群データを、タグ付けされた位置情報に従って繋ぎ合わせることで、不可視オブジェクトの３次元マップを生成する（３次元マップ生成ステップＳ１０４）。
【0034】
続いて、オブジェクト検出・分類部２６は、３次元マップ生成部２５で生成された３次元マップに対して、オブジェクトを検出して分類することで、ダクト、パイプ等の建築構造物を特定する（検出・分類ステップＳ１０５）。
【0035】
最後に、フォーマット変換部２７は、オブジェクト検出・分類部２６で特定された建築構造物の情報を用いて、３次元マップ生成部２５で生成された３次元マップを、標準化されたデジタルファイルフォーマット（ここでは、ＢＩＭフォーマット）に変換する（変換ステップＳ１０６）。
【0036】
【0037】
図５は、カメラ／ＬｉＤＡＲ等のＳＬＡＭセンサからのデータを用いる従来のＳＬＡＭを説明する図である。図５の（ａ）の説明図に示されるように、従来のＳＬＡＭでは、同じオブジェクトのポイント（Ｐ）は、ＳＬＡＭセンサによる異なるセンサビューに対して異なる相対位置（Ｐ３、Ｐ２、Ｐ１）を持つ。センサポーズ（Ｍ）は、オブジェクトを観測ポーズから参照ポーズに移動する回転及び平行移動変換（Ｍ３２、Ｍ２１）によって記述できる。よって、図５の（ｂ）の式に示されるように、従来のＳＬＡＭでは、異なるセンサビューにおける相対位置Ｐｉと観測ポーズから参照ポーズに移動した後の相対位置Ｍｊｉ・Ｐｊとの誤差を小さくする最適化を行うことで、ＳＬＡＭセンサの自己位置を推定している。
【0038】
図６は、固定の位置関係にあるＳＬＡＭセンサ２２とＲＦセンサ２１の両方からのデータを用いる本実施の形態に係る位置特定ステップＳ１０２で用いるＳＬＡＭを説明する図である。図６の（ａ）の説明図に示されるように、本実施の形態では、吊り天井３０の下にある可視オブジェクトのポイント（ＰＶ）に対しては、従来のＳＬＡＭと同様に、カメラ／ＬｉＤＡＲ等のＳＬＡＭセンサ２２からのデータを用いたＳＬＡＭを行い、吊り天井３０の上にある不可視オブジェクトのポイント（ＰＩ）に対しては、ＳＬＡＭセンサ２２と固定の位置関係にあるＲＦセンサ２１からのデータを用いたＳＬＡＭを行う。
【0039】
図６の（ｂ）の式に示されるように、本実施の形態では、可視オブジェクトのポイント（ＰＶ）に対する異なるセンサビューにおける相対位置ＰＶ
ｉと観測ポーズから参照ポーズに移動した後の相対位置ＭＶ
ｊｉ・ＰＶ
ｊとの誤差と、不可視オブジェクトのポイント（ＰＩ）に対する異なるセンサビューにおける相対位置ＰＩ
ｉと観測ポーズから参照ポーズに移動した後の相対位置ＭＩ
ｊｉ・ＰＩ
ｊとの誤差との合計値を最小化する連結最適化を行うことで、ＲＦセンサ２１の自己位置を推定する。このとき、可視オブジェクトに比べ、不可視オブジェクトに対して得られるデータについては、ノイズが多い可能性があるために、Statistical Outlier Removal Filter等のフィルタリングが施される。図６の（ｂ）に示される式おける丸で囲まれたマイナス記号は、不可視オブジェクトに対する誤差が可視オブジェクトに対する誤差とは異なる演算で算出されることを意味している。また、不可視オブジェクトに対して得られたデータは、可視オブジェクトに対して得られたデータとはスケールが異なる可能性があるため、正規化の処理が施される。図６の（ｂ）に示される式おけるλは、その因子である。
【0040】
図７は、本実施の形態に係る３次元マップ再構成装置２０によって再構成された３次元マップ３３の例を示す図である。図７における下の画像は、３次元マップ再構成装置２０によって再構成された、吊り天井３０より上の不可視オブジェクト３１の３次元マップ３３の例である。図７における上の画像は、吊り天井３０の一部が除去された対象領域と、ダクト、パイプ、トランク等のさまざまな不可視オブジェクト３１とを示すとともに、矢印によって、これらと３次元マップ３３との対応を示している。
【0041】
図８は、本実施の形態に係る３次元マップ再構成装置２０によって再構成された３次元マップ３３を、標準化されたデジタルファイル形式に変換するモデリングプロセスの例を示す図である。再構成された３次元マップ３３は、オブジェクト検出・分類部２６により、信号処理、機械学習、深層学習アルゴリズムの１つ又は組み合わせを使用して、不可視オブジェクト３１の検出と分類とが実行される。次に、検出及び分類された不可視オブジェクト３１は、フォーマット変換部２７により、標準化されたファイル形式であるＢＩＭ３４に変換される。
【0042】
以上のように、本実施の形態に係る３次元マップ再構成方法は、遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクト３１の３次元マップ３３を再構成する方法であって、遮蔽物の他方側においてＲＦセンサ２１を移動させながら、ＲＦセンサ２１から出射され、遮蔽物を透過して不可視オブジェクト３１で反射して返ってくる電波をＲＦセンサ２１で受信させることで得られるＲＦデータを収集するデータ収集ステップＳ１０１と、ＳＬＡＭを用いてＲＦセンサ２１の位置を特定する位置特定ステップＳ１０２と、データ収集ステップＳ１０１で収集されたＲＦデータ及び位置特定ステップＳ１０２で特定されたＲＦセンサ２１の位置から、不可視オブジェクト３１の３次元マップ３３を生成する３次元マップ生成ステップＳ１０４とを含む。
【0043】
これにより、ＲＦセンサ２１の位置はＳＬＡＭを用いて特定されるので、従来のようなビーコン又は壁の表面に施されるマーキングを必要とすることなく、吊り天井より上の領域等の広い領域であっても、短時間かつ高精度で隠れたオブジェクトの３次元マップが再構成される。
【0044】
ここで、位置特定ステップＳ１０２では、ＲＦセンサ２１と固定の位置関係となるように設けられたイメージセンサであるＳＬＡＭセンサ２２を用いて遮蔽物の他方側に存在するオブジェクトである可視オブジェクトに対してＳＬＡＭを適用することでＲＦセンサ２１の位置を特定する。これにより、ＲＦセンサ２１と固定の位置関係にあるＳＬＡＭセンサ２２を用いて、可視オブジェクトに対してＳＬＡＭが適用されるので、正確な位置推定が可能な可視オブジェクトを用いたＳＬＡＭによってＲＦセンサ２１の正確な位置推定が可能になる。
【0045】
また、位置特定ステップＳ１０２では、ＳＬＡＭセンサ２２を用いることで得られる可視オブジェクトの推定位置の誤差と、ＲＦセンサ２１を用いることで得られる不可視オブジェクト３１の推定位置の誤差との合計値を最小化する連結最適化を行うことで、ＲＦセンサ２１の位置を特定する。これにより、可視オブジェクトと不可視オブジェクト３１の両方に対する位置推定が同時に行われるので、可視オブジェクトに対する高い精度の位置推定で、不可視オブジェクト３１の位置が推定される。
【0046】
また、不可視オブジェクト３１の推定位置の誤差は、ＲＦデータに対するフィルタリングとＲＦデータに対するスケーリングとを用いて、算出される。これにより、ＲＦデータにおけるノイズが抑制され、不可視オブジェクト３１と可視オブジェクトに対する点群データのスケールの差異が抑制され、より高い精度でＲＦセンサ２１の位置が特定され得る。
【0047】
また、３次元マップ生成ステップＳ１０４は、収集されたＲＦデータをフィルタリングするフィルタリングステップを含み、フィルタリングされたＲＦデータを用いて、３次元マップを生成する。これにより、ＲＦデータにおけるアーチファクトが抑制され、より高い精度で３次元マップが生成され得る。
【0048】
なお、フィルタリングステップは、信号処理、機械学習アルゴリズム、及び、深層学習アルゴリズムの少なくとの一つを用いて行われてもよい。
【0049】
また、３次元マップ再構成方法は、さらに、データ収集ステップＳ１０１で収集されたＲＦデータに対して、位置特定ステップＳ１０２で特定されたＲＦセンサ２１の位置の情報でタグ付けし、得られたＲＦデータを圧縮した後に記憶部２４に格納する格納ステップＳ１０３を含み、３次元マップ生成ステップＳ１０４では、圧縮されたＲＦデータを記憶部２４から読み出して解凍したうえで３次元マップ３３を生成する。これにより、データ収集ステップＳ１０１で収集されたＲＦデータを格納するための記憶部２４の記憶容量が小さくて済む。
【0050】
また、３次元マップ再構成方法は、さらに、位置特定ステップＳ１０２で特定された位置に基づいて、３次元マップ生成ステップＳ１０４で生成された３次元マップ３３における不可視オブジェクト３１を検出し、検出した不可視オブジェクト３１を分類する検出・分類ステップＳ１０５を含む。これにより、不可視オブジェクト３１の種類を識別する情報が付加された利用価値の高い３次元マップが生成される。
【0051】
なお、検出・分類ステップＳ１０５では、信号処理、機械学習アルゴリズム、及び、深層学習アルゴリズムの少なくとの一つを用いて、不可視オブジェクト３１を検出してもよいし、検出・分類ステップＳ１０５では、信号処理、機械学習アルゴリズム、及び、深層学習アルゴリズムの少なくとの一つを用いて、不可視オブジェクト３１を分類してもよい。
【0052】
また、３次元マップ再構成方法は、さらに、３次元マップ生成ステップＳ１０４で生成された３次元マップ３３を、標準化されたデジタルファイルフォーマットに変換する変換ステップＳ１０６を含む。これにより、ＢＩＭ等の広く利用される標準化されたデジタルファイルフォーマットの３次元マップが再構成される。
【0053】
また、本実施の形態に係る３次元マップ再構成装置２０は、遮蔽物の一方側に配置された隠れたオブジェクトである不可視オブジェクト３１の３次元マップ３３を再構成する装置であって、ＲＦセンサ２１と、遮蔽物の他方側においてＲＦセンサ２１を移動させながら、ＲＦセンサ２１から出射され、遮蔽物を透過して不可視オブジェクト３１で反射して返ってくる電波をＲＦセンサ２１で受信させることで得られるＲＦデータを収集するデータ収集部と、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いてＲＦセンサ２１の位置を特定する位置特定部とを有するデータ収集・位置特定部２３と、収集されたＲＦデータ及び特定されたＲＦセンサ２１の位置から、不可視オブジェクト３１の３次元マップ３３を生成する３次元マップ生成部２５とを備える。
【0054】
これにより、ＲＦセンサ２１の位置はＳＬＡＭを用いて特定されるので、従来のようなビーコン又は壁の表面に施されるマーキングを必要とすることなく、吊り天井より上の領域等の広い領域であっても、短時間かつ高精度で隠れたオブジェクトの３次元マップが再構成される。
【0055】
以上、本開示の３次元マップ再構成方法及び３次元マップ再構成装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
【0056】
例えば、上記実施の形態では、ＳＬＡＭセンサ２２が用いられたが、必ずしも３次元センサ又はイメージセンサである必要はない。ＲＦセンサ２１を用いて可視オブジェクトに対してＳＬＡＭを適用し、図６の（ｂ）に示される連結最適化を行ってもよい。
【0057】
また、上記実施の形態では、ＲＦセンサ２１とＳＬＡＭセンサ２２とは固定の位置関係にあったが、必ずしも固定の位置関係は必須ではない。ＲＦセンサ２１とＳＬＡＭセンサ２２とが何らかの位置関係を保ちながら同時に移動することで、図６の（ｂ）に示される連結最適化が可能になる。よって、ＲＦセンサ２１とＳＬＡＭセンサ２２とは、一つのポール３２に取り付けられている必要はなく、例えば、何らかの位置関係を保ちながら同時に移動する異なる移動体に取り付けられ、その位置関係がアクチュエータで制御され得るか、その距離を測定するレーザセンサ等のセンサで測定され得るものであってもよい。
【0058】
また、上記実施の形態では、ＲＦデータに対するフィルタリング及びスケーリングが行われたが、必ずしもフィルタリング及びスケーリングを行う必要はない。遮蔽物の材質、ＲＦセンサと不可視オブジェクトとの距離、ＲＦセンサ２１の精度等により、ノイズの少ないＲＦデータが得られる場合には、ＲＦデータに対するフィルタリングが不要となり得る。また、ＲＦセンサ２１とＳＬＡＭセンサ２２との位置関係及びイメージング仕様によっては、ＲＦデータに対するスケーリングが不要となり得る。
【0059】
また、上記実施の形態に記載された構成要素は、ソフトウェアによって実現することができるし、集積回路であるＬＳＩによっても実現することができる。各構成要素は、それぞれ個別に１つのチップとして実装されてもよいし、部分的又は全体的に１つのチップとして実装されてもよい。なお、ＬＳＩは、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなど、集積輝度の程度によって名前が異なる。集積回路は、ＬＳＩに限定されず、専用回路又は汎用プロセッサを使用して実現されてもよいし、ＬＳＩの製造後にプログラムできるフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は、ＬＳＩ内の回路セルの接続と設定を再構成できる再構成可能プロセッサで実現されてもよい。さらに、半導体技術の進歩によってＬＳＩに取って代わる集積回路技術、又は、それから派生した別個の技術が出現した場合、そのような技術を構成要素の集積化に使用することができる。
【0060】
また、上記実施の形態のブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現してもよいし、１つの機能ブロックを複数の機能ブロックに分割するか、又は、機能の一部を別の機能ブロックに移してもよい。さらに、同様の機能を有する複数の機能ブロックの機能は、単一のハードウェア又はソフトウェアによって、並行して、又は、時分割的に実現され得る。
【0061】
また、３次元マップ再構成装置は、単一の装置又は複数の装置として実現することができる。３次元マップ再構成装置を実現する情報処理装置が複数の装置によって実現される場合、情報処理装置内の構成要素は、任意の方法で複数の装置に割り当てられ得る。複数の装置間の通信方法は限定されない。
【0062】
また、本開示に係る技術は、前述のプログラム、又は、プログラムが記録されている非一時的なコンピュータ可読記録媒体であってもよい。プログラムは、インターネットなどの伝送媒体を介して配布できる。例えば、プログラム又はプログラムを含むデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットなどのネットワーク、データ放送などを介して送信され得る。プログラム又はプログラムを含むデジタル信号は、プログラム又はデジタル信号が記録媒体に記録されて転送された結果として、又は、プログラム又はデジタル信号が転送された結果として、ネットワークなどを介して、別の独立したコンピュータシステムによって実行され得る。
【0063】
また、上記実施の形態における各構成要素は、排他的なハードウェア製品の形態で構成され得るか、又は、構成要素に適したソフトウェアプログラムを実行することによって実現され得る。各構成要素は、ハードディスクや半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み取って実行するＣＰＵやプロセッサなどのプログラム実行ユニットによって実現することができる。
【0064】
また、本明細書に開示される主題は、説明的かつ例示的なものとみなされるべきであり、添付の特許請求の範囲は、開示される特定の実施形態だけでなく、同等の構造、方法、及び／又は使用もカバー及び包含することを意図する範囲のものである。
【符号の説明】
【0065】
２０ ３次元マップ再構成装置
２１ ＲＦセンサ
２２ ＳＬＡＭセンサ
２３ データ収集・位置特定部
２４ 記憶部
２５ ３次元マップ生成部
２６ オブジェクト検出・分類部
２７ フォーマット変換部
３０ 吊り天井
３１ 不可視オブジェクト
３２ ポール
３３ ３次元マップ
３４ ＢＩＭ
Ｓ１０１ データ収集ステップ
Ｓ１０２ 位置特定ステップ
Ｓ１０３ 格納ステップ
Ｓ１０４ ３次元マップ生成ステップ
Ｓ１０５ 検出・分類ステップ
Ｓ１０６ 変換ステップ
２１ ＲＦセンサ
２２ ＳＬＡＭセンサ
２３ データ収集・位置特定部
２４ 記憶部
２５ ３次元マップ生成部
２６ オブジェクト検出・分類部
２７ フォーマット変換部
３０ 吊り天井
３１ 不可視オブジェクト
３２ ポール
３３ ３次元マップ
３４ ＢＩＭ
Ｓ１０１ データ収集ステップ
Ｓ１０２ 位置特定ステップ
Ｓ１０３ 格納ステップ
Ｓ１０４ ３次元マップ生成ステップ
Ｓ１０５ 検出・分類ステップ
Ｓ１０６ 変換ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
