知財求人 - 知財ポータルサイト「IP Force」
特開2024-31074三次元データの生成方法、生成装置及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024031074
(43)【公開日】2024-03-07
(54)【発明の名称】三次元データの生成方法、生成装置及びコンピュータプログラム
(51)【国際特許分類】
G06T 17/00 20060101AFI20240229BHJP
G06F 30/13 20200101ALI20240229BHJP
G06F 30/10 20200101ALI20240229BHJP
G06T 19/00 20110101ALI20240229BHJP
G01S 17/89 20200101ALN20240229BHJP
【ＦＩ】
G06T17/00
G06F30/13
G06F30/10 100
G06T19/00 A
G01S17/89
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022134388
(22)【出願日】2022-08-25
(71)【出願人】
【識別番号】517040102
【氏名又は名称】ＰｗＣコンサルティング合同会社
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100131808
【弁理士】
【氏名又は名称】柳橋 泰雄
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100163902
【弁理士】
【氏名又は名称】市川 奈月
(72)【発明者】
【氏名】林田 大造
(72)【発明者】
【氏名】▲柳▼澤 慧
【テーマコード（参考）】
5B050
5B080
5B146
5J084
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA11
5B050CA01
5B050DA01
5B050DA05
5B050EA19
5B050FA02
5B080AA13
5B080AA17
5B080BA01
5B080CA00
5B080FA00
5B080GA00
5B146AA04
5B146EA02
5J084AA04
5J084AA05
5J084AA13
5J084AB16
5J084AC02
5J084AC06
5J084AC07
5J084EA34
(57)【要約】
【課題】建物の内部を含む三次元データを自動で生成する。
【解決手段】複数階ある建物の少なくとも内部を示す情報を含む三次元データを生成する生成方法であって、記憶装置は、予め生成された建物の各階を接続する構造をXYZ座標系の三次元で示す位置情報として有する三次元構造データを記憶し、演算回路は、スキャン装置を用いて、マーカを含む建物の各階の少なくとも内部をスキャンしたスキャンデータと、スキャン装置と連動するセンサによるマーカの検出結果を含み、スキャンデータと関連付けられる検出データとを受け付け、検出データを参照して、各階のスキャンデータにおける前記マーカの位置情報を特定し、三次元構造データが有する、建物の各階を接続する構造の位置情報を、マーカの位置を基準とするXYZ座標系に変換して表し、変換された位置情報に合致するように、各階の前記スキャンデータを合成して建物の内部全体の三次元データを生成する。
【選択図】図１
【解決手段】複数階ある建物の少なくとも内部を示す情報を含む三次元データを生成する生成方法であって、記憶装置は、予め生成された建物の各階を接続する構造をXYZ座標系の三次元で示す位置情報として有する三次元構造データを記憶し、演算回路は、スキャン装置を用いて、マーカを含む建物の各階の少なくとも内部をスキャンしたスキャンデータと、スキャン装置と連動するセンサによるマーカの検出結果を含み、スキャンデータと関連付けられる検出データとを受け付け、検出データを参照して、各階のスキャンデータにおける前記マーカの位置情報を特定し、三次元構造データが有する、建物の各階を接続する構造の位置情報を、マーカの位置を基準とするXYZ座標系に変換して表し、変換された位置情報に合致するように、各階の前記スキャンデータを合成して建物の内部全体の三次元データを生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
記憶装置にアクセス可能な演算回路で実行され、複数階ある建物の少なくとも内部を示す情報を含む三次元データを生成する生成方法であって、
前記記憶装置は、
予め生成された前記建物の各階を接続する構造及び前記建物の内部に存在する物体をＸＹＺ座標系の三次元で示す位置情報として有する三次元構造データを記憶し、
前記演算回路は、
スキャン装置を用いて、前記建物の各階を接続する構造であって各階の内部で共通する位置を示すマーカ及び当該マーカを含む前記建物の各階の少なくとも内部をスキャンしたスキャンデータと、前記スキャン装置と連動するセンサによる前記マーカの検出結果を含み、前記スキャンデータと関連付けられる検出データとを受け付け、
前記検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける前記マーカの位置情報を特定し、
前記三次元構造データの有する、前記建物の各階を接続する構造及び前記物体の位置情報を、前記マーカの位置を基準とするＸＹＺ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記スキャンデータを合成して前記建物の内部全体の三次元データを生成する
生成方法。
前記記憶装置は、
予め生成された前記建物の各階を接続する構造及び前記建物の内部に存在する物体をＸＹＺ座標系の三次元で示す位置情報として有する三次元構造データを記憶し、
前記演算回路は、
スキャン装置を用いて、前記建物の各階を接続する構造であって各階の内部で共通する位置を示すマーカ及び当該マーカを含む前記建物の各階の少なくとも内部をスキャンしたスキャンデータと、前記スキャン装置と連動するセンサによる前記マーカの検出結果を含み、前記スキャンデータと関連付けられる検出データとを受け付け、
前記検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける前記マーカの位置情報を特定し、
前記三次元構造データの有する、前記建物の各階を接続する構造及び前記物体の位置情報を、前記マーカの位置を基準とするＸＹＺ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記スキャンデータを合成して前記建物の内部全体の三次元データを生成する
生成方法。
【請求項2】
前記演算回路は、
前記建物の屋外の三次元情報を示す屋外三次元データを前記記憶装置から読み出し、
前記建物の内部全体の前記三次元データと、前記屋外三次元データとを合成した三次元データを生成する
請求項１に記載の生成方法。
前記建物の屋外の三次元情報を示す屋外三次元データを前記記憶装置から読み出し、
前記建物の内部全体の前記三次元データと、前記屋外三次元データとを合成した三次元データを生成する
請求項１に記載の生成方法。
【請求項3】
前記屋外三次元データは、所定フォーマットの地理空間情報である
請求項２に記載の生成方法。
請求項２に記載の生成方法。
【請求項4】
前記マーカは、各階の同一位置に共通して存在する構造を特定する情報である
請求項１に記載の生成方法。
請求項１に記載の生成方法。
【請求項5】
前記マーカは、異なるZ座標でXY座標が共通する構造を特定する情報である
請求項１に記載の生成方法。
請求項１に記載の生成方法。
【請求項6】
前記建物の各階を接続する構造は、階段、エレベータ、エスカレータ又は柱である
請求項１に記載の生成方法。
請求項１に記載の生成方法。
【請求項7】
前記演算回路は、
前記建物の各階を接続する構造及び前記物体の座標系を相対回転座標系とし、前記建物の各階を接続する構造及び前記物体の中心位置を、前記マーカを基準とする原点に合わせるとともに、回転角度を求めることにより、
前記三次元構造データの前記位置情報を、前記マーカの位置を基準とするXYZ座標系に変換して表す
請求項１に記載の生成方法。
前記建物の各階を接続する構造及び前記物体の座標系を相対回転座標系とし、前記建物の各階を接続する構造及び前記物体の中心位置を、前記マーカを基準とする原点に合わせるとともに、回転角度を求めることにより、
前記三次元構造データの前記位置情報を、前記マーカの位置を基準とするXYZ座標系に変換して表す
請求項１に記載の生成方法。
【請求項8】
前記演算回路は、
３Dセマンティックセグメンテーションを利用して、前記建物の各階を接続する構造及び前記物体の領域を抽出する
請求項１に記載の生成方法。
３Dセマンティックセグメンテーションを利用して、前記建物の各階を接続する構造及び前記物体の領域を抽出する
請求項１に記載の生成方法。
【請求項9】
前記３Dセマンティックセグメンテーションとして、前記演算回路が、予め前記建物の各階を接続する構造及び前記物体の情報を学習済みのプログラムに基づいて、前記建物の各階を接続する構造及び前記物体の領域を抽出し、前記建物の各階を接続する構造及び前記物体の中心点、エッジの位置並びに角度を算出する
請求項８に記載の生成方法。
請求項８に記載の生成方法。
【請求項10】
前記演算回路は、
前記建物の屋外の三次元情報を示す屋外三次元データを前記記憶装置から読み出し、
前記３Dセマンティックセグメンテーションを利用して、前記演算回路が、予め前記三次元構造データ及び前記屋外三次元データから前記屋外と前記建物との境界領域を学習済みのプログラムに基づいて、当該境界領域を抽出し、前記境界領域の中心点、エッジの位置並びに角度を算出し、
前記境界領域に基づいて、前記建物の内部全体の前記三次元データと、前記屋外三次元データとを合成した三次元データを生成する
請求項８に記載の生成方法。
前記建物の屋外の三次元情報を示す屋外三次元データを前記記憶装置から読み出し、
前記３Dセマンティックセグメンテーションを利用して、前記演算回路が、予め前記三次元構造データ及び前記屋外三次元データから前記屋外と前記建物との境界領域を学習済みのプログラムに基づいて、当該境界領域を抽出し、前記境界領域の中心点、エッジの位置並びに角度を算出し、
前記境界領域に基づいて、前記建物の内部全体の前記三次元データと、前記屋外三次元データとを合成した三次元データを生成する
請求項８に記載の生成方法。
【請求項11】
前記スキャンデータは、前記各階の空間内を自動で移動可能なスキャン装置によって得られた前記各階の空間のデータであって、前記空間は、屋内および／または屋外の空間である
請求項１に記載の生成方法。
請求項１に記載の生成方法。
【請求項12】
前記マーカは、各階の同一位置に配置され、画像によって識別可能な識別コードであって、
前記検出データは、前記識別コードを撮影した画像データであって、
前記演算回路は、前記三次元データの生成において、前記識別コードの位置を基準とする
請求項５に記載の生成方法。
前記検出データは、前記識別コードを撮影した画像データであって、
前記演算回路は、前記三次元データの生成において、前記識別コードの位置を基準とする
請求項５に記載の生成方法。
【請求項13】
前記マーカは、各階の同一位置を特定する座標であって、
前記検出データは、前記マーカと関連づけられる位置に配置される発信機から発信された信号の受信結果であって、
前記演算回路は、前記三次元データの生成において、前記検出データで示される位置を基準とする
請求項５に記載の生成方法。
前記検出データは、前記マーカと関連づけられる位置に配置される発信機から発信された信号の受信結果であって、
前記演算回路は、前記三次元データの生成において、前記検出データで示される位置を基準とする
請求項５に記載の生成方法。
【請求項14】
前記マーカは、各階の同一位置を特定する座標であって、
前記検出データは、前記マーカと関連付けられる位置において位置測定システムを用いて得られた位置情報であって、
前記演算回路は、前記三次元データの生成において、前記検出データで示される位置を基準とする
請求項５に記載の生成方法。
前記検出データは、前記マーカと関連付けられる位置において位置測定システムを用いて得られた位置情報であって、
前記演算回路は、前記三次元データの生成において、前記検出データで示される位置を基準とする
請求項５に記載の生成方法。
【請求項15】
前記三次元構造データは、ボクセルデータとして表されるデータであって、
前記演算回路は、
受け付けた前記スキャンデータを、ボクセルデータに変換し、
ボクセルデータとして表す前記三次元データを生成する
請求項１に記載の生成方法。
前記演算回路は、
受け付けた前記スキャンデータを、ボクセルデータに変換し、
ボクセルデータとして表す前記三次元データを生成する
請求項１に記載の生成方法。
【請求項16】
記憶装置にアクセス可能な演算回路を備え、複数階ある建物の少なくとも内部を含む三次元データを生成する生成装置であって、
前記記憶装置は、
予め生成された前記建物の各階を接続する構造及び前記建物の内部に存在する物体をXYZ座標系の三次元で示す位置情報として有する三次元構造データを記憶し、
前記演算回路は、
スキャン装置を用いて、前記建物の各階を接続する構造であって各階の内部で共通する位置を示すマーカ及び当該マーカを含む前記建物の各階の少なくとも内部をスキャンしたスキャンデータと、前記スキャン装置と連動するセンサにより前記マーカの検出結果を含み、前記スキャンデータと関連付けられる検出データとを受け付け、
前記検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける前記マーカの位置情報を特定し、 前記三次元構造データが有する、前記建物の各階を接続する構造及び前記物体の前記位置情報を、前記マーカの位置を基準とするXYZ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記スキャンデータを合成して前記建物の内部全体の三次元データを生成する
生成装置。
前記記憶装置は、
予め生成された前記建物の各階を接続する構造及び前記建物の内部に存在する物体をXYZ座標系の三次元で示す位置情報として有する三次元構造データを記憶し、
前記演算回路は、
スキャン装置を用いて、前記建物の各階を接続する構造であって各階の内部で共通する位置を示すマーカ及び当該マーカを含む前記建物の各階の少なくとも内部をスキャンしたスキャンデータと、前記スキャン装置と連動するセンサにより前記マーカの検出結果を含み、前記スキャンデータと関連付けられる検出データとを受け付け、
前記検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける前記マーカの位置情報を特定し、 前記三次元構造データが有する、前記建物の各階を接続する構造及び前記物体の前記位置情報を、前記マーカの位置を基準とするXYZ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記スキャンデータを合成して前記建物の内部全体の三次元データを生成する
生成装置。
【請求項17】
記憶装置にアクセス可能な演算回路に、
スキャン装置を用いて、建物の各階を接続する構造であって各階の内部で共通する位置を示すマーカ及び当該マーカを含む前記建物の各階の少なくとも内部をスキャンしたスキャンデータと、前記スキャン装置と連動するセンサにより前記マーカの検出結果を含み、前記スキャンデータと関連付けられる検出データとを受け付けるステップと、
前記記憶装置から、予め生成された前記建物の各階を接続する構造をＸＹＺ座標系の三次元で示す位置情報として有する三次元構造データを読み出しするステップと、
前記検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける前記マーカの位置情報を特定するステップと、
前記三次元構造データが有する、前記建物の各階を接続する構造及び前記建物の内部に存在する物体の前記位置情報を、前記マーカの位置を基準とするＸＹＺ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記スキャンデータを合成して前記建物の内部全体の三次元データを生成するステップと、
を実行させるコンピュータプログラム。
スキャン装置を用いて、建物の各階を接続する構造であって各階の内部で共通する位置を示すマーカ及び当該マーカを含む前記建物の各階の少なくとも内部をスキャンしたスキャンデータと、前記スキャン装置と連動するセンサにより前記マーカの検出結果を含み、前記スキャンデータと関連付けられる検出データとを受け付けるステップと、
前記記憶装置から、予め生成された前記建物の各階を接続する構造をＸＹＺ座標系の三次元で示す位置情報として有する三次元構造データを読み出しするステップと、
前記検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける前記マーカの位置情報を特定するステップと、
前記三次元構造データが有する、前記建物の各階を接続する構造及び前記建物の内部に存在する物体の前記位置情報を、前記マーカの位置を基準とするＸＹＺ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記スキャンデータを合成して前記建物の内部全体の三次元データを生成するステップと、
を実行させるコンピュータプログラム。
【請求項18】
過去の前記スキャンデータ、検出データ及び前記三次元データを記憶するステップと、
新たにスキャンデータ及び検出データを受け付け、当該新たなスキャンデータ及び検出データを、前記記憶した前記スキャンデータ及び前記検出データと比較するステップと、
当該比較するステップにて両者が異なった場合には、前記新たな検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける新たな前記マーカの位置情報を特定するステップと、
前記三次元構造データが有する、前記建物の各階を接続する構造及び前記物体の前記位置情報を、前記新たなマーカの位置を基準とするXYZ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記新たなスキャンデータを合成するとともに、過去の前記記憶された三次元データも合成して前記建物の内部全体の新たな三次元データを生成するステップと、
前記比較するステップにて両者が同じ場合には終了するステップと、
を実行させる請求項１７に記載のコンピュータプログラム。
新たにスキャンデータ及び検出データを受け付け、当該新たなスキャンデータ及び検出データを、前記記憶した前記スキャンデータ及び前記検出データと比較するステップと、
当該比較するステップにて両者が異なった場合には、前記新たな検出データ及び前記三次元構造データに基づいて、各階の前記スキャンデータにおける新たな前記マーカの位置情報を特定するステップと、
前記三次元構造データが有する、前記建物の各階を接続する構造及び前記物体の前記位置情報を、前記新たなマーカの位置を基準とするXYZ座標系に変換して表し、当該変換された前記位置情報に合致するように、各階の前記新たなスキャンデータを合成するとともに、過去の前記記憶された三次元データも合成して前記建物の内部全体の新たな三次元データを生成するステップと、
前記比較するステップにて両者が同じ場合には終了するステップと、
を実行させる請求項１７に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数階ある建物の内部を含む三次元データを生成する生成方法、生成装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
建物や街に関する三次元データは、防災対策や作業のシミュレーション等の様々な場面で利用されている。また近年、仮想空間にとどまらず、現実空間を再現したデジタルツインの空間の利用も拡大している。複数階ある建物内部の三次元データを生成する場合、設計図等のデータのみを利用するのであれば、比較的容易に複数階の情報を組み合わせることができる。これに対し、複数階のそれぞれをセンサ等でセンシングした情報は、各階毎に独立した情報であるため、自動で組み合わせることは困難である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第７００４３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記に鑑み、本発明は、複数ある建物内の現状を示す三次元データを自動で生成する生成方法、生成装置及びコンピュータプログラムを提供する。
【課題を解決するための手段】
【0005】
本開示に係る生成方法は、記憶装置にアクセス可能な演算回路で実行され、複数階ある建物の少なくとも内部を示す情報を含む三次元データを生成する生成方法であって、記憶装置は、予め生成された建物の各階を接続する構造及び建物の内部に存在する物体をＸＹＺ座標系の三次元で示す位置情報として有する三次元構造データを記憶し、演算回路は、スキャン装置を用いて、建物の各階を接続する構造であって各階の内部で共通する位置を示すマーカ及びマーカを含む建物の各階の少なくとも内部をスキャンしたスキャンデータと、スキャン装置と連動するセンサによるマーカの検出結果を含み、当該スキャンデータと関連付けられる検出データとを受け付け、検出データ及び三次元構造データに基づいて、各階のスキャンデータにおけるマーカの位置情報を特定し、三次元構造データの有する、建物の各階を接続する構造及び物体の位置情報を、マーカの位置を基準とするＸＹＺ座標系に変換して表し、変換された位置情報に合致するように、各階におけるマーカの位置に対して、各階のスキャンデータを合成して建物の内部全体の三次元データを生成する。
【発明の効果】
【0006】
本開示の生成方法、生成装置及びコンピュータプログラムは、現在の建物内の各階を示す情報を含む三次元データの生成に利用することができる。
【図面の簡単な説明】
【0007】
【図1】生成システムの構成を示すブロック図である。
【図2】生成システムによる三次元データの生成対象について説明する概略図である。
【図3】三次元構造データの座標を説明する概略図である。
【図4】三次元データの生成の処理を示すフローチャートである。
【図5A】生成システムで利用するスキャンデータの一例である。
【図5B】生成システムで利用するスキャンデータの他の例である。
【発明を実施するための形態】
【0008】
以下に、図面を参照して実施形態に係る生成方法、生成装置及びコンピュータプログラムについて説明する。例えば生成装置は、複数階ある建物の内部を含む三次元データを生成する。より具体的には、生成装置は、建物内の各階において空間をスキャンして得られたスキャンデータと、各階の移動に利用される構造を示す三次元構造を組み合わせて、三次元データを生成する。一般的には、建物の骨組みや、各階の移動に利用される階段やエレベータ等の構造は、変更されにくい。これに対し、建物の内装は比較的容易に変更される。建物内に配置される棚や椅子等の備品は、更に容易に位置の変更や増減が生じ得る。建物内の三次元データは、様々な用途で利用され得るが、利用するためには、内装や備品の変更等に応じてデータを頻繁に更新することが必要であった。したがって、本開示の生成方法、生成装置及びコンピュータプログラムは、このように頻繁に変更される内装や設備に合わせて三次元データを容易に生成する。なお、以下の説明では、同一の構成について、同一の符号を付して説明を省略する。
【0009】
〈生成システム〉
生成システムは、複数階ある建物の内部を示す情報を含む三次元データを生成する。そのため、生成システムは、スキャン装置を用いて対象となる建物内の各階で空間をスキャンしてスキャンデータを取得し、各階を接続する構造を示す三次元構造データと組み合わせる。図１に示すように、生成システム１は、生成装置１０と、スキャン装置２０とを含む。図２は、生成システム１を利用して三次元データの生成の対象とする建物の概略図を示すが、生成システム１は、対象の建物の階数に応じた複数のスキャン装置２０を含んでもよい。このとき、各階に配置されるスキャン装置２０は、同一の構成であって、同一規格のスキャンデータを取得する。また、生成システム１は、各階を移動させて１台のスキャン装置２０で全ての階のスキャンデータを取得させてもよい。この場合、スキャン装置２０の個体差による影響を受けない。また、図２に示すように、スキャン装置２０を用いてスキャンされる建物内の各階では、所定の位置情報を示すマーカＭ１～Ｍ３を含むことができる。
生成システムは、複数階ある建物の内部を示す情報を含む三次元データを生成する。そのため、生成システムは、スキャン装置を用いて対象となる建物内の各階で空間をスキャンしてスキャンデータを取得し、各階を接続する構造を示す三次元構造データと組み合わせる。図１に示すように、生成システム１は、生成装置１０と、スキャン装置２０とを含む。図２は、生成システム１を利用して三次元データの生成の対象とする建物の概略図を示すが、生成システム１は、対象の建物の階数に応じた複数のスキャン装置２０を含んでもよい。このとき、各階に配置されるスキャン装置２０は、同一の構成であって、同一規格のスキャンデータを取得する。また、生成システム１は、各階を移動させて１台のスキャン装置２０で全ての階のスキャンデータを取得させてもよい。この場合、スキャン装置２０の個体差による影響を受けない。また、図２に示すように、スキャン装置２０を用いてスキャンされる建物内の各階では、所定の位置情報を示すマーカＭ１～Ｍ３を含むことができる。
【0010】
〈スキャン装置〉
スキャン装置２０は、周囲環境である空間のＸＹＺの三次元座標を持つ点群データを取得する装置である。スキャン装置２０は、様々な方式のリモートセンシング技術を利用することができる。以下では、LiDAR技術を利用するスキャン装置２０を説明する。したがって、スキャン装置２０は、レーザ光を発光して、反射光を受光する第１センサ２０１と、第１センサ２０１で受光した反射光から点群データを生成する演算回路２０２とを含む。また、スキャン装置２０は、スキャンデータである点群データの取得とともに、周囲環境の画像を撮影し、撮影した画像から所定の識別情報を検出すると、識別情報の位置を検出データとして取得する第２センサ２０３と、スキャンデータ及び検出データを生成装置１０に送信する通信インタフェース（I/F）２０４とを備える。通信インタフェース２０４は、無線および／または有線による公知の通信規格にしたがってデータ通信を行う。第１センサ２０１および第３センサ２０３は、スキャン装置２０に備えられる。したがって、第１センサ２０１および第３センサ２０３は、スキャン装置２０の移動に連動する。
スキャン装置２０は、周囲環境である空間のＸＹＺの三次元座標を持つ点群データを取得する装置である。スキャン装置２０は、様々な方式のリモートセンシング技術を利用することができる。以下では、LiDAR技術を利用するスキャン装置２０を説明する。したがって、スキャン装置２０は、レーザ光を発光して、反射光を受光する第１センサ２０１と、第１センサ２０１で受光した反射光から点群データを生成する演算回路２０２とを含む。また、スキャン装置２０は、スキャンデータである点群データの取得とともに、周囲環境の画像を撮影し、撮影した画像から所定の識別情報を検出すると、識別情報の位置を検出データとして取得する第２センサ２０３と、スキャンデータ及び検出データを生成装置１０に送信する通信インタフェース（I/F）２０４とを備える。通信インタフェース２０４は、無線および／または有線による公知の通信規格にしたがってデータ通信を行う。第１センサ２０１および第３センサ２０３は、スキャン装置２０に備えられる。したがって、第１センサ２０１および第３センサ２０３は、スキャン装置２０の移動に連動する。
【0011】
スキャン装置２０は、人間、車両又はドローン等の移動体によって建物内の空間をくまなく移動されることで、建物内のスキャンデータを取得する。ここで、スキャン装置２０は、建物内の空間を自動で移動可能に構成されていてもよい。例えば、SLAMを搭載した自律移動可能なロボットやドローンにスキャン装置２０が組み込まれた場合、スキャン装置２０はユーザの移動操作を必要とせずに建物の空間内を移動してスキャンデータを取得することができる。なお、スキャン装置２０がスキャンする空間は、建物内に限定されず、屋上、半屋外、玄関フロア、ペデストリアンデッキ等の、基準とする各階の建築構造物と接続される半屋外を含む空間を含むことができる。
【0012】
なお、スキャン装置２０は、LiDAR技術の他、電磁波を利用して空間の点群データを取得する各種の技術を用いることができる。例えば、スキャン装置２０として、３Dレーザスキャナを利用することができる。また例えば、スキャン装置２０として、イメージセンサを利用することができる。
【0013】
また、スキャン装置２０はから生成装置１０にデータを出力する方法は、通信インタフェース２０４を用いてスキャンデータ及び検出データを送信する方法に限定されない。例えば、スキャン時には、スキャン装置２０内に差し込み可能な記憶媒体（図示せず）に、スキャンデータ及び検出データを記憶させる。スキャンの終了後、スキャン装置２０から抜き取った記憶媒体を生成装置１０に差し込み、生成装置１０で読み出して利用してもよい。
【0014】
〈生成装置〉
生成装置１０は、図１に示すように、演算回路１０１、記憶装置１０２、入力装置１０３、出力装置１０４、通信インタフェース（Ｉ／Ｆ）１０５を備える情報処理装置によって実現される。
生成装置１０は、図１に示すように、演算回路１０１、記憶装置１０２、入力装置１０３、出力装置１０４、通信インタフェース（Ｉ／Ｆ）１０５を備える情報処理装置によって実現される。
【0015】
演算回路１０１は、生成装置１０全体の制御を司るコントローラである。演算回路１０１は、記憶装置１０２に記憶されるコンピュータプログラムＰを実行することにより、三次元データの生成の各種の処理を実行する。演算回路１０１は、所定の機能を実現するハードウェア回路でもよい。例えば、演算回路１０１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
【0016】
記憶装置１０２は、種々の情報を記憶する記憶媒体である。記憶装置１０２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置１０２は、演算回路１０１が実行するコンピュータプログラムＰの他、三次元データの生成の処理で用いられる種々のデータ及び処理で得られる種々のデータ等が格納される。
【0017】
入力装置１０３は、三次元データの生成のリクエストやデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。また、出力装置１０４は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力手段である。
【0018】
通信インタフェース（I/F）１０５は、外部の装置（例えば、スキャン装置２０）とのデータ通信を可能とするための通信手段である。データ通信は、無線および／または有線による公知の通信規格にしたがって行われ得る。例えば、有線によるデータ通信は、イーサネット（登録商標）規格、および／またはＵＳＢ（登録商標）規格等に準拠して動作する半導体集積回路の通信コントローラを通信I/F１０５として用いることによって行われる。また無線によるデータ通信は、ＬＡＮ（Local Area Network）に関するＩＥＥＥ８０２．１１規格、および／または移動体通信に関する、いわゆる４Ｇ／５Ｇと呼ばれる、第４世代／第５世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信I/F１０５として用いることによって行われる。
【0019】
例えば、図１に示すように、記憶装置１０２は、コンピュータプログラムＰとともに、三次元構造データＤ１、マーカデータＤ２、屋外三次元データＤ３、スキャンデータＤ４及び検出データＤ５を記憶する。
【0020】
三次元構造データＤ１は、複数階ある建物の各階を接続する構造をＸＹＺの三次元で示すデータである。「建物の各階を接続する構造」とは、例えば、階段、エレベータ又は柱等である。このような階段、エレベータ及び柱等の「各階を接続する構造」は、一般には建設後に変更されることがないのに加え、どの階でも共通する位置に存在する。例えば、建物のある階（例えば１階）の床面が平面であるとしたとき、その床面上の位置は、互いに直交するＸ軸とＹ軸とで張られるＸＹ平面上の位置、すなわちＸＹ座標として表すことができる。複数の階を想定すると、各階の床面上の位置は、各階の高さ方向（Ｚ軸方向）の位置と、Ｚ軸方向の位置を通る、Ｚ軸に垂直なＸＹ平面上の位置、すなわちＸＹＺ座標として表すことができる。建物を、このようにＸＹＺ座標で表すとき、階段、エレベータ、エスカレータ及び柱等は、異なるＺ座標において、ＸＹ座標が共通する。すなわち、「各階を接続する構造」とは、各階の同一位置に共通して存在する（共通するＸＹ座標を有する）構造である。そして、後述の通り、スキャンデータのマーカは、異なるＺ座標でＸＹ座標が共通する構造（各階を接続する構造）に付与されることにより、各階を接続する構造を特定する。そのため、生成装置１０では、このような「各階を接続する構造」を、各階のスキャンデータを合成する際の位置合わせに利用する。したがって、位置合わせを容易にする観点から、「各階を接続する構造」は、建物の高さ方向で共通する位置にあり、建設後にＸＹ座標での位置の変更が容易でないことが好ましい。たとえば、階段を「各階を接続する構造」とする場合、複数の踏み板の位置だけでなく踊り場を含む階段の構成全体である。また、エレベータを「各階を接続する構造」とする場合、エレベータの籠ではなく、エレベータの籠が昇降する昇降路を構成する骨格である。
【0021】
図３を用いて、三次元構造データＤ１の座標系について説明する。図３は、空間内でマーカＭが設置され、また、空間内に物体Ｏが存在する一例を示す。例えば、三次元構造データＤ１において、ＸＹＺ座標系は、所定の位置情報を示すマーカＭを原点ＰM1としてもよい。なお、本実施例では、実際の建物の階段、エレベータ及び柱等の「各階を接続する構造」に後述するマーカを設置し、実際に設置されたマーカをマーカMとして三次元構造データに紐づけ、各階のスキャンデータを合成する際の位置合わせに利用する。一方、空間内に存在する物体Ｏは、予め、各々の座標系で規定される。具体的には、空間に存在する物体Ｏは、例えば、物体Ｏの内接球体の中心位置を原点ＰOとするｘｙｚ座標系で表してもよいし、物体Ｏの外接球体の中心位置を原点とするｘｙｚ座標系で表してもよい。しかしながら、生成装置１０で扱うために、物体Ｏの位置情報を、マーカＭの位置を基準とするＸＹＺ座標系に変換して表すことが好ましい。したがって、各物体の座標系を相対回転座標系とし、各物体の外接球体の中心位置と、その回転角度を用いることで、ＸＹＺ座標系に合わせることができる。例えば、物体Ｏの中心位置ＰM2を、マーカＭを基準とする原点に合わせるとともに、回転角度を求めて変換する。例えば、複数の異なる物体が存在する場合、それぞれの物体に対して同様の処理で位置を求める。これにより、空間内に複数の異なる物体が配置されている場合であっても、同一の基準で各物体の位置を同一の座標系の三次元構造データＤ１として示すことができる。
【0022】
三次元構造データＤ１は、例えば、建物の施工で利用されたＣＡＤデータ、ＢＩＭデータ等の三次元設計データから抽出された階段、エレベータ又は柱等の構造に関するデータであってもよい。また、三次元構造データＤ１は、ボクセルデータで表すことができる。ボクセルデータで表す三次元構造データＤ１は、正規格子で規定された三次元空間において、骨格材等の物体の存在がある一連の格子をボクセル群として示すことで、空間内の設備や什器等の設置位置、空間内の人や移動体の移動経路等の管理を容易化し、これらの情報の取得効率を向上させ、計算負荷を軽減させることができる。または、三次元構造データＤ１は、各階を接続する構造の位置を示す座標と、各マーカＭの位置を示す座標とを含み、建物の各階の三次元データを紐付けるＪＳＯＮ形式のデータであっても良い。さらに、三次元構造データは、ＪＳＯＮ形式のデータを、ＣＡＤデータやＢＩＭデータから抽出されたデータに紐付けたデータであっても良い。
【0023】
マーカデータＤ２は、建物内における所定のマーカの位置情報を示すデータである。当該マーカデータＤ２は、３次元の位置情報を特定し得る。マーカは、建物の各階で得られたスキャンデータを合成する際の基準に用いられる。例えば、マーカは、各階の同一位置に共通して存在する構造を示す情報である。具体的には、マーカは、各階の同一位置に配置された画像認識で識別可能な、例えば、QRコード（登録商標）等の識別コードであってもよい。QRコード（登録商標）は実際の建物の階段、エレベータ及び柱等の「各階を接続する構造」に付与される。マーカデータＤ２の位置情報は、三次元構造データＤ１の対応する特定の位置情報として関連付けられ、三次元構造データＤ１で示される建物の構造のマーカＭの位置情報として示される。マーカデータＤ２の位置情報の登録は、スキャン装置２０の演算回路２０２がスキャンデータから推定してもよいし、入力装置１０３を介して設定された値を位置情報として利用してもよい。生成装置１０の演算回路１０１は、事前に登録したマーカデータＤ２の位置情報と、自己位置から推定したマーカデータＤ２の位置情報を特定し、スキャンデータと共に紐づける。そして、後述するように、各階で得られたスキャンデータの各階のマーカ部分が、三次元構造データの該当する階層のマーカＭの位置情報として特定され、三次元構造データの「各階を接続する構造」及び建物の内部に存在する物体の位置情報を、マーカＭの位置を基準とするＸＹＺ座標系にそれぞれ変換して表し、スキャンデータが、この変換された「各階を接続する構造」及び物体の位置情報に当てはまるように合成することで、建物全体の三次元データを得ることができる。
【0024】
屋外三次元データＤ３は、建物の屋外をＸＹＺの三次元で示すデータである。例えば、屋外三次元データＤ３は、建物の外装に加え、建物の敷地内の植栽、看板、オブジェ等の情報を含むことができる。さらに、屋外三次元データＤ３は、建物の敷地内の情報に限定されず、道路の情報を含んでもよいし、街全体の情報を含んでもよい。例えば、屋外三次元データＤ３は、所定フォーマットの地理空間情報であってもよい。具体的には、３Ｄ都市モデルのために生成された街を表す三次元データを屋外三次元データＤ３としてもよい。この屋外三次元データＤ３も、ボクセルデータで表してもよい。
【0025】
スキャンデータＤ４は、建物の各階の空間内をスキャン装置２０でスキャンして得られた各階の空間のデータである。上述したように、スキャン装置２０がLiDAR技術を利用する場合、スキャンデータＤ４は、スキャン装置２０によって得られた点群データである。また例えば、スキャンデータＤ４は、ボクセルデータであってもよい。
【0026】
検出データＤ５は、所定のマーカの検出結果を含み、スキャンデータと関連付けられるデータである。
【0027】
生成装置１０の演算回路１０１は、スキャン装置２０で得られたスキャンデータと、記憶装置１０２に記憶される三次元構造データＤ１とを利用して、複数階ある建物の内部を含む三次元データの生成に係わる一連の処理を実行する。
【0028】
生成装置１０は、スキャン装置２０から、建物内で共通する位置に所定のマーカを含む空間をスキャンしたスキャンデータを受け付ける。また、生成装置１０は、第２センサ２０３によるマーカの検出結果であって、スキャンデータと関連付けられる検出データを受け付ける。このとき、スキャンデータ及び検出データは、いずれの階のデータであるかを示す識別情報を含む。生成装置１０は、受け付けたスキャンデータＤ４及び検出データＤ５を、データが取得された階を示す識別情報とともに、記憶装置１０２に記憶させる。例えば、生成装置１０は、受け付けた点群データであるスキャンデータＤ４を、ボクセルデータに変換して記憶装置１０２に記憶させてもよい。
【0029】
生成装置１０は、検出データＤ５を用いて、スキャンデータにおけるマーカの位置情報を特定する。例えば、スキャンデータＤ４がボクセルデータであるとき、生成装置１０は、各階のスキャンデータに関し、マーカが位置するボクセルを特定する。また、生成装置１０は、記憶装置１０２から三次元構造データを読み出し、各階のスキャンデータＤ４のマーカの位置情報を、三次元構造データＤ１内のマーカＭの位置情報として特定し、三次元構造データＤ１が有する、建物の各階を接続する構造及び建物の内部に存在する物体の位置情報を、マーカＭの位置を基準とするＸＹＺ座標系に変換して表し、この変換されたそれぞれの位置情報に合致するように、各階のスキャンデータを合成した建物の内部全体の三次元データを生成する。このとき、スキャンデータＤ４がボクセルデータであれば、生成装置１０は、各階のボクセルデータを合成して建物の内部全体の三次元データを生成する。これにより、建物内部全体を把握することが可能となる。
【0030】
なお、生成装置１０は、仮に、新たに受け付けたスキャンデータＤ４を、直近のスキャンデータＤ４と比較し、建物の全ての階において一致したとき、三次元データを更新する必要はないため、新たな三次元データの生成の処理を終了するようにしてもよい。また、生成装置１０は、取得する毎に、新たな三次元データを生成するようにしてもよい。
【0031】
生成装置１０は、屋外三次元データＤ３を記憶装置１０２から読み出し、生成した建物の内部全体の三次元データに合成してもよい。これにより、建物内部全体だけでなく内部と屋外とを合わせたデジタルツインの実現が可能となる。また、屋外三次元データＤ３が建物の存在する街のデータであるとき、建物の内部から街までを合わせたデジタルツインの実現が可能となる。
【0032】
また、生成装置１０は、生成した三次元データから、物体などの特定の領域を抽出する処理を施すことができる。例えば、領域抽出には、３Ｄセマンティックセグメンテーションを利用することができる。具体的には、生成装置１０は、三次元データから、三次元データによって表す空間に存在する各物体の領域を抽出する。抽出する際には、生成装置１０が予め有する、各物体の情報（画像や位置情報など）をディープラーニングを用いた学習済みのプログラムに基づいて各物体の領域を抽出してもよい。また、生成装置１０は、領域が抽出された物体のうち、特定の物体について、物体の中心点、エッジの位置及び角度等を算出してもよい。そのほか、三次元構造データは抽出された各物体の情報を利用して生成してもよい。また、生成装置１０は、予め三次元構造データ及び屋外三次元データの情報に基づいて、屋外と建物との境界領域を学習済みのプログラムを有し、この学習済みプログラムに基づいて境界領域を抽出し、境界領域の中心点、エッジの位置並びに角度を算出し、この算出された境界領域に基づいて、建物の内部全体の三次元データと、屋外三次元データとを合成した三次元データを生成してもよい。
【0033】
なお、図１を用いて上述した例では、生成装置１０は、１台のコンピュータで表されるが、これに限定されない。生成装置１０は、複数のコンピュータで構成されていてもよい。例えば、上述した処理のいずれかが、ネットワークを介して接続される外部の装置で実行されてもよい。また例えば、記憶装置１０２に記憶されるとして上述したデータの一部が、ネットワークを介して接続される他の装置に記憶可能であり、記憶装置１０２は、外部の装置からデータを読み出したり、外部の装置にデータを記憶させたりするように構成されていてもよい。また、当然、生成装置１０は、専門家により保有される情報処理である必要はなく、クラウドコンピューティングを用いて実現されてもよい。
【0034】
図４に示すフローチャートを用いて、実施形態に係る生成装置１０において実行される処理について説明する。なお、以下の各ステップの順序は限定的ではなく、同時に実行可能な処理は同時に実行してもよいし、可能な範囲でステップの順序を入れ替えてもよい。
【0035】
生成装置１０は、スキャン装置２０で得られたスキャンデータ及び検出データを受け付ける（Ｓ１）。また、スキャン装置２０は、受け付けたスキャンデータ及び検出データを記憶装置１０２に記憶させる。図５Ａに、ある建物の１階において得られたスキャンデータの一例を示す。また、図５Ｂに、同一の建物の２階において得られたスキャンデータの一例を示す。また、生成装置１０は、図５Ａ及び図５Ｂに示す各スキャンデータとは別に、各スキャンデータに対応する検出データを受け付ける。
【0036】
生成装置１０は、ステップＳ１で受け付けたスキャンデータを、記憶装置１０２で記憶される対応する過去のスキャンデータＤ４と比較する（Ｓ２）。例えば、ある建物の２階のスキャンデータを受け付けた場合、記憶装置１０２で記憶される直近の２階のスキャンデータと比較する。なお、スキャンデータＤ４に加え、対応する過去の検出データも記憶装置１０２に記憶されてよい。
【0037】
ステップＳ１で受け付けたスキャンデータと、記憶装置１０２に記憶される直近のスキャンデータとで変化があるとき（Ｓ２でＹＥＳ）、処理はステップＳ３に進み、変化が無いとき（Ｓ２でＮＯ）、処理は終了する。Ｓ２でＹＥＳの場合、生成装置１０は、記憶装置１０２に記憶される三次元構造データＤ１を読み出す（Ｓ３）。
【0038】
生成装置１０は、ステップＳ１で受け付けたスキャンデータから、検出データ及び三次元構造データＤ１を用いて、マーカの位置情報を特定する（Ｓ４）。
【0039】
次に、生成装置１０は、スキャンデータのマーカの位置情報を、三次元構造データＤ１内のマーカに対応する特定の位置情報として関連付け、三次元構造データＤ１のマーカＭの位置情報として示す。そして、生成装置１０は、三次元構造データＤ１が予め有する、建物の各階を接続する構造及び建物の内部に存在する物体の位置情報を、マーカＭの位置を基準とするＸＹＺ座標系に変換して表し、この変換されたそれぞれの位置情報に合致するように、ステップＳ１で受け付けた各階のスキャンデータを合成した三次元データを生成する（Ｓ５）。また、生成装置１０は、ここで生成された三次元データに、記憶装置１０２に記憶された過去の対応する三次元データをさらに合成してよい。図５Ｃに、図５Ａ及び図５Ｂに示すスキャンデータを用いて合成された三次元データの一例を示す。
【0040】
上述したように、本開示の生成方法、生成装置及びコンピュータプログラムによれば、複数階ある建物の各階で、階段、エレベータ、エスカレータ及び柱等の「各階を接続する構造」（異なるＺ座標だがＸＹ座標が共通する構造）に設けられたマーカを基準として、予め記憶された三次元構造データを活用し、複数の異なる階で得られたスキャンデータを合成することで、建物全体の三次元データを自動生成することができる。これにより、容易に建物全体の三次元データの生成が可能となる。例えば、このような三次元データを生成することで、災害発生時における建物での避難経路のシミュレーション等に役立てることができる。
【0041】
〈変形例〉
上述した説明では、マーカは画像データから検出可能な識別コードであって、第２センサ２０３は、画像データを取得するカメラであるとしたがこれ以外の方法でマーカを検出してもよい。例えば、マーカは、所定の位置を示す無線信号であってもよい。具体的には、Beacon等の技術を用いることができる。例えば、第２センサ２０３は、特定の信号を受信可能な受信機であって、マーカで指定される特定位置に設置される発信機から発信された信号を検出データとして受信する。生成装置１０は、この検出データを用いて、スキャンデータにおけるマーカの位置情報を特定し、スキャンデータを三次元構造データに合成して三次元データを生成する。
上述した説明では、マーカは画像データから検出可能な識別コードであって、第２センサ２０３は、画像データを取得するカメラであるとしたがこれ以外の方法でマーカを検出してもよい。例えば、マーカは、所定の位置を示す無線信号であってもよい。具体的には、Beacon等の技術を用いることができる。例えば、第２センサ２０３は、特定の信号を受信可能な受信機であって、マーカで指定される特定位置に設置される発信機から発信された信号を検出データとして受信する。生成装置１０は、この検出データを用いて、スキャンデータにおけるマーカの位置情報を特定し、スキャンデータを三次元構造データに合成して三次元データを生成する。
【0042】
また例えば、マーカは、建物の各階で共通する特定の位置自体を特定する座標をマーカとし、GNSS等の位置測定システムから得られる信号を受信可能な受信機を第２センサ２０３としてもよい。具体的には、マーカの座標を指定の状態でスキャンする際のスキャン装置２０の位置が予め定められており、第２センサ２０３は、位置測定システムを用いて当該位置にスキャン装置２０が存在するとされた信号を検出データとする。例えば、マーカの座標がスキャンデータにおいて、中央となる場合のスキャン装置２０の位置を予め定める。生成装置１０は、この検出データを用いて、スキャンデータから指定の状態であるマーカの位置情報を特定し、スキャンデータを三次元構造データに合成して三次元データを生成する。
【0043】
なお、信号の送信位置と受信位置との関係を利用して、第２センサ２０３の位置を特定することができる技術であれば限定されない。したがって、第２センサ２０３で受信する信号として、建物内の特定の位置から送信される超音波、Wi-Fi（登録商標）等の建物内の特定の位置から送信される無線信号、基地局等の建物外の特定の位置から送信される無線信号、建物内の特定の位置に配置されるRFID（NFCを含む）用の送信機から送信される無線信号等の種々の形式の信号を利用してもよい。
【0044】
また、上述した例では、三次元構造データＤ１、屋外三次元データＤ３及び生成データは、それぞれボクセルデータであるとして説明したが、データの形式はボクセルデータに限らず、目的に応じて、ポリゴンメッシュデータ等の他の形式で表しても良い。この場合、生成装置１０は、点群データとして取得したスキャンデータＤ４を、ポリゴンメッシュデータに変換して利用する。
【0045】
屋外三次元データＤ３もスキャン装置２０でスキャンすることにより得られるスキャンデータで更新可能としてもよい。例えば、屋外にある植栽は日々変化する。また、屋外に配置される看板等も廃止・追加・変更等、変化することがある。したがって、屋外三次元データＤ３も更新することが有用である。そのため、屋外三次元データＤ３も、屋内のスキャンデータＤ４と同様に、スキャン装置２０でスキャンして更新してもよい。
【産業上の利用可能性】
【0046】
本開示は、建物の内部を含む三次元データの生成及び更新に有用である。
【符号の説明】
【0047】
１ 生成システム
１０ 生成装置
１０１ 演算回路
１０２ 記憶装置
Ｄ１ 三次元構造データ
Ｄ２ マーカデータ
Ｄ３ 屋外三次元データ
Ｄ４ スキャンデータ
Ｄ５ 検出データ
２０ スキャン装置
２０１ 第１センサ
２０２ 演算回路
２０３ 第２センサ
１０ 生成装置
１０１ 演算回路
１０２ 記憶装置
Ｄ１ 三次元構造データ
Ｄ２ マーカデータ
Ｄ３ 屋外三次元データ
Ｄ４ スキャンデータ
Ｄ５ 検出データ
２０ スキャン装置
２０１ 第１センサ
２０２ 演算回路
２０３ 第２センサ
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
