(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-16
(45)【発行日】2025-05-26
(54)【発明の名称】情報処理装置、制御方法、プログラム及び記憶媒体
(51)【国際特許分類】
G09B 29/00 20060101AFI20250519BHJP
G06T 7/521 20170101ALI20250519BHJP
G06T 7/593 20170101ALI20250519BHJP
G06T 1/00 20060101ALI20250519BHJP
G06T 19/20 20110101ALI20250519BHJP
G08G 1/00 20060101ALI20250519BHJP
G01B 11/00 20060101ALI20250519BHJP
【FI】
G09B29/00 Z
G06T7/521
G06T7/593
G06T1/00 315
G06T19/20
G08G1/00 D
G01B11/00 H
(21)【出願番号】P 2020075552
(22)【出願日】2020-04-21
【審査請求日】2023-03-20
(73)【特許権者】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(73)【特許権者】
【識別番号】520001073
【氏名又は名称】パイオニアスマートセンシングイノベーションズ株式会社
(74)【代理人】
【識別番号】100107331
【氏名又は名称】中村 聡延
(72)【発明者】
【氏名】小山 和紀
(72)【発明者】
【氏名】松本 令司
(72)【発明者】
【氏名】天野 克巳
(72)【発明者】
【氏名】今井 健太
【審査官】赤坂 祐樹
(56)【参考文献】
【文献】特開2019-027845(JP,A)
【文献】特開2018-092233(JP,A)
【文献】国際公開第2006/114955(WO,A1)
【文献】国際公開第2019/188704(WO,A1)
【文献】特開2013-072936(JP,A)
【文献】特表2010-506291(JP,A)
【文献】米国特許出願公開第2012/0316780(US,A1)
【文献】特開2013-171455(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09B 29/00-29/14
G01C 21/26-21/36
G08G 1/00- 1/16
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
少なく
とも一部の計測点に対するメタ情報を含む計測データを取得する取得手段と、
前記計測データのうち前記
計測データが計測される計測空間において選定された合わせ込みポイントに対応する計測データを抽出し、抽出した前記計測データを加工した加工データと、前記計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づくマッチングにより合わせ込みを行う合わせ込み手段と、
前記合わせ込みの結果に基づき、前記計測データを補正する補正手段と、
を有する情報処理装置。
【請求項2】
前記計測空間における合わせ込みポイントを選定する合わせ込みポイント選定手段をさらに有し、
前記合わせ込み手段は、前記合わせ込みポイントを基準として、前記合わせ込みを行う、請求項1に記載の情報処理装置。
【請求項3】
前記メタ情報は、物体の特徴を示す指標である特徴情報であり、
前記合わせ込み手段は、前記特徴情報に基づき、前記合わせ込みを行う、請求項1または2に記載の情報処理装置。
【請求項4】
前記計測データは、カメラ又は測域センサにより計測されたデータであり、
前記特徴情報は、前記カメラが計測する色若しくは輝度を示す情報、又は、前記測域センサが計測する反射強度を示す情報である、請求項3に記載の情報処理装置。
【請求項5】
前記メタ情報は、施設内において計測が行われた場合の前記計測空間となる階層を特定する情報を含み、
前記合わせ込み手段は、前記計測データと、前記メタ情報により特定された前記階層に対応する前記合わせ込み素材との合わせ込みを行う、請求項1~4のいずれか一項に記載の情報処理装置。
【請求項6】
前記合わせ込み素材は、前記計測空間に関する情報である付加情報をさらに有し、
前記補正手段は、補正した計測データに前記付加情報を付加した点群地図を生成する、請求項1~5のいずれか一項に記載の情報処理装置。
【請求項7】
前記計測データは、外界センサにより計測される前記外界センサの位置を基準とした点群データと、前記点群データの時系列での計測位置の軌跡を示す軌跡情報とを含み、
前記補正手段は、前記合わせ込みの結果に基づき、前記点群データの軌跡情報を補正する、請求項1~6のいずれか一項に記載の情報処理装置。
【請求項8】
前記合わせ込み素材は、前記計測空間の図面データを含み、
前記合わせ込み手段は、抽出した前記計測データを正射変換したオルソ画像を前記加工データとして生成し、前記オルソ画像と、前記図面データとを、前記メタ情報に基づくマッチングにより合わせ込みを行う、請求項1~7のいずれか一項に記載の情報処理装置。
【請求項9】
コンピュータが、
少なく
とも一部の計測点に対するメタ情報を含む計測データを取得し、
前記計測データのうち前記
計測データが計測される計測空間において選定された合わせ込みポイントに対応する計測データを抽出し、抽出した前記計測データを加工した加工データと、前記計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づくマッチングにより合わせ込みを行い、
前記合わせ込みの結果に基づき、前記計測データを補正する、
制御方法。
【請求項10】
少なく
とも一部の計測点に対するメタ情報を含む計測データを取得する取得手段と、
前記計測データのうち前記
計測データが計測される計測空間において選定された合わせ込みポイントに対応する計測データを抽出し、抽出した前記計測データを加工した加工データと、前記計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づくマッチングにより合わせ込みを行う合わせ込み手段と、
前記合わせ込みの結果に基づき、前記計測データを補正する補正手段
としてコンピュータを機能させるプログラム。
【請求項11】
請求項10に記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地図の生成技術に関する。
【背景技術】
【0002】
従来から、車両に設置されたセンサの出力に基づき地図の生成に必要な情報を取得する技術が知られている。例えば、特許文献1には、各車両がセンサにより地図データに対する変化点を検出した場合に、その変化点に関するデータを地図管理サーバに送信することで地図データの更新を行うシステムが開示されている。また、特許文献2には、反射強度を用いたスキャンマッチング手法が開示されている。さらに、非特許文献1には、色情報を用いたスキャンマッチング手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2016-156973号公報
【文献】国際公開WO2019/188704
【非特許文献】
【0004】
【文献】Bharat Lohani, Sandeep Sasidharan. Intensity Augmented ICP for Registration of Laser Scanner Point Clouds. XXXII INCA International Congress on Cartography for Sustainable Earth Resource Management, pp. 30 - 34, 2012.
【発明の概要】
【発明が解決しようとする課題】
【0005】
SLAM(Simultaneous Localization and Mapping)により地図を作成する場合、生成される点群地図に大きな歪みが生じることがあった。このような歪みは、1度の走行による計測又は複数の走行による計測によらず生じる。
【0006】
本発明は、上記のような課題を解決するためになされたものであり、点群地図を好適に生成することが可能な情報処理装置を提供することを主な目的とする。
【課題を解決するための手段】
【0007】
請求項に記載の発明は、少なくとも一部の計測点に対するメタ情報を含む計測データを取得する取得手段と、前記計測データのうち前記計測データが計測される計測空間において選定された合わせ込みポイントに対応する計測データを抽出し、抽出した前記計測データを加工した加工データと、前記計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づくマッチングにより合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記計測データを補正する補正手段と、を有する情報処理装置である。
【0008】
また、請求項に記載の発明は、コンピュータが、少なくとも一部の計測点に対するメタ情報を含む計測データのうち前記計測データが計測される計測空間において選定された合わせ込みポイントに対応する計測データを抽出し、抽出した前記計測データを加工した加工データを取得し、前記計測データと、前記計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づくマッチングにより合わせ込みを行い、前記合わせ込みの結果に基づき、前記計測データを補正する、制御方法である。
【0009】
また、請求項に記載の発明は、少なくとも一部の計測点に対するメタ情報を含む計測データを取得する取得手段と、前記計測データのうち前記計測データが計測される計測空間において選定された合わせ込みポイントに対応する計測データを抽出し、抽出した前記計測データを加工した加工データと、前記計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づくマッチングにより合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記計測データを補正する補正手段としてコンピュータを機能させるプログラムである。
【図面の簡単な説明】
【0010】
【
図2】車載機及び情報処理装置のブロック構成を示す。
【
図5】(A)計測空間内の計測点を示すオルソ画像である。(B)合わせ込み素材となる設計図である。
【
図6】(A)合わせ込みポイントにおけるオルソ画像の拡大図である。(B)合わせ込みポイントにおける設計図の拡大図である。
【
図7】点群地図生成処理の手順を示すフローチャートの一例である。
【発明を実施するための形態】
【0011】
本発明の好適な実施形態によれば、情報処理装置は、少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記点群データを補正する補正手段と、を有する。この態様により、情報処理装置は、合わせ込み素材に的確に合わせ込むように点群データを好適に補正することができる。
【0012】
上記情報処理装置の一態様では、情報処理装置は、前記計測空間における合わせ込みポイントを選定する合わせ込みポイント選定手段をさらに有し、前記合わせ込み手段は、前記合わせ込みポイントを基準として、前記合わせ込みを行う。この態様では、情報処理装置は、マッチングが容易なポイントを合わせ込みポイントとして選定することで、合わせ込みを正確に実行することが可能となる。
【0013】
上記情報処理装置の他の一態様では、前記メタ情報は、物体の特徴を示す指標である特徴情報であり、前記合わせ込み手段は、前記特徴情報に基づき、前記合わせ込みを行う。この態様では、情報処理装置は、特徴情報を用いてより高精度に合わせ込みを行い、点群データを好適に補正することができる。好適な例では、前記点群データは、カメラ又は測域センサにより計測されたデータであり、前記特徴情報は、前記カメラが計測する色若しくは輝度を示す情報、又は、前記測域センサが計測する反射強度を示す情報である。
【0014】
上記情報処理装置の他の一態様では、前記メタ情報は、施設内において計測が行われた場合の前記計測空間となる階層を特定する情報を含み、前記合わせ込み手段は、前記点群データと、前記メタ情報により特定された前記階層に対応する前記合わせ込み素材との合わせ込みを行う。この態様により、情報処理装置は、複数の階層を有する施設内を計測する場合においても、点群データを合わせ込む対象となる階層を好適に特定し、点群データを好適に補正することができる。
【0015】
上記情報処理装置の他の一態様では、前記合わせ込み素材は、前記計測空間に関する情報である付加情報をさらに有し、前記補正手段は、補正した計測データに前記付加情報を付加した点群地図を生成する。この態様により、情報処理装置は、合わせ込み素材に含まれている付加情報を踏襲した点群地図を好適に生成することができる。
【0016】
上記情報処理装置の他の一態様では、前記点群データは、外界センサにより計測される前記外界センサの位置を基準とした点群データと、前記点群データの時系列での計測位置の軌跡を示す軌跡情報とを含み、前記補正手段は、前記合わせ込みの結果に基づき、前記点群データの軌跡情報を補正する。この態様により、情報処理装置は、合わせ込み素材に合わせ込むように点群データを好適に補正することができる。
【0017】
本発明の他の好適な実施形態によれば、コンピュータにより、少なくも一部の計測点に対するメタ情報を含む点群データを取得し、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行い、前記合わせ込みの結果に基づき、前記点群データを補正する、制御方法である。コンピュータは、この制御方法を実行することで、合わせ込み素材に的確に合わせ込むように点群データを好適に補正することができる。
【0018】
本発明の他の好適な実施形態によれば、少なくも一部の計測点に対するメタ情報を含む点群データを取得する取得手段と、前記点群データと、前記点群データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、前記メタ情報に基づき合わせ込みを行う合わせ込み手段と、前記合わせ込みの結果に基づき、前記点群データを補正する補正手段としてコンピュータを機能させるプログラムである。コンピュータは、このプログラムを実行することで、合わせ込み素材に的確に合わせ込むように点群データを好適に補正することができる。好適には、上記プログラムは、記憶媒体に記憶される。
【実施例】
【0019】
以下、図面を参照して本発明の好適な実施例について説明する。
【0020】
(1)
システム概要
図1は、本実施例に係る点群地図生成システムの概略構成図である。
図1に示す点群地図生成システムは、計測された点群データに基づく地図を生成するシステムであり、主に、計測を行いながら移動する計測装置1と、計測装置1により計測されたデータに基づき地図を生成する情報処理装置4とを有する。
【0021】
計測装置1は、計測を行う対象となる空間(「計測空間」とも呼ぶ。)内を移動しながら計測装置1の周辺の計測を行うことで、情報処理装置4に供給する計測データ「Im」を生成する。計測装置1は、種々の外界センサを有し、Visual-SLAMなどの任意のSLAM技術を用いて、計測データImを生成する。計測データImは、周辺物体の表面の3次元位置を示す計測点の点群である点群データと、生成された点群データの計測位置の軌跡を示す軌跡情報とを含んでいる。ここで、「点群データ」は、上記の軌跡に基づき外界センサが出力するデータ(「センサデータ」とも呼ぶ。)を積算した点群地図(積算点群)データを指す。点群データと、軌跡情報とは、夫々日時情報などを含むことにより対応付けがなされている。計測装置1は、情報処理装置4とデータ通信可能であって、生成した計測データImを、所定のタイミングにおいて情報処理装置4に送信する。
【0022】
なお、計測空間は、屋外の所定エリアであってもよく、主に屋内となる施設内のエリアであってもよい。また、施設が階層化されたフロアを有する場合には、計測空間は、当該施設内の任意のエリアであってもよい。計測空間が施設内の場合、計測装置1は、例えば自走式のロボットである。また、計測空間が屋外の場合、計測装置1は、例えば、道路を走行する計測車両である。
【0023】
情報処理装置4は、計測データImを計測装置1から受信し、受信した計測データImを蓄積する。そして、情報処理装置4は、計測データImに基づき、計測空間内の点群地図を生成する。
【0024】
なお、
図1に示す点群地図生成システムの構成は一例であり、
図1に示す構成に対して種々の変形を行ってもよい。
【0025】
例えば、情報処理装置4は、計測装置1とのデータ通信により計測データImを取得する代わりに、計測装置1が記憶媒体に記憶した計測データImを記憶媒体から読み出すことで、計測データImを取得してもよい。この場合、上記の記憶媒体は、計測車両の計測時には計測装置1に電気的に接続されることにより、計測装置1による計測データImの書込みが行われる。また、計測車両の計測後、上記の記憶媒体は、情報処理装置4と電気的に接続されることにより、情報処理装置4による計測データImの読み出しが行われる。また、計測装置1は、複数台存在してもよい。また、情報処理装置4は、複数の装置から構成されてもよい。この場合、複数の装置は、予め割り当てられた処理を実行し、かつ、互いに必要なデータの授受を装置間において行う。また、計測装置1は、情報処理装置4に相当する機能を有し、情報処理装置4が実行する点群地図生成処理を実行してもよい。
【0026】
(2)
装置構成
図2(A)は、計測装置1の機能的構成を示すブロック図である。計測装置1は、主に、センサ群2と、インターフェース11と、メモリ12と、コントローラ15とを有する。これらの各要素は、バスラインを介して相互に接続されている。
【0027】
センサ群2は、計測データImの生成に必要な複数のセンサであり、計測装置1の外部の計測を行うことでセンサデータを生成する外界センサを含む。
【0028】
外界センサは、ライダなどの測域センサであってもよく、視差に基づき3次元位置を計測可能なカメラ(ステレオカメラ)又は視差を用いないTOF(Time of Flight)等に基づく3次元カメラ等であってもよい。センサデータは、例えば、計測装置1の位置及び方向(詳しくは外界センサの位置及び設置角度)を基準としたデータであり、例えば計測位置からの距離及び方位の組合せを示すデータである。また、センサデータ及びセンサデータに基づき生成された点群データは、色情報、輝度の情報、反射強度の情報などの計測対象の特徴を表す指標となる情報(「特徴情報」とも呼ぶ。)を、メタ情報として含む。この場合、計測装置1は、複数の外界センサの出力に基づきメタ情報となる上述の特徴情報を生成してもよい。例えば、計測装置1は、ライダとカメラとの両方の出力に基づき、各計測点が色情報又は輝度情報を有する点群データを含む計測データを生成してもよい。
【0029】
なお、センサ群2は、内界センサをさらに含んでもよい。この場合、内界センサは、例えば、GPS受信機、加速度センサ、ジャイロセンサ、IMU(Inertial Measurement Unit)などの複数のセンサを含んでいる。上記のGPS受信機は、RTK測位方式(即ち干渉測位方式)に基づき計測車両の絶対的な位置(例えば緯度、経度、及び高度の3次元位置)を示す高精度な位置情報を生成するものであってもよい。この場合、コントローラ15は、内界センサの出力に基づき、外界センサが生成する点群データの計測位置の時系列の軌跡を示す軌跡情報を生成してもよい。なお、内界センサは、外界センサの位置及び姿勢を直接検出するように外界センサに設けられてもよい。また、計測装置1は、計測装置1への外界センサの設置位置及び設置角度を示す情報に基づき、内界センサが出力する計測装置1の位置を示すデータを、外界センサの位置を示すデータに変換した軌跡情報を生成してもよい。
【0030】
また、計測装置1は、複数の階層(フロア)を有する施設内での計測の場合、計測対象となる階層を特定するための情報をメタ情報として計測データに含めてもよい。この場合、例えば、計測データには、計測装置1に設けられた気圧センサが出力する気圧情報、又は、屋内の測位結果を示す屋内測位情報がメタ情報として含まれる。屋内測位情報は、ビーコンを利用した測位情報、IMES(Indoor MEssaging System)に基づく測位情報、無線LAN(Local Area Network)の電波強度に基づく測位情報、RFID(Radio Frequency Identification)に基づく測位情報であってもよい。
【0031】
インターフェース11は、計測装置1と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース11は、コントローラ15の制御に基づき、センサ群2が生成したデータをメモリ12に記憶する。
【0032】
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、不揮発性メモリ(ハードディスクドライブ、フラッシュメモリなどを含む)などの各種のメモリにより構成される。メモリ12は、コントローラ15が所定の処理を実行するためのプログラムが記憶される。また、メモリ12は、コントローラ15の作業メモリとして使用される。なお、コントローラ15が実行するプログラムは、メモリ12以外の記憶媒体に記憶されてもよい。
【0033】
また、メモリ12は、機能的には、点群データ記憶部16と、軌跡情報記憶部17とを有する。点群データ記憶部16は、コントローラ15の制御に基づき、生成された点群データを記憶する。軌跡情報記憶部17は、コントローラ15の制御に基づき、生成された軌跡情報を記憶する。
【0034】
なお、点群データ記憶部16及び軌跡情報記憶部17の少なくとも一方は、インターフェース11を介して計測装置1と接続されたハードディスクなどの計測装置1の外部の記憶装置に記憶されてもよい。
【0035】
コントローラ15は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などのプロセッサ等を含み、計測装置1の全体を制御する。この場合、コントローラ15は、メモリ12等に記憶されたプログラムを実行することで、点群データ記憶部16及び軌跡情報記憶部17が記憶するデータの蓄積処理、及び、計測データImの情報処理装置4への送信処理などを行う。
【0036】
図2(B)は、情報処理装置4の機能的構成を示すブロック図である。情報処理装置4は、インターフェース41と、メモリ42と、コントローラ45と、を有する。これらの各要素は、バスラインを介して相互に接続されている。
【0037】
インターフェース41は、情報処理装置4と外部装置とのデータの授受に関するインターフェース動作を行う。本実施形態では、インターフェース41は、計測装置1が生成した計測データImを受信する。インターフェース41は、計測装置1と無線通信を行うためのワイヤレスインターフェースであってもよく、計測データImを記憶した記憶媒体等から計測データImを読み出すためのハードウェアインターフェースであってもよい。また、インターフェース41は、ユーザ入力を受け付ける入力装置とのインターフェース動作を行ってもよい。
【0038】
メモリ42は、RAM、ROM、その他不揮発性メモリ(ハードディスクドライブ、フラッシュメモリなどを含む)などの各種のメモリにより構成される。メモリ42は、コントローラ45が所定の処理を実行するためのプログラムが記憶される。また、メモリ42は、コントローラ45の作業メモリとして使用される。なお、コントローラ45が実行するプログラムは、メモリ42以外の記憶媒体に記憶されてもよい。
【0039】
また、メモリ42は、機能的には、計測データ記憶部46と、合わせ込み素材記憶部47と、点群地図記憶部48とを有する。計測データ記憶部46は、計測装置1から受信した計測データImを記憶する。
【0040】
合わせ込み素材記憶部47は、計測データ記憶部46が記憶する計測データを合わせ込む対象となる合わせ込み素材を記憶する。合わせ込み素材は、計測空間の構造及び配置を示す地図データ(図面データ)であり、例えば、道路台帳、設計図、又はフロアマップなどの図面を含むデータである。また、計測空間が階層化された施設内の空間である場合、合わせ込み素材は、対象の施設の各階層の図面(フロアマップ)を示す情報であってもよい。合わせ込み素材のデータ構造については、
図3を参照して説明する。
【0041】
点群地図記憶部48は、合わせ込み素材に合わせ込むように補正された計測データを点群地図として記憶する。点群地図は、計測空間における3次元計測点の点群データであってもよく、3次元空間の正規格子を示すボクセルごとに点群データを表したボクセルデータであってもよい。
【0042】
なお、計測データ記憶部46、合わせ込み素材記憶部47、及び点群地図記憶部48の少なくとも1つは、インターフェース41を介して情報処理装置4と接続されたハードディスクなどの情報処理装置4の外部の記憶装置に記憶されてもよい。上記の記憶装置は、情報処理装置4と通信を行うサーバ装置であってもよい。また、上記の記憶装置は、複数の装置から構成されてもよい。
【0043】
コントローラ45は、CPU、GPUなどのプロセッサ等を含み、情報処理装置4の全体を制御する。この場合、コントローラ45は、メモリ42等に記憶されたプログラムを実行することで、点群地図の生成に関する処理を行う。コントローラ45は、「取得手段」、「合わせ込みポイント選定手段」、「合わせ込み手段」、「補正手段」及びプログラムを実行するコンピュータ等として機能する。
【0044】
なお、コントローラ45が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ45が実行する処理は、例えばFPGA(Field-Programmable Gate Array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ45が本実施例において実行するプログラムを実現してもよい。このように、コントローラ45は、プロセッサ以外のハードウェアにより実現されてもよい。
【0045】
ここで、合わせ込み素材記憶部47が記憶する合わせ込み素材について、
図3を参照して補足説明する。
図3は、合わせ込み素材記憶部47が記憶する合わせ込み素材のデータ構造の一例である。合わせ込み素材は、対象空間識別情報と、構造・配置情報と、メタ情報とを有する。
【0046】
対象空間識別情報は、後述の構造・配置情報において構造及び配置が示される対象となる空間の識別情報である。対象空間識別情報は、対象となる空間の緯度及び経度などの絶対位置を示す情報であってもよく、絶対位置から特定可能な識別情報(例えば行政区画の識別情報等)であってもよい。また、対象空間識別情報は、絶対位置と紐付かない相対座標系の位置を示す情報であってもよい。
【0047】
構造・配置情報は、対象となる空間内の構造及び空間内の特徴物等の配置を示す情報である。特徴物は、屋外であれば信号機や看板などの地物などが該当し、屋内であれば、壁、床、階段などが該当する。構造・配置情報は、対象となる空間の設計図などの図面(詳しくは図面を示す画像)であってもよい。また、構造・配置情報は、壁面の位置を示すレイヤ、寸法線を示すレイヤなどの複数のレイヤ構造を有するとよい。また、構造・配置情報には、スケールを示す情報が付加されてもよい。また、構造・配置情報では、計測データに含まれる軌跡情報において採用される座標系と同一又は相互に変換可能な座標系(「素材座標系」とも呼ぶ。)が設定されており、少なくとも一部の構造又は特徴物の配置が素材座標系により示されている。また、構造・配置情報は、対象の空間の3次元モデルが生成できるように3次元情報(立体的な構造及び配置の情報)を有してもよい。
【0048】
メタ情報は、計測装置1による計測データと合わせ込み素材との合わせ込みの処理において使用されるデータであり、主に、特徴情報と、階層属性情報と、付加情報と、を含む。
【0049】
特徴情報は、対応する構造・配置情報が対象とする空間において計測可能な物(床などの平面物を含む)の特徴の指標を示す情報である。特徴情報は、例えば、対象物が有する色情報であってもよく、対象物が計測される際の輝度を示す情報であってもよく、対物の反射強度を示す情報であってもよい。なお、特徴情報は、対象となる空間に存在する全ての物に付加されている必要はなく、一部の物(例えばペインティングされた専用スペース等)に付加されてもよい。
【0050】
階層属性情報は、対応する構造・配置情報が対象とする空間が複数の階層(フロア)を有する施設内の1つの階層である場合に、当該階層の属性を示す情報である。例えば、計測データに気圧センサの値がメタ情報として含まれている場合には、階層属性情報は、対象の階層において計測される気圧の範囲を示す。同様に、計測データに屋内測位情報がメタ情報として含まれている場合には、階層属性情報は、対象の階層において測位される位置の範囲を示す。この階層属性情報は、階層属性情報をメタ情報として含む地図データを参照して特定の処理(例えば自己位置推定等)を行う場合においても好適に用いられる。
【0051】
付加情報は、対応する構造・配置情報が対象とする空間内に関する付加的な情報である。付加情報は、例えば、対象の空間内に存在する施設(店舗)に関する情報(例えば、施設名、ジャンル、位置等に関する情報)、専用エリアに関する情報、その他一般的な地図データに含まれる施設情報である。付加情報は、補正済の計測データに付加されて点群地図記憶部48に記憶される。
【0052】
(3)
機能ブロック
図4は、本実施例における情報処理装置4のコントローラ45の機能的な構成を示すブロック図である。
図4に示すように、コントローラ45は、機能的には、合わせ込みポイント選定部21と、加工部22と、ずれ量算出部23と、補正部24とを有する。
【0053】
合わせ込みポイント選定部21は、計測データと合わせ込み素材とのマッチングを行うポイント(「合わせ込みポイントPm」とも呼ぶ。)を選定する。例えば、合わせ込みポイント選定部21は、ユーザ入力に基づき、計測空間から任意の部分空間を、合わせ込みポイントPmとして選定する。他の例では、合わせ込みポイント選定部21は、合わせ込み素材において登録された特徴物が存在する所定サイズの部分空間を、合わせ込みポイントPmとして自動選定する。なお、合わせ込み素材には、合わせ込みポイントPmとして選定すべきポイントを示す情報が予め含まれてもよい。
【0054】
加工部22は、合わせ込みポイント選定部21が選定した合わせ込みポイントPmに基づき、対象の計測データの加工を行うことで、加工データ「Dp」を生成する。ここで、後述のずれ量算出部23が2次元でのマッチング(即ち水平方向のみのマッチング)を行う場合には、加工部22は、合わせ込みポイントPmに対応する計測データを計測データ記憶部46から抽出し、抽出した計測データに対して正射変換を行うことで、オルソ画像を生成する。そして、加工部22は、合わせ込みポイントPm毎に生成したオルソ画像を、加工データDpとしてずれ量算出部23に供給する。一方、後述のずれ量算出部23が3次元でのマッチング(即ち高さ方向を含めたマッチング)を行う場合には、加工部22は、合わせ込みポイントPmに対応する計測データを、計測データ記憶部46から抽出し、抽出した計測データを、加工データDpとしてずれ量算出部23に供給する。また、加工部22は、合わせ込みポイントPmに対応する計測データの抽出処理に加えて、VGF(Voxel Grid Filter)による点群のダウンサンプリング、又は、ボクセル化処理などの任意のフィルタリング処理を行ってもよい。この場合、加工データDpは、各計測点が合わせ込みポイントPm内の3次元位置を示す点群データとなる。また、2次元マッチング又は3次元マッチングのいずれの場合においても、加工データDpには、抽出した計測データに含まれていたメタ情報が含まれている。
【0055】
ずれ量算出部23は、加工部22から供給される加工データDpと、合わせ込み素材記憶部47から抽出した合わせ込み素材との合わせ込みを行うことで、計測データの軌跡情報が示す軌跡のずれ量「dM」を算出する。この場合、ずれ量算出部23は、計測データに階層を特定するためのメタ情報が含まれている場合には、当該メタ情報と、合わせ込み素材の階層属性情報とを参照することで、計測された階層に対応する合わせ込み素材(詳しくは構造・配置情報)を選択する。なお、ずれ量算出部23は、合わせ込みを行う対象となる合わせ込み素材を指定するユーザ入力を受け付けることで、使用する合わせ込み素材を選択してもよい。そして、ずれ量算出部23は、加工データDpと合わせ込み素材とのマッチングをメタ情報である特徴情報に基づき実行することで、ずれ量dMを算出する。特徴情報に基づくマッチングについては後述する。なお、ずれ量算出部23は、合わせ込みポイントPmを基準として計測データを分割し、分割した計測データ同士を合わせ込みポイントPmにおいてマッチングさせることで、分割した計測データ同士のずれ量をさらに算出してもよい。このずれ量を分割した計測データに適用することで、計測データ間のずれを好適に低減することができる。なお、計測データの分割は必須ではなく、例えば、合わせ込みポイントPmにおいて計測した軌跡が分かれていた場合には、分割を行う必要がない。
【0056】
補正部24は、ずれ量算出部23が算出したずれ量dMに基づき、対象の計測データを補正した点群データ(「補正点群データDc」とも呼ぶ。)を生成する。この場合、補正部24は、ずれ量dMに基づき、対象の計測データに含まれる軌跡情報を補正し、補正した軌跡情報に基づき対応する点群データを補正することで、補正点群データDcを生成する。この場合、補正点群データDcは、修正された軌跡に基づき対応する点群データを補正した点群データであり、補正点群データDcを構成する各計測点は、素材座標系での3次元位置を示すデータとなる。なお、補正部24は、計測空間に対応する合わせ込み素材に付加情報が存在する場合には、生成した補正点群データDcに当該付加情報を付加して点群地図記憶部48に記憶するとよい。これにより、補正部24は、計測空間内の店舗などの情報を、生成した点群地図に好適に付加することができる。
【0057】
(4)合わせ込み処理
次に、ずれ量算出部23が実行する合わせ込み処理について具体的に説明する。
【0058】
図5(A)は、計測空間内の計測点を示すオルソ画像であり、
図5(B)は、合わせ込み素材として登録された設計図である。
図5(B)では、選定された合わせ込みポイント「Pm1」~「Pm5」が破線枠により明示されている。また、
図5(A)では、軌跡情報が示す軌跡が白線により明示され、かつ、合わせ込みポイントPm1~Pm5に対応する部分が白の破線枠により明示されている。なお、
図5(A)及び
図5(B)の例では、合わせ込みポイントPm3内に存在する特徴物50に関する特徴情報が、メタ情報として合わせ込み素材に含まれているものとする。
【0059】
図5(A)に示すように、加工部22は、対象となる計測データを、合わせ込み素材と同一の視点から撮影された画像となるように正射変換することで、オルソ画像に変換する。また、ずれ量算出部23は、計測データにメタ情報として含まれる気圧情報又は屋内測位情報と、合わせ込み素材記憶部47に記憶される合わせ込み素材の階層属性情報とに基づき、計測が行われた階層を特定する。そして、ずれ量算出部23は、特定した階層の構造・配置情報を、合わせ込み素材記憶部47から抽出することで、
図5(B)に示される設計図を認識する。
【0060】
また、
図5(A)、(B)に示すように、合わせ込みポイント選定部21は、壁面や静止物などの特徴物を含む計測空間内の所定サイズの矩形領域を、夫々、オルソ画像及び合わせ込み素材である設計図の両方において夫々合わせ込みポイントPm1~Pm5として設定する。例えば、合わせ込みポイント選定部21は、ユーザ入力に基づき合わせ込みポイントPmを選定する場合、
図5(A)に示すオルソ画像と
図5(B)に示す設計図とを夫々ディスプレイ等の表示装置に表示させ、表示したオルソ画像及び設計図上において、合わせ込みポイントPmとなる矩形領域を指定する入力を受け付けてもよい。
【0061】
そして、ずれ量算出部23は、合わせ込みポイントPm1~合わせ込みポイントPm5において、
図5(A)に示すオルソ画像と
図5(B)に示す設計図とのテンプレートマッチングを行う。そして、ずれ量算出部23は、テンプレートマッチングにより、
図5(A)に示す合わせ込みポイントPm1~合わせ込みポイントPm5内のオルソ画像を平行移動・回転させる必要がある移動量を、ずれ量dMとして算出する。この場合、ずれ量算出部23は、例えば、オルソ画像を生成した計測データに基づき特定される、オルソ画像の各画素での素材座標系での位置と、合わせ込みにより特定される、オルソ画像の各画素での素材座標系での位置とのずれを、ずれ量dMとして算出する。
【0062】
図6(A)は、
図5(A)に示すオルソ画像において合わせ込みポイントPm5を拡大した図であり、
図6(B)は、
図5(B)に示す設計図において合わせ込みポイントPm5を拡大した図である。例えば、合わせ込みポイントPm5でのテンプレートマッチングでは、
図6(A)に示すオルソ画像と、
図6(B)に示す設計図とのいずれにおいても、柱及び壁面が表示されている。よって、ずれ量算出部23は、オルソ画像と設計図とにおいてこれらの特徴物の位置が一致するために必要な、合わせ込みポイントPm5内でのオルソ画像の各画素の移動量を、ずれ量dMとして算出する。そして、合わせ込みポイントPm1~合わせ込みポイントPm5で夫々オルソ画像に必要な平行移動・回転量に相当するずれ量dMの算出後、これらのずれ量dMに基づき、計測データの剛体変換又は非剛体変換が行われる。なお、ずれ量dMに基づき剛体変換を行う場合には、ずれ量算出部23は、合わせ込みポイントPm1~合わせ込みポイントPm5で夫々オルソ画像に必要な平行移動・回転量に相当するずれ量の平均値又はその他の代表値を、ずれ量dMとして算出してもよい。また、ずれ量算出部23は、合わせ込みポイントPm1~合わせ込みポイントPm5以外の領域のデータをマスク処理により除外した上で、計測データと合わせ込み素材との合わせ込みを行うことで、ずれ量dMを算出してもよい。
【0063】
なお、
図5及び
図6の例では、ずれ量算出部23は、2次元方向での合わせ込みを行ったが、これに代えて、高さ方向を含めた3次元での合わせ込みを行ってもよい。この場合、ずれ量算出部23は、合わせ込みポイントPm内の位置を示す計測データを、加工データDpとして抽出する。そして、ずれ量算出部23は、合わせ込み素材から計測空間の3次元モデルを生成し、生成した3次元モデルと、合わせ込みポイントPm内の位置を示す3次元点群データである加工データDpとのマッチングを行う。このマッチング方法は、種々の3次元マッチング手法により実現されてもよい。3次元マッチング手法は、例えば、NDT(Normal Distributions Transform)によるマッチング、ICP(Iterative Closest Point)によるマッチング、法線などの特徴量を利用したマッチング、3次元でのテンプレートマッチングなどが存在する。
【0064】
次に、特徴情報に基づくマッチング方法について説明する。ずれ量算出部23は、加工データDp及び合わせ込み素材の両方に含まれるメタ情報である特徴情報に基づいてずれ量dMを算出する。
【0065】
第1の例として、合わせ込みポイントPm3内の特徴物50は、特定の色を有しており、合わせ込み素材には、特徴物50の色情報が予めメタ情報として含まれている場合について考察する。この場合、合わせ込みポイントPm3に対応する加工データDpのうち、特徴物50の表面を形成する各計測点には、同様に計測装置1の外界センサにより取得された特徴物50の色情報が含まれている。そして、ずれ量算出部23は、合わせ込みポイントPm3における合わせ込みを行う場合、色情報を考慮したマッチングを実行する。この場合、例えば、ずれ量算出部23は、マッチングさせる点又はボクセル同士の重み付け値を、色情報に基づき設定する。具体的には、ずれ量算出部23は、類似する色情報を有する点又はボクセル同士程、高い重み付けがなされるように、マッチングの度合を評価するための評価関数を定める。なお、ずれ量算出部23は、色情報を重み付け値の算出に用いる代わりに、色情報のみに基づいてマッチングを行ってもよく、色情報のみに基づくマッチング結果と、色情報を重み付け値の算出に用いたマッチング結果とを組み合わせてもよい。色情報を用いたスキャンマッチングの手法については、例えば、非特許文献1に開示されている。
【0066】
第2の例として、合わせ込み素材に特徴物50の反射強度の情報が予めメタ情報として含まれている場合について考察する。この場合、合わせ込みポイントPm3に対応する加工データDpのうち、特徴物50の表面を形成する各計測点には、計測装置1の外界センサにより取得された特徴物50の反射強度の情報が含まれている。そして、ずれ量算出部23は、合わせ込みポイントPm3における合わせ込みを行う場合、この反射強度を考慮したマッチングを実行する。この場合、ずれ量算出部23は、類似する反射強度を有する点又はボクセル同士程、高い重み付けがなされるように、マッチングの度合を評価するための評価関数を定める。なお、ずれ量算出部23は、反射強度を重み付け値の算出に用いる代わりに、反射強度のみに基づいてマッチングを行ってもよく、反射強度のみに基づくマッチング結果と、反射強度を重み付け値の算出に用いたマッチング結果とを組み合わせてもよい。なお、反射強度を用いたスキャンマッチングの手法については、例えば、特許文献2に開示されている。なお、合わせ込み素材に特徴物50の輝度の情報が予めメタ情報として含まれていた場合においても、ずれ量算出部23は、反射強度を考慮したスキャンマッチングと同様の処理を実行すればよい。
【0067】
このように、ずれ量算出部23は、メタ情報を考慮した合わせ込み処理を行うことで、合わせ込み素材へ合わせ込みを行うためのずれ量dMをより的確に算出することができる。なお、3次元マッチングを行う場合には、直接色または反射強度による重みを用いる代わりに、ずれ量算出部23は、CC-ICPの応用等として、メタ情報とそれ以外を複合してマッチングを行い、そのマッチング結果に基づきずれ量dMを算出してもよい。
【0068】
好適には、ずれ量算出部23は、メタ情報が存在する合わせ込みポイントPmのマッチング結果を、メタ情報が存在しない合わせ込みポイントPmのマッチング結果よりも重み付けを高くするとよい。例えば、
図5及び
図6の例において、合わせ込みポイントPm1~Pm5の夫々でのマッチング結果であるずれ量の重み付け平均によりずれ量dMを設定する場合について考察する。この場合、ずれ量算出部23は、メタ情報が存在する合わせ込みポイントPm3のずれ量に対する重み付け値を、他の合わせ込みポイントPmのずれ量に対する重み付け値よりも所定割合だけ高く設定する。他の好適な例では、ずれ量算出部23は、メタ情報が存在するデータ同士のマッチング結果のみに基づき、ずれ量dMを算出してもよい。この場合、
図5及び
図6の例では、ずれ量算出部23は、合わせ込みポイントPm3でのマッチング結果のみに基づきずれ量dMを決定する。これらの例によれば、ずれ量算出部23は、メタ情報を用いてより正確に合わせ込みができる箇所でのマッチング結果の重みを高くしたずれ量dMを、好適に算出することができる。
【0069】
(5)
処理フロー
図7は、情報処理装置4のコントローラ45が実行する点群地図生成処理の手順を示すフローチャートの一例である。
【0070】
まず、コントローラ45は、対象となる計測データを取得する(ステップS10)。この場合、コントローラ45は、例えば、計測データ記憶部46に記憶された全ての計測データを計測データ記憶部46から取得してもよく、ユーザ入力等により指定された計測空間における計測データを計測データ記憶部46から取得してもよい。また、コントローラ45は、インターフェース41を介して計測装置1から計測データImを受信した場合に、当該計測データImを対象の計測データとみなしてもよい。
【0071】
次に、コントローラ45の合わせ込みポイント選定部21は、1又は複数の合わせ込みポイントPmを選定する(ステップS11)。この場合、合わせ込みポイント選定部21は、ユーザ入力に基づき合わせ込みポイントPmを選定してもよく、ずれ量dMを算出するためのマッチングに好適な特徴物が存在する計測空間内の部分空間を、合わせ込みポイントPmとして自動選定してもよい。
【0072】
次に、加工部22は、ステップS11で選定された1又は複数の合わせ込みポイントPmでの計測データを加工した加工データDpを生成する(ステップS12)。この場合、加工部22は、後述のステップS13において2次元でのマッチングが行われる場合には、合わせ込みポイントPmでの計測データから生成したオルソ画像を、加工データDpとして生成する。また、加工部22は、後述のステップS13において3次元でのマッチングが行われる場合には、計測データが示す計測点群のうち、合わせ込みポイントPm内の位置を示す計測点群を、加工データDpとして抽出する。また、加工部22は、合わせ込みポイントPmに対応する計測データの抽出処理に加えて、VGFによる点群のダウンサンプリング、又は、ボクセル化処理などの任意のフィルタリング処理を行ってもよい。
【0073】
次に、ずれ量算出部23は、メタ情報を用いて、合わせ込み素材に対する計測データのずれ量dMを算出する(ステップS13)。この場合、ずれ量算出部23は、合わせ込み素材とステップS12で生成した加工データDpとに夫々メタ情報として含まれる特徴情報に基づき、合わせ込みポイントPmにおける合わせ込み素材と加工データDpとのマッチングを行う。これにより、ずれ量算出部23は、特徴情報を考慮した高精度なマッチングを行い、ずれ量dMを的確に算出することができる。また、ずれ量算出部23は、計測データに気圧情報又は屋内測位情報がメタ情報として含まれている場合、当該メタ情報と合わせ込み素材に含まれる階層属性情報とを参照することで、計測が行われた階層を特定し、特定した階層の構造・配置情報を、合わせ込み素材記憶部47から抽出する。
【0074】
そして、補正部24は、ステップS13で算出したずれ量dMに基づき、補正点群データDcを生成する(ステップS14)。この場合、ずれ量算出部23が算出したずれ量dMだけ計測データの軌跡情報を補正し、補正した軌跡情報に基づき点群データを補正することで、合わせ込み素材に合わせ込まれた補正点群データDcを生成する。その後、補正部24は、生成した補正点群データDcを、対応する合わせ込み素材の付加情報を付加して点群地図記憶部48に記憶する。このように、情報処理装置4は、合わせ込み素材に合わせ込んだ補正点群データDcを生成することで、合わせ込み素材に含まれていた付加情報を好適に引き継いだ点群地図を生成することができる。
【0075】
以上説明したように、本実施例における情報処理装置4は、取得手段と、合わせ込み手段と、補正手段とを有する。取得手段は、少なくも一部の計測点に対するメタ情報を含む点群データである計測データを取得する。合わせ込み手段は、計測データと、計測データが計測される計測空間の少なくとも一部に対するメタ情報を含む合わせ込み素材とを、メタ情報に基づき合わせ込みを行う。補正手段は、合わせ込みの結果に基づき、計測データを補正することで補正点群データDcを生成する。これにより、情報処理装置4は、合わせ込み素材に的確に合わせ込んだ点群地図を好適に生成することができる。
【0076】
なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。
【0077】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【0078】
1 計測装置
2 センサ群
4 情報処理装置
16 点群データ記憶部
17 軌跡情報記憶部
46 計測データ記憶部
47 合わせ込み素材記憶部
48 点群地図記憶部