知財求人 - 知財ポータルサイト「IP Force」
▶ チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】情報処理方法、測位方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
G06T 7/70 20170101AFI20230808BHJP
【ＦＩ】
G06T7/70 Z
【請求項の数】
20
(21)【出願番号】P 2021574903
(86)(22)【出願日】2019-11-14
(65)【公表番号】
(43)【公表日】2022-08-31
(86)【国際出願番号】 CN2019118453
(87)【国際公開番号】W WO2021017314
(87)【国際公開日】2021-02-04
【審査請求日】2021-12-16
(31)【優先権主張番号】201910690235.0
(32)【優先日】2019-07-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521295468
【氏名又は名称】チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】フォン ヨウジー
(72)【発明者】
【氏名】イエ ジーチャオ
(72)【発明者】
【氏名】ジン ジアチョン
(72)【発明者】
【氏名】ジャン グオフォン
【審査官】青木 重徳
(56)【参考文献】
【文献】特開２０１１－１８６８０８（ＪＰ，Ａ）
【文献】特表２０１９－５０６９１９（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９８７２３５０（ＣＮ，Ａ）
【文献】中国特許出願公開第１００９００３３８（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
情報処理方法であって、三次元ポイントクラウドの三次元ポイント情報を取得することと、
前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成することと、
前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定することであって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、ことと、を含む、情報処理方法。
【請求項2】
前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成する前に、前記方法は、画像情報収集過程における画像収集装置の少なくとも２つの位置姿勢情報を取得することであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、ことと、
前記画像収集装置の少なくとも２つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することと、を更に含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記位置姿勢情報は、向き情報及び位置情報を含み、前記画像収集装置の少なくとも２つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することは、
前記画像収集装置の少なくとも２つの位置情報に基づいて、画像情報収集過程における前記画像収集装置のいずれか２つの位置間の変位を決定することと、
前記画像収集装置の少なくとも２つの向き情報及びいずれか２つの位置間の変位に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記画像収集装置は、画像情報収集過程における前記画像収集装置の所在する水平軸が、前記三次元ポイントクラウドを投影する水平面に平行するという所定の基礎条件、
画像情報収集過程における前記画像収集装置の地面からの高さが、所定の高さ範囲内で変動するという所定の基礎条件、のうちの少なくとも１つを満たすことを特徴とする
請求項２又は３に記載の方法。
【請求項5】
前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成することは、前記三次元ポイントクラウドの三次元ポイント情報に基づいて、前記三次元ポイントクラウドに含まれる少なくとも１つの平面を決定することと、
前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定することと、
前記三次元ポイントクラウドから前記フィルタ除去すべき三次元ポイントを削除し、前記三次元ポイントクラウドにおける残りの三次元ポイントを得ることと、
残りの三次元ポイントの三次元ポイント情報に基づいて、残りの三次元ポイントを前記水平面へ投影し、前記三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成することと、を含み、
前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定することは、
前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数に基づいて、前記少なくとも１つの平面のうち、三次元ポイントの数が最も多く且つ第１閾値より大きい第１平面を決定することと、
前記第１平面の法線方向が前記水平面に垂直するかどうかを判定することと、
前記第１平面の法線方向が前記水平面に垂直する場合、前記第１平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定することと、を含むことを特徴とする
請求項１から４のうちいずれか一項に記載の方法。
【請求項6】
前記三次元ポイント情報は、三次元座標ベクトルを含み、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を決定することは、前記三次元ポイントクラウドの三次元座標ベクトル及び投影する水平面に基づいて、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウドの座標情報を決定することと、
前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、直線条件を満たすターゲット直線を決定することと、
前記ターゲット直線と前記水平面の座標軸との位置関係に基づいて、前記二次元ポイントクラウドの回転角を決定することと、
前記回転角に従って、前記二次元ポイントクラウドを回転し、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウド画像を得ることと、を含み、
前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、ターゲット直線条件を満たすターゲット直線を決定することは、
前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる少なくとも１本の直線を決定することであって、前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数は、第２閾値より大きい、ことと、
前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数を統計し、前記二次元ポイントの数に従って、前記少なくとも１本の直線を順序付け、順序付け結果を得ることと、
前記順序付け結果に基づいて、前記少なくとも１本の直線のうちの現在の直線を逐次取得し、前記少なくとも１本の直線のうち、前記現在の直線に垂直する直線の数を決定することと、
現在の直線に垂直する直線の数が第３閾値より大きい場合、現在の直線を、直線条件を満たすターゲット直線として決定することと、を含むことを特徴とする
請求項２に記載の方法。
【請求項7】
前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定することは、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行うことと、
毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することと、
前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することと、
前記変換関係に基づいて、前記三次元ポイントクラウドを前記参照平面図へ投影し、前記参照平面図の参照座標系における、前記三次元ポイントクラウドの投影座標を得ることと、を含むことを特徴とする
請求項１から６のうちいずれか一項に記載の方法。
【請求項8】
前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行うことは、前記二次元ポイントクラウド画像に対して相似変換を行うための変換範囲を決定することと、
前記変換範囲内で、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行うことと、を含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記相似変換は、平行移動変換を含み、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の平行移動変換後の二次元ポイントクラウド画像を対象にして、前記二次元ポイントクラウド画像に対して所定の回数でサブサンプリング処理を行い、毎回のサブサンプリング処理後の第１サンプリング画像を得ることと、
毎回のサブサンプリング処理後の第１サンプリング画像に対して、該第１サンプリング画像における二次元ポイントと第２サンプリング画像における参照点との一致度を決定することであって、第２サンプリング画像は、前記参照平面図に対して該第１サンプリング画像と同様なサブサンプリング処理を行うことで得られたものである、ことと、
１回目のサブサンプリング処理後に決定された第１サンプリング画像と第２サンプリング画像との一致度に基づいて、毎回の平行移動変換後の二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項10】
毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の相似変換後の二次元ポイントクラウド画像に対して、前記二次元ポイントクラウド画像の第１画素点をトラバーサルすることであって、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点である、ことと、
前記参照平面図における、前記第１画素点に対応する第１画像領域を決定することと、
前記第１画像領域に、前記参照点を表す第２画素点が存在する場合、前記第１画素点を第１ターゲット画素点として決定することと、
前記二次元ポイントクラウド画像に含まれる第１ターゲット画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第１比例を決定することと、
前記第１比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と前記参照平面図との一致度を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項11】
毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記参照平面図の第２画素点をトラバーサルすることであって、前記第２画素点は、前記参照平面図における、前記参照点を構成する画素点である、ことと、
前記二次元ポイントクラウド画像における、前記第２画素点に対応する第２画像領域を決定することと、
前記第２画像領域内に、前記二次元ポイントを表す第１画素点が存在する場合、前記第２画素点を第２ターゲット画素点として決定することと、
前記参照平面図に含まれる第２ターゲット画素点の数と前記参照平面図に含まれる第２画素点の数との第２比例を決定することと、
前記第２比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項12】
毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記二次元ポイントクラウド画像における、非閉鎖領域内に位置する第１画素点を決定することであって、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点である、ことと、
前記非閉鎖領域に位置する第１画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第３比例を決定することと、
前記第３比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項13】
毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、画像情報収集過程における前記画像収集装置の位置姿勢情報に基づいて、前記画像収集装置が前記二次元ポイントクラウド画像へ投影する第３画素点を決定することであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、ことと、
前記非閉鎖領域に位置する第３画素点の数と前記二次元ポイントクラウド画像に含まれる第３画素点の数との第４比例を決定することと、
前記第４比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項14】
前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することは、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記二次元ポイントクラウド画像における二次元ポイントを前記参照平面図における参照点にマッチングさせる二次元変換行列を決定することと、
前記二次元変換行列に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することと、を含むことを特徴とする
請求項７に記載の方法。
【請求項15】
測位方法であって、ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得することと、
収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較することであって、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクラウド画像と参照平面図との一致度に基づいて決定されたものであり、前記二次元ポイントクラウド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである、ことと、
前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位することと、を含む、測位方法。
【請求項16】
情報処理装置であって、三次元ポイントクラウドの三次元ポイント情報を取得するように構成される取得モジュールと、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成するように構成される生成モジュールと、
前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定するように構成される決定モジュールであって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、決定モジュールと、を備える、情報処理装置。
【請求項17】
測位装置であって、ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得するように構成される取得モジュールと、
収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較するように構成される比較モジュールであって、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクラウド画像と参照平面図との一致度に基づいて決定されたものであり、前記二次元ポイントクラウド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである、比較モジュールと、
前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位するように構成される測位モジュールと、を備える、測位装置。
【請求項18】
電子機器であって、プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出し、請求項１から１４のうちいずれか一項に記載の方法、又は、請求項１５に記載の方法を実行するように構成される、電子機器。
【請求項19】
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から１４のうちいずれか一項に記載の方法を実現させるか、又は、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１５に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項20】
コンピュータプログラムであって、前記コンピュータプログラムが電子機器で実行される時、前記電子機器におけるプロセッサに、請求項１から１４のうちいずれか一項に記載の方法、又は、請求項１５に記載の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年７月２９日に中国特許局に提出された、出願番号が２０１９１０６９０２３５．０であり、名称が「情報処理方法、測位方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年７月２９日に中国特許局に提出された、出願番号が２０１９１０６９０２３５．０であり、名称が「情報処理方法、測位方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、コンピュータビジョン技術分野に関し、特に情報処理方法、測位方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
三次元再構成技術は、近年では、新興技術であり、その用途は、極めて広く、工業、医学乃至生活娯楽などの各分野に適用されている。三次元再構成技術は、シーンにおける三次元物体を再構成し、カメラなどの画像収集装置により収集された画像を利用して物体の三次元映像を再構成し、物体を直観的に画像に示す。
【0004】
画像に基づいた三次元再構成は、シーンの三次元ポイントクラウドを生成することができる。そのうちの三次元ポイントの座標は、一般的には、画像収集装置の座標系において定義され、現実的地理的意味を持たない。幾つかの実際の用途（例えば、視覚的測位）においてこれらの三次元ポイントクラウドを利用することは、重要な意味を持つ。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願は、情報処理及び測位の技術的解決手段を提供する。
【課題を解決するための手段】
【0006】
本願の一態様によれば、情報処理方法を提供する。前記方法は、三次元ポイントクラウドの三次元ポイント情報を取得することと、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成することと、前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定することであって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、ことと、を含む。
【0007】
可能な実現形態において、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成する前に、画像情報収集過程における画像収集装置の少なくとも２つの位置姿勢情報を取得することであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、ことと、前記画像収集装置の少なくとも２つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することと、を更に含む。
【0008】
可能な実現形態において、前記位置姿勢情報は、向き情報及び位置情報を含み、前記画像収集装置の少なくとも２つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することは、前記画像収集装置の少なくとも２つの位置情報に基づいて、画像情報収集過程における前記画像収集装置のいずれか２つの位置間の変位を決定することと、前記画像収集装置の少なくとも２つの向き情報及びいずれか２つの位置間の変位に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することと、を含む。
【0009】
可能な実現形態において、前記画像収集装置は、画像情報収集過程における前記画像収集装置の所在する水平軸が、前記三次元ポイントクラウドを投影する水平面に平行するという所定の基礎条件、画像情報収集過程における前記画像収集装置の地面からの高さが、所定の高さ範囲内で変動するという所定の基礎条件、のうちの少なくとも１つを満たす。
【0010】
可能な実現形態において、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成することは、前記三次元ポイントクラウドの三次元ポイント情報に基づいて、前記三次元ポイントクラウドに含まれる少なくとも１つの平面を決定することと、前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定することと、前記三次元ポイントクラウドから前記フィルタ除去すべき三次元ポイントを削除し、前記三次元ポイントクラウドにおける残りの三次元ポイントを得ることと、残りの三次元ポイントの三次元ポイント情報に基づいて、残りの三次元ポイントを前記水平面へ投影し、前記三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成することと、を含む。
【0011】
可能な実現形態において、前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定することは、前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数に基づいて、前記少なくとも１つの平面のうち、三次元ポイントの数が最も多く且つ第１閾値より大きい第１平面を決定することと、
前記第１平面の法線方向が前記水平面に垂直するかどうかを判定することと、前記第１平面の法線方向が前記水平面に垂直する場合、前記第１平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定することと、を含む。
前記第１平面の法線方向が前記水平面に垂直するかどうかを判定することと、前記第１平面の法線方向が前記水平面に垂直する場合、前記第１平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定することと、を含む。
【0012】
可能な実現形態において、前記三次元ポイント情報は、三次元座標ベクトルを含み、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を決定することは、前記三次元ポイントクラウドの三次元座標ベクトル及び投影する水平面に基づいて、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウドの座標情報を決定することと、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、直線条件を満たすターゲット直線を決定することと、前記ターゲット直線と前記水平面の座標軸との位置関係に基づいて、前記二次元ポイントクラウドの回転角を決定することと、前記回転角に従って、前記二次元ポイントクラウドを回転し、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウド画像を得ることと、を含む。
【0013】
可能な実現形態において、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、ターゲット直線条件を満たすターゲット直線を決定することは、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる少なくとも１本の直線を決定することであって、前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数は、第２閾値より大きい、ことと、前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数を統計し、前記二次元ポイントの数に従って、前記少なくとも１本の直線を順序付け、順序付け結果を得ることと、前記順序付け結果に基づいて、前記少なくとも１本の直線のうちの現在の直線を逐次取得し、前記少なくとも１本の直線のうち、前記現在の直線に垂直する直線の数を決定することと、現在の直線に垂直する直線の数が第３閾値より大きい場合、現在の直線を、直線条件を満たすターゲット直線として決定することと、を含む。
【0014】
可能な実現形態において、前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定することは、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行うことと、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することと、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することと、前記変換関係に基づいて、前記三次元ポイントクラウドを前記参照平面図へ投影し、前記参照平面図の参照座標系における、前記三次元ポイントクラウドの投影座標を得ることと、を含む。
【0015】
可能な実現形態において、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行うことは、前記二次元ポイントクラウド画像に対して相似変換を行うための変換範囲を決定することと、前記変換範囲内で、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行うことと、を含む。
【0016】
可能な実現形態において、前記相似変換は、平行移動変換を含み、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の平行移動変換後の二次元ポイントクラウド画像を対象にして、前記二次元ポイントクラウド画像に対して所定の回数でサブサンプリング処理を行い、毎回のサブサンプリング処理後の第１サンプリング画像を得ることと、サブサンプリング処理回数の降順に従って、毎回のサブサンプリング処理後の第１サンプリング画像に対して、順に、該第１サンプリング画像における二次元ポイントと第２サンプリング画像における参照点との一致度を決定することであって、第２サンプリング画像は、前記参照平面図に対して該第１サンプリング画像と同様なサブサンプリング処理を行うことで得られたものである、ことと、１回目のサブサンプリング処理後に決定された第１サンプリング画像と第２サンプリング画像との一致度に基づいて、毎回の平行移動変換後の二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することと、を含む。
【0017】
可能な実現形態において、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、
毎回の相似変換後の二次元ポイントクラウド画像に対して、前記二次元ポイントクラウド画像の第１画素点をトラバーサルすることであって、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点である、ことと、前記参照平面図における、前記第１画素点に対応する第１画像領域を決定することと、前記第１画像領域に、前記参照点を表す第２画素点が存在する場合、前記第１画素点を第１ターゲット画素点として決定することと、前記二次元ポイントクラウド画像に含まれる第１ターゲット画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第１比例を決定することと、
前記第１比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と前記参照平面図との一致度を決定することと、を含む。
毎回の相似変換後の二次元ポイントクラウド画像に対して、前記二次元ポイントクラウド画像の第１画素点をトラバーサルすることであって、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点である、ことと、前記参照平面図における、前記第１画素点に対応する第１画像領域を決定することと、前記第１画像領域に、前記参照点を表す第２画素点が存在する場合、前記第１画素点を第１ターゲット画素点として決定することと、前記二次元ポイントクラウド画像に含まれる第１ターゲット画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第１比例を決定することと、
前記第１比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と前記参照平面図との一致度を決定することと、を含む。
【0018】
可能な実現形態において、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記参照平面図の第２画素点をトラバーサルすることであって、前記第２画素点は、前記参照平面図における、前記参照点を構成する画素点である、ことと、前記二次元ポイントクラウド画像における、前記第２画素点に対応する第２画像領域を決定することと、前記第２画像領域内に、前記二次元ポイントを表す第１画素点が存在する場合、前記第２画素点を第２ターゲット画素点として決定することと、前記参照平面図に含まれる第２ターゲット画素点の数と前記参照平面図に含まれる第２画素点の数との第２比例を決定することと、前記第２比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を含む。
【0019】
可能な実現形態において、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記二次元ポイントクラウド画像における、非閉鎖領域内に位置する第１画素点を決定することであって、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点である、ことと、前記非閉鎖領域に位置する第１画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第３比例を決定することと、前記第３比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を含む。
【0020】
可能な実現形態において、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、画像情報収集過程における前記画像収集装置の位置姿勢情報に基づいて、前記画像収集装置が前記二次元ポイントクラウド画像へ投影する第３画素点を決定することであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、ことと、前記非閉鎖領域に位置する第３画素点の数と前記二次元ポイントクラウド画像に含まれる第３画素点の数との第４比例を決定することと、前記第４比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を含む。
【0021】
可能な実現形態において、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することは、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記二次元ポイントクラウド画像における二次元ポイントを前記参照平面図における参照点にマッチングさせる二次元変換行列を決定することと、前記二次元変換行列に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することと、を含む。
【0022】
本願のもう１つの態様によれば、測位方法を提供する。前記方法は、ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得することと、収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較することであって、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクラウド画像と参照平面図との一致度に基づいて決定されたものであり、前記二次元ポイントクラウド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである、ことと、前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位することと、を含む。
【0023】
本願のもう１つの態様によれば、情報処理装置を提供する。前記情報処理装置は、三次元ポイントクラウドの三次元ポイント情報を取得するように構成される取得モジュールと、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成するように構成される生成モジュールと、前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定するように構成される決定モジュールであって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、決定モジュールと、を備える。
【0024】
可能な実現形態において、前記装置は、画像情報収集過程における画像収集装置の少なくとも２つの位置姿勢情報を取得するように構成される位置姿勢取得モジュールであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、位置姿勢取得モジュールと、前記画像収集装置の少なくとも２つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定するように構成される平面決定モジュールと、を更に備える。
【0025】
可能な実現形態において、前記位置姿勢情報は、向き情報及び位置情報を含み、前記平面決定モジュールは具体的には、前記画像収集装置の少なくとも２つの位置情報に基づいて、画像情報収集過程における前記画像収集装置のいずれか２つの位置間の変位を決定し、前記画像収集装置の少なくとも２つの向き情報及びいずれか２つの位置間の変位に基づいて、前記三次元ポイントクラウドを投影する水平面を決定するように構成される。
【0026】
可能な実現形態において、前記画像収集装置は、画像情報収集過程における前記画像収集装置の所在する水平軸が、前記三次元ポイントクラウドを投影する水平面に平行するという所定の基礎条件、画像情報収集過程における前記画像収集装置の地面からの高さが、所定の高さ範囲内で変動するという所定の基礎条件、のうちの少なくとも１つを満たす。
【0027】
可能な実現形態において、前記生成モジュールは具体的には、前記三次元ポイントクラウドの三次元ポイント情報に基づいて、前記三次元ポイントクラウドに含まれる少なくとも１つの平面を決定し、前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定し、前記三次元ポイントクラウドから前記フィルタ除去すべき三次元ポイントを削除し、前記三次元ポイントクラウドにおける残りの三次元ポイントを得て、残りの三次元ポイントの三次元ポイント情報に基づいて、残りの三次元ポイントを前記水平面へ投影し、前記三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成するように構成される。
【0028】
可能な実現形態において、前記生成モジュールは具体的には、前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数に基づいて、前記少なくとも１つの平面のうち、三次元ポイントの数が最も多く且つ第１閾値より大きい第１平面を決定し、前記第１平面の法線方向が前記水平面に垂直するかどうかを判定し、前記第１平面の法線方向が前記水平面に垂直する場合、前記第１平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定するように構成される。
【0029】
可能な実現形態において、前記三次元ポイント情報は、三次元座標ベクトルを含み、前記生成モジュールは具体的には、前記三次元ポイントクラウドの三次元座標ベクトル及び投影する水平面に基づいて、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウドの座標情報を決定し、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、直線条件を満たすターゲット直線を決定し、前記ターゲット直線と前記水平面の座標軸との位置関係に基づいて、前記二次元ポイントクラウドの回転角を決定し、前記回転角に従って、前記二次元ポイントクラウドを回転し、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウド画像を得るように構成される。
【0030】
可能な実現形態において、前記生成モジュールは具体的には、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる少なくとも１本の直線を決定するように構成され、前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数は、第２閾値より大きく、前記生成モジュールは具体的には、前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数を統計し、前記二次元ポイントの数に従って、前記少なくとも１本の直線を順序付け、順序付け結果を得て、前記順序付け結果に基づいて、前記少なくとも１本の直線のうちの現在の直線を逐次取得し、前記少なくとも１本の直線のうち、前記現在の直線に垂直する直線の数を決定し、現在の直線に垂直する直線の数が第３閾値より大きい場合、現在の直線を、直線条件を満たすターゲット直線として決定するように構成される。
【0031】
可能な実現形態において、前記決定モジュールは具体的には、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行い、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定し、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定し、前記変換関係に基づいて、前記三次元ポイントクラウドを前記参照平面図へ投影し、前記参照平面図の参照座標系における、前記三次元ポイントクラウドの投影座標を得るように構成される。
【0032】
可能な実現形態において、前記決定モジュールは具体的には、前記二次元ポイントクラウド画像に対して相似変換を行うための変換範囲を決定し、前記変換範囲内で、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行うように構成される。
【0033】
可能な実現形態において、前記相似変換は、平行移動変換を含み、前記決定モジュールは具体的には、毎回の平行移動変換後の二次元ポイントクラウド画像を対象にして、前記二次元ポイントクラウド画像に対して所定の回数でサブサンプリング処理を行い、毎回のサブサンプリング処理後の第１サンプリング画像を得て、サブサンプリング処理回数の降順に従って、毎回のサブサンプリング処理後の第１サンプリング画像に対して、順に、該第１サンプリング画像における二次元ポイントと第２サンプリング画像における参照点との一致度を決定するように構成され、第２サンプリング画像は、前記参照平面図に対して該第１サンプリング画像と同様なサブサンプリング処理を行うことで得られたものであり、前記決定モジュールは具体的には、１回目のサブサンプリング処理後に決定された第１サンプリング画像と第２サンプリング画像との一致度に基づいて、毎回の平行移動変換後の二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定するように構成される。
【0034】
可能な実現形態において、前記決定モジュールは具体的には、毎回の相似変換後の二次元ポイントクラウド画像に対して、前記二次元ポイントクラウド画像の第１画素点をトラバーサルするように構成され、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点であり、前記決定モジュールは具体的には、前記参照平面図における、前記第１画素点に対応する第１画像領域を決定し、前記第１画像領域に、前記参照点を表す第２画素点が存在する場合、前記第１画素点を第１ターゲット画素点として決定し、前記二次元ポイントクラウド画像に含まれる第１ターゲット画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第１比例を決定し、前記第１比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と前記参照平面図との一致度を決定するように構成される。
【0035】
可能な実現形態において、前記決定モジュールは具体的には、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記参照平面図の第２画素点をトラバーサルするように構成され、前記第２画素点は、前記参照平面図における、前記参照点を構成する画素点であり、前記決定モジュールは具体的には、前記二次元ポイントクラウド画像における、前記第２画素点に対応する第２画像領域を決定し、前記第２画像領域内に、前記二次元ポイントを表す第１画素点が存在する場合、前記第２画素点を第２ターゲット画素点として決定し、前記参照平面図に含まれる第２ターゲット画素点の数と前記参照平面図に含まれる第２画素点の数との第２比例を決定し、前記第２比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定するように構成される。
【0036】
可能な実現形態において、前記決定モジュールは具体的には、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記二次元ポイントクラウド画像における、非閉鎖領域内に位置する第１画素点を決定するように構成され、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点であり、前記決定モジュールは具体的には、前記非閉鎖領域に位置する第１画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第３比例を決定し、前記第３比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定するように構成される。
【0037】
可能な実現形態において、前記決定モジュールは具体的には、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、画像情報収集過程における前記画像収集装置の位置姿勢情報に基づいて、前記画像収集装置が前記二次元ポイントクラウド画像へ投影する第３画素点を決定するように構成され、前記画像情報は、前記三次元ポイントクラウドを構築するためのものであり、前記決定モジュールは具体的には、前記非閉鎖領域に位置する第３画素点の数と前記二次元ポイントクラウド画像に含まれる第３画素点の数との第４比例を決定し、前記第４比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定するように構成される。
【0038】
可能な実現形態において、前記決定モジュールは具体的には、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記二次元ポイントクラウド画像における二次元ポイントを前記参照平面図における参照点にマッチングさせる二次元変換行列を決定し、前記二次元変換行列に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定するように構成される。
【0039】
本願のもう１つの態様によれば、測位装置を提供する。前記装置は、ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得するように構成される取得モジュールと、収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較するように構成される比較モジュールであって、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクラウド画像と参照平面図との一致度に基づいて決定されたものであり、前記二次元ポイントクラウド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである、比較モジュールと、前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位するように構成される測位モジュールと、を備える。
【0040】
本願のもう１つの態様によれば、電子機器を提供する。前記電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリと備え、前記プロセッサは、上記情報処理方法を実行するように構成される。
【0041】
本願の一態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記情報処理方法を実現させる。
【0042】
本願の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、本願の実施例の第１態様のいずれか１つの方法に記載の全て又は一部の工程を実行する。
【発明の効果】
【0043】
本願の実施例において、三次元ポイントクラウドの三次元ポイント情報を取得し、三次元ポイント情報に基づいて、三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成することができる。従って、三次元ポイントクラウドを二次元ポイントクラウド画像に変換することができる。続いて、二次元ポイントクラウド画像と参照平面との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定することができる。参照平面図は、ターゲット物体を水平面へ投影する、参照座標を有する投影図を示すためのものであり、三次元ポイントクラウドは、ターゲット物体の三次元空間情報を表すためのものである。従って、三次元ポイントクラウドを参照平面図に自動的にマッチングさせ、三次元ポイントクラウドを参照平面図に正確にラベル付け、三次元ポイントクラウドを参照平面図にマッチングさせる効率及び精度を向上させることができる。また、ユーザの三次元ポイント情報により、参照座標系における、ユーザの位置を決定し、ユーザに対する測位を実現させることができる。
【0044】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
【0045】
本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【0046】
【図1】本願の実施例による情報処理方法を示すフローチャートである。
【図2】本願の実施例による三次元ポイントクラウドを投影する二次元ポイントクラウド画像を示すブロック図である。
【図3】本願の実施例による参照座標系における、三次元ポイントクラウドの投影画像を示すブロック図である。
【図4】本願の実施例による測位方法を示すフローチャートである。
【図5】本願の実施例による情報処理装置を示すブロック図である。
【図6】本願の実施例による測位装置を示すブロック図である。
【図7】本願の実施例による電子機器の一例を示すブロック図である。
【0047】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【発明を実施するための形態】
【0048】
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
【0049】
本願の実施例で提供される情報処理方法は、三次元再構成で得られた三次元ポイントクラウドの三次元ポイント情報を取得することができ、続いて、三次元ポイントクラウドの三次元ポイント情報を利用して、三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成し、生成された二次元ポイントクラウド画像と参照平面図との一致度に基づいて、参照平面図の参照座標系における、三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定する。それによって、画像収集装置の座標系における三次元ポイントクラウドを参照平面図の参照座標に変換し、三次元ポイントクラウドに含まれる三次元ポイントを参照平面図に対応する位置に自動的にマッチングさせ、三次元ポイントを投影する二次元ポイントと、参照平面図における、同一のターゲット物体を表す参照点と、をアライメントする。ここで、参照平面図は、ターゲット物体を水平面へ投影する、参照座標を有する投影図を示すためのものであり、三次元ポイントクラウドは、ターゲット物体の三次元空間情報を表すためのものである。
【0050】
関連技術において、三次元ポイントクラウドを参照平面図にマッチングさせる時に、手動方式で三次元ポイントクラウドの三次元ポイントを参照平面図にマッチングさせる。例えば、屋内地図にマッチングさせ、形状、境界及び曲がり角などのような視覚的手がかりを目視で観察し、三次元ポイントクラウドのスケール、回転及び平行移動を手動で調整し、参照平面図とアライメントする。このような方法は、効率が低く、大規模なタスクの処理に不利であり、また、手動処理方式に、統一された標準が存在せず、作業者によって操作精度が大きく相違する。本願の実施例で提供される情報処理方法は、三次元ポイントクラウドに対応する二次元ポイントクラウド画像と参照平面図との一致度により、三次元ポイントクラウドにおける三次元ポイントを参照平面図に自動的にマッチングさせることができる。大量の労働力を節約し、マッチング効率を向上させることができるだけでなく、三次元ポイントクラウドを参照平面図にマッチングさせる正確率を向上させることもできる。
【0051】
本願の実施例で提供される情報処理方法は、三次元ポイントを平面へ投影させる如何なるシーンに適用可能である。例えば、大型建築屋内シーンに対応する三次元ポイントクラウドを建築物の平面図に自動的にマッチングさせることができる。また、三次元ポイントを利用した測位、ナビゲーションのシーンにも適用可能である。例えば、ユーザは、携帯電話などの機器により撮られた画像から三次元ポイント情報を得て、現在のシーンにおける、ユーザの位置を推定し、視覚的測位を実現させることができる。以下、実施例を参照しながら、本願の実施例で提供される情報処理方法を説明する。
【0052】
図１は、本願の実施例による情報処理方法を示すフローチャートである。該情報処理方法は、端末装置、サーバ又は他の情報処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該情報処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。以下、情報処理装置を例として本願の実施例の情報処理方法を説明する。
【0053】
図１に示すように、前記情報処理方法は、下記ステップを含む。
【0054】
ステップＳ１１において、三次元ポイントクラウドの三次元ポイント情報を取得する。
【0055】
本願の実施例において、情報処理装置は、三次元で再構成された三次元ポイントクラウドを取得し、該三次元ポイントクラウドの三次元ポイント情報を取得することができる。三次元ポイントクラウドは、複数の三次元ポイントからなる三次元ポイント集合であってもよい。該集合における三次元ポイントは、画像収集装置により１つのシーンに対して収集された画像情報に基づいて得られたものであってもよい。三次元ポイントクラウドの三次元ポイント情報は、三次元ポイントの位置情報を含んでもよい。該位置情報は、画像収集装置の座標系における、三次元ポイントの位置情報であってもよい。それは、画像収集装置の座標系における三次元座標と表されてもよく、又は、画像収集装置の座標系における三次元ベクトルと表されてもよい。三次元ポイントクラウドは、例えば、ターゲット物体の所在するシーンの三次元空間情報のような、ターゲット物体の所在する三次元空間情報を表すためのものであってもよい。ターゲット物体は、、シーンに存在する如何なる物体であってもよく、例えば、壁面、支柱、机や椅子、標識、建築物などの固定した物体である。また例えば、ターゲット物体は、車両、歩行者などのような移動中の物体であってもよい。
【0056】
ここで、三次元ポイントクラウドに含まれる三次元ポイントは、１つ又は複数の画像収集装置により収集された画像情報から得られたものであってもよい。画像収集装置は、異なる角度からシーンにおけるターゲット物体を撮影することができる。画像収集装置によりターゲット物体に対して撮影を行うことで形成された画像情報は、該ターゲット物体に対応する三次元ポイントを形成することができる。複数の三次元ポイントは、該シーンにおける三次元ポイントクラウドを形成することができる。具体的な実現において、形成された三次元ポイントは、三次元空間座標系において、対応する座標を持つ。従って、ターゲット物体の三次元ポイントは、対応する座標に基づいて、三次元空間座標系において配列され、立体的三次元モデルを構成する。該三次元モデルは、三次元ポイントクラウドである。
【0057】
ステップＳ１２において、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成する。
【0058】
本願の実施例において、取得された三次元ポイントクラウドの三次元ポイント情報に基づいて、三次元ポイントクラウドを水平面へ投影することができる。ここでの水平面は、撮影過程における画像収集装置の所在する撮影平面に基づいて決定された仮想平面であってもよい。三次元ポイントクラウドを水平面へ投影することで、三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成することができる。
【0059】
ここで、三次元ポイント情報に基づいて、三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成する前に、画像収集装置の位置姿勢情報に基づいて、撮影過程における画像収集装置の撮影平面を決定し、続いて該撮影平面に基づいて、三次元ポイントクラウドを投影する水平面を決定することができる。従って、三次元ポイントクラウドを、決定した水平面へ投影し、三次元ポイントクラウドの二次元ポイントクラウド画像を生成することができる。ここでの水平面は、画像収集装置の座標系における平面であってもよく、真実の三次元空間における水平面と同じであっても異なってもよい。三次元ポイントクラウドを画像収集装置の座標系で投影し、投影する二次元ポイントクラウド画像を生成する。
【0060】
図２は、本願の実施例による三次元ポイントクラウドを投影する二次元ポイントクラウド画像を示すブロック図である。図２に示すように、三次元ポイントクラウドを投影する水平面は、真実の三次元空間におけるＺ軸に垂直していない。三次元ポイントクラウドを水平面へ投影する後、三次元ポイントクラウドの二次元ポイントクラウド画像を得ることができる。
【0061】
ステップＳ１３において、前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定し、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである。
【0062】
本願の実施例において、二次元ポイントクラウド画像と参照平面図との一致度は、同一の画像領域内に、二次元ポイントクラウド画像における二次元ポイントと参照平面図における参照点とのマッチング度合いと理解されてもよい。二次元ポイントクラウド画像と参照平面との一致度に基づいて、二次元ポイントクラウド画像を参照平面図にマッチングさせるための相似変換を決定し、続いて、決定された相似変換に基づいて、二次元ポイントクラウドマップと参照平面図をアライメントし、参照平面図の参照座標系における、三次元ポイントクラウドにおける三次元ポイントの投影座標を得ることができる。又は、決定された相似変換に基づいて、三次元ポイントクラウドを参照平面図の参照座標系で投影するための投影変換を決定する。これにより投影変換を利用して、三次元ポイントクラウドを参照平面図へ投影し、参照平面図の参照座標系における、三次元ポイントクラウドの投影画像を得ることができる。ここで、相似変換は、二次元ポイントクラウド画像から参照平面図への変換の変換関係を指す。具体的には、二次元ポイントクラウド画像を参照平面図にマッチングさせるための相似変換は、二次元ポイントクラウド画像の回転、平行移動、スケーリングなどの画像変換を含んでもよいが、これらに限定されない。相似変換により、二次元ポイントクラウド画像を参照平面図における対応する位置にマッチングさせ、二次元ポイントクラウド画像におけるターゲット物体を表す二次元ポイントを参照平面図における該ターゲット物体を表す参照点とアライメントすることができる。
【0063】
ここで、参照平面図は、ターゲット物体を水平面へ投影する平面図であってもよい。例えば、建築物の平面図、マッピングした二次元地図であってもよい。本願の実施例において、壁面、支柱などの目立つ構造を利用して、三次元ポイントクラウドを参照平面図に自動的にマッチングさせることができる。無用な情報による影響を減少させるために、ここでの参照平面図は、簡略化された平面図であってもよい。つまり、参照平面図に、壁面、支柱などの目立つ構造を表すための参照点又は参照線分を残すことができる。参照平面図において、残した参照点又は参照線分の画素点は、１と設定されてもよく、他の画素点は、０と設定されてもよい。これにより、平面図を簡略化することができる。
【0064】
図３は、本願の実施例による参照座標系における、三次元ポイントクラウドの投影画像を示すブロック図である。図３に示すように、三次元ポイントクラウドを水平面へ投影して二次元ポイントクラウド画像を得た後、二次元ポイントクラウド画像は、参照平面図と自動的にアライメントされる。本願の実施例で提供される情報処理方法によれば、二次元ポイントクラウド画像と参照平面図との一致度に基づいて、三次元ポイントクラウドを参照平面図へ投影し、画像収集装置の座標系における三次元ポイントクラウドを参照平面図の参考座標系に自動的に変換し、大量の労働力を節約し、マッチング効率を向上させることができる。
【0065】
本願の実施例で三次元ポイントクラウドを投影する水平面の可能な実現形態を提供する。上記情報処理方法は、下記ステップを更に含む。
【0066】
ステップＳ１２１において、画像情報収集過程における画像収集装置の少なくとも２つの位置姿勢情報を取得し、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである。
【0067】
ステップＳ１２２において、前記画像収集装置の少なくとも２つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定する。
【0068】
該実現形態において、三次元ポイントクラウドが画像収集装置の座標系を基準としたものであるため、画像収集装置の座標系は、実際の三次元空間の座標系と異なってもよく、まず、三次元ポイントクラウドを投影する水平面を決定することができる。ここで、画像収集装置の座標系は、画像収集装置の画像センサの所在する平面で確立された座標系であってもよい。実際の三次元空間の座標系は、ワールド座標系であってもよい。これにより、撮影過程における画像収集装置の少なくとも２つの時刻に対応する位置姿勢情報を取得することができる。各時刻における位置姿勢情報は、２つの位置姿勢情報であってもよい。又は、撮影過程における２つの画像収集装置の位置姿勢情報を取得することができる。１つの画像収集装置の位置姿勢情報は、１つの位置姿勢情報であってもよい。位置姿勢情報は、画像収集装置の位置情報及び向き情報を含んでもよい。ここでの位置情報は、画像収集装置の座標系における位置であってもよい。画像収集装置の少なくとも２つの位置姿勢情報に基づいて、画像収集装置の撮影平面を決定し、該撮影平面に基づいて、三次元ポイントクラウドを投影する水平面を決定することができる。これにより、三次元ポイントクラウドの三次元ポイント情報を該水平面の座標系に投影し、三次元ポイントクラウドの二次元ポイントクラウド画像を生成することができる。
【0069】
可能な実現形態において、上記ステップＳ１２２は、下記ステップを含んでもよい。
【0070】
ステップＳ１２２１において、前記画像収集装置の少なくとも２つの位置情報に基づいて、画像情報収集過程における前記画像収集装置のいずれか２つの位置間の変位を決定する。
【0071】
ステップＳ１２２２において、前記画像収集装置の少なくとも２つの向き情報及びいずれか２つの位置間の変位に基づいて、前記三次元ポイントクラウドを投影する水平面を決定する。
【0072】
該実現形態において、三次元ポイントクラウドを投影する水平面が画像収集装置の所在する水平軸に平行し、且つ、該水平面が画像収集装置の移動平面に平行するとすることができる。従って、画像収集装置の少なくとも２つの向き情報に対応する向きは、水平面に平行し、画像収集装置の少なくとも２つの位置情報で決定された変位は、水平面に平行する。こにより、画像収集装置の少なくとも２つの位置情報に基づいて、画像情報収集過程における画像収集装置のいずれか２つの位置間の変位を決定し、続いて、水平面と画像収集装置の向き、変位との平行関係に基づいて、三次元ポイントクラウドを投影する水平面を決定することができる。
【0073】
ここで、上記画像収集装置は、画像情報収集過程における前記画像収集装置の所在する水平軸が、前記三次元ポイントクラウドを投影する水平面に平行するという所定の基礎条件、画像情報収集過程における前記画像収集装置の地面からの高さが、所定の高さ範囲内で変動するという所定の基礎条件、のうちの少なくとも１つを満たす。ここで、画像情報収集過程における前記画像収集装置の所在する水平軸が、前記三次元ポイントクラウドを投影する水平面に平行することは、画像収集装置が三次元ポイントクラウドを再構成するための画像情報を撮る時に、画像収集装置が水平しており、つまり、画像収集装置の向きに基づいて決定された画像収集装置の座標系のｘ又はｙ軸が撮影水平面に平行することを表すことができる。
【0074】
ここで、画像収集装置の結像平面の中心を画像収集装置の座標系の原点とし、画像収集装置の結像平面に垂直し、且つ上記原点を経過する方向を画像収集装置の座標系のｚ軸とし、画像収集装置の結像平面の所在する平面のいずれか２つの相互垂直な方向を画像収集装置の座標系のｘ軸又はｙ軸とすることができる。画像情報収集過程における画像収集装置の収集の高さが所定の高さ範囲内で変動することは、画像収集装置の撮影の高さがほぼ決まったものであり、画像収集装置の変位が水平面に水平することを表すことができる。従って、少なくとも１つの上記基礎条件に基づいて、三次元ポイントクラウドを投影する水平面を決定することができる。つまり、画像収集装置の所在する水平軸が三次元ポイントクラウドを投影する水平面に平行する場合、画像情報収集過程における画像収集装置の少なくとも２つの時刻で所在する水平軸により形成される平面により、三次元ポイントクラウドを投影する水平面を決定することができる。又は、画像収集装置の収集の高さが所定の高さ範囲内で変動する場合、画像情報収集過程における異なる方向における変位ベクトルにより、三次元ポイントクラウドを投影する水平面を決定することができる。従って、三次元ポイントクラウドの所在する画像収集装置の座標系がワールド座標系と異なっても、三次元ポイントクラウドを投影する水平面を迅速に決定することができる。これにより、三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成するために投影条件を提供する。
【0075】
例えば、上記基礎条件に基づいて、まず、三次元ポイントクラウドを投影する水平面のｘ軸方向を決定し、更に、水平面のｙ軸とｚ軸方向を決定することができる。Ａは、画像収集装置の向きに基づいて決定された行列であり、Ａの各行は、１つの収集時刻における画像収集装置の水平軸ｘ軸の方向ベクトルの転置を表すと仮定すると、画像収集装置が該収集時刻で位置姿勢の回転行列をＲと決定すれば、該収集時刻における画像収集装置のｘ軸の方向ベクトルは、Ｒの１行目の行ベクトル（１，０，０）Ｔであってもよい。Ｂが画像収集装置の２つの収集時刻における変位に基づいて得られた行列であると仮定すると、安定性を向上させるために、画像収集装置の２つの収集時刻における変位は所定の閾値より大きくてもよい、例えば、閾値を画像収集装置の２つの収集時刻における最大変位の０．２倍として、小さな変位をフィルタ除去することができる。上記行列Ａ及びＢに基づいて、式（１）に示すように、水平面の法線ベクトルに関わる線形関係を確立することができる。
式（１）
【0076】
ただし、ｎは、水平面の法線ベクトルである。公式（１）は、求められるべき水平面の法線方向が画像収集装置のｘ軸に垂直し、また、画像収集装置の変位に垂直することを表すことができる。
【0077】
上記式（１）は、特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ：ＳＶＤ）によりｎ最小二乗解を求めることができる。
とすれば、Ｍに対してＳＶＤを行った後に、Ｍ＝ＵＤＶＴと表されてもよい。ここで、Ｕは、ｍ×ｍ次のユニタリー行列である。Ｄは、半正定値ｍ×３次の対角行列である。Ｖは、３×３次の特異ベクトルである。Ｖにおける最小特異値に対応する特異ベクトルは、ｎの最小二乗解であってもよい。特異値が降順に従って配列されると、Ｖに対応する特異ベクトルはそれぞれＶ１、Ｖ２及びＶ３である。従って、ｎ＝Ｖ３である。
【0078】
三次元ポイントクラウドを水平面へ投影して二次元ポイントクラウドマップを生成するために、三次元ポイントクラウドを投影する水平面の法線方向を決定する以外に、三次元ポイントクラウドを投影する水平面のｘ軸方向及びｙ軸方向を決定することができる。例えば、上記Ｖにおける他の２つの特異ベクトルであるＶ１及びＶ２をそれぞれ、投影する水平面のｘ軸の方向ベクトル及びｙ軸の方向ベクトルとすることができる。
【0079】
上記方式により、三次元ポイントクラウドを投影する水平面の所在する座標系を決定することができる。これにより、三次元ポイントクラウドを、決定された水平面へ投影することができる。
【0080】
可能な実現形態において、上記ステップＳ１２は、下記ステップを含んでもよい。
【0081】
ステップＳ１２３において、前記三次元ポイントクラウドの三次元ポイント情報に基づいて、前記三次元ポイントクラウドに含まれる少なくとも１つの平面を決定する。
【0082】
ステップＳ１２４において、前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定する。
【0083】
ステップＳ１２５において、前記三次元ポイントクラウドから前記フィルタ除去すべき三次元ポイントを削除し、前記三次元ポイントクラウドにおける残りの三次元ポイントを得る。
【0084】
ステップＳ１２６において、残りの三次元ポイントの三次元ポイント情報に基づいて、残りの三次元ポイントを前記水平面へ投影し、前記三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成する。
【0085】
該実現形態において、屋内シーンにおいて、壁面、支柱などの標識的構造を利用して、三次元ポイントクラウドを参照平面図にマッチングさせることができる。三次元ポイントクラウドが、屋内シーンにおけるいずれか１つ又は複数のターゲット物体を表す三次元ポイントを含んでもよいため、三次元ポイントクラウドにおける三次元ポイントを水平面へ投影するとした場合、非標識的構造に対応する三次元ポイントが水平面へ投影された後、標識的構造に対応する三次元ポイントを水平面へ投影することで生成された二次元ポイントに干渉を与えてしまい、壁面、支柱などの標識的構造の二次元ポイントの弁別の難度を増加させてしまう。従って、三次元ポイントクラウドの二次元ポイントクラウド画像を参照平面図にマッチングさせる効果を向上させるために、三次元ポイントクラウドを水平面へ投影する時、三次元ポイントクラウドにおける三次元ポイントをフィルタ除去することができる。例えば、三次元ポイントクラウドにおける、天井板、地面などの物体を表す三次元ポイントをフィルタ除去することで、三次元ポイントにおける、大量の非標識的構造に対応する三次元ポイントを減少させることができる。三次元ポイントクラウドの三次元ポイントをフィルタ除去する時に、三次元ポイント情報における位置情報に基づいて、三次元ポイントクラウドからなる１つ又は複数の平面を決定し、続いて、形成された各平面に含まれる三次元ポイントの数を統計し、各平面の法線方向を取得することができる。一般的には、天井板及び地面の所在する平面内に含まれる三次元ポイントの数が多く、且つ、天井板及び地面の所在する平面の法線方向が地面に垂直する。従って、各平面に含まれる三次元ポイントの数及び法線方向に基づいて、天井板、地面などの物体の平面を決定し、続いて、天井板、地面などの物体の平面に含まれる三次元ポイントをフィルタ除去すべき三次元ポイントとして決定することができる。これにより、該平面における三次元ポイントを三次元ポイントクラウドから削除し、三次元ポイントクラウドにおける残りの三次元ポイントを得ることができる。続いて、残りの三次元ポイントの位置情報に基づいて、残りの三次元ポイントを水平面へ投影し、三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成することができる。
【0086】
該実現形態の一例において、上記ステップＳ１２４は、前記少なくとも１つの平面のうちの各平面に含まれる三次元ポイントの数に基づいて、前記少なくとも１つの平面のうち、三次元ポイントの数が最も多く且つ第１閾値より大きい第１平面を決定することと、前記第１平面の法線方向が前記水平面に垂直するかどうかを判定することと、前記第１平面の法線方向が前記水平面に垂直する場合、前記第１平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定することと、を含む。
【0087】
該例において、取得された各平面に含まれる三次元ポイントの数に基づいて、三次元ポイント集合における三次元ポイントに含まれる１つ又は複数の平面のうち、三次元ポイントの数が最も多く且つ第１閾値より大きい第１平面を決定することができる。続いて、第１平面の法線方向が水平面に垂直するかどうかを判定し、第１平面の法線方向が水平面に垂直する場合、第１平面が天井板又は地面の所在する平面であることを表し、第１平面に含まれる三次元ポイントが三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントであると見なせる。そうでなければ、第１平面における三次元ポイントを上記三次元ポイント集合から保留三次元ポイント集合に移し、三次元ポイント集合における残りの三次元ポイントを得て、続いて、三次元ポイント集合における三次元ポイントに含まれる１つ又は複数の平面のうち、三次元ポイントの数が最も多く且つ第１閾値より大きい第１平面を決定するステップを繰り返して実行し、上記三次元ポイント集合における三次元ポイントの数が所定の残存数閾値以下になるまで継続する。ここで、残りの三次元ポイントは、三次元ポイント集合における残りの三次元ポイント及び保留三次元ポイント集合における三次元ポイントからなるものであってもよい。第１閾値は、実際の適用シーンに応じて設定されてもよい。
【0088】
可能な実現形態において、上記ステップＳ１２は、下記ステップを含んでもよい。
【0089】
ステップＳ１２ａにおいて、前記三次元ポイントクラウドの三次元座標ベクトル及び投影する水平面に基づいて、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウドの座標情報を決定する。
【0090】
ステップＳ１２ｂにおいて、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、直線条件を満たすターゲット直線を決定する。
【0091】
ステップＳ１２ｃにおいて、前記ターゲット直線と前記水平面の座標軸との位置関係に基づいて、前記二次元ポイントクラウドの回転角を決定する。
【0092】
ステップＳ１２ｄにおいて、前記回転角に従って、前記二次元ポイントクラウドを回転し、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウド画像を得る。
【0093】
該実現形態において、三次元ポイント情報は、三次元座標ベクトルを含んでもよい。該三次元座標ベクトルは、画像収集装置の座標系における座標ベクトルであってもよい。三次元ポイントクラウドを投影する二次元ポイントクラウド画像を生成する時に、参照平面図における標識的構造の画像位置に基づいて、三次元ポイントクラウドを水平面へ投影することができる。例えば、通常、参照平面図における壁面又は支柱などの標識的構造が参照平面図の座標系のｘ軸又はｙ軸に平行するという性質に基づいて、三次元ポイントクラウドを水平面へ投影することができる。更に、三次元ポイントクラウドにおける各三次元ポイントの三次元座標ベクトルを水平面へ投影し、投影後の二次元ポイントクラウドにおける二次元ポイントの座標情報を得る。例えば、１つの三次元ポイントｉの座標ベクトルがＸｉであれば、三次元ポイントｉを水平面へ投影する後に得られた二次元ポイントｘｉの座標は（ｘｉ，ｙｉ）であり、ｘｉ＝Ｖ１・Ｘiであり、ｙｉ＝Ｖ２・Ｘｉである。続いて、二次元ポイントクラウドの座標情報に基づいて、二次元ポイントクラウドをフィッティングして少なくとも１本の直線を得る。フィッティングで得られた直線から、直線条件を満たすターゲット直線を決定し、直線条件を満たすターゲット直線に含まれる二次元ポイントを、標識的構造を表す二次元ポイントとする。続いて、ターゲット直線と前記水平面の座標軸との位置関係に基づいて、ターゲット直線と水平面のｘ軸又はｙ軸との挟角を決定し、該挟角を二次元ポイントクラウドの回転角とし、二次元ポイントクラウドを回転角に従って回転し、ターゲット直線を、水平面座標軸の座標軸のｘ軸又はｙ軸に水平又は垂直にして、最終的に三次元ポイントクラウドを投影する二次元ポイントクラウド画像を得ることができる。
【0094】
例えば、二次元ポイントクラウドの回転角riniをとすれば、二次元ポイントクラウドを回転角riniに従って回転し、ターゲット直線を水平面のｘ軸又はｙ軸に平行にする。続いて、二次元ポイントクラウドの座標情報に基づいて、二次元ポイントクラウドの座標の極値を決定する。得られた二次元ポイントクラウドの極値座標は、（ｘｌ，ｙｔ）と表されてもよい。二次元ポイントクラウドの所在する矩形領域の長さ及び幅は、それぞれｗ及びｈと表される。該矩形領域は、二次元ポイントクラウドの少なくとも１つの二次元ポイントを含んでもよい。該矩形領域の縦横比をそのまま保持し、該矩形領域をｓini倍スケーリングすることで、長さが所定の数値である二次元ポイントクラウド画像を生成することができる。ここで、二次元ポイントクラウド画像のサイズは、参照平面図の解像度に応じて調整されてもよい。例えば、二次元ポイントクラウド画像の長さを参照平面図における１つの領域の長さと設定してもよい。二次元ポイントクラウド画像における二次元ポイントの所在位置の画素値は、１と設定されてもよく、他の位置の画素値は、０と設定されてもよい。これにより、三次元ポイントクラウドを投影する二次元ポイントクラウド画像を得ることができる。
【0095】
該実現形態の一例において、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、ターゲット直線条件を満たすターゲット直線を決定することは、前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる少なくとも１本の直線を決定することと、前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数を統計し、前記二次元ポイントの数に従って、前記少なくとも１本の直線を順序付け、順序付け結果を得ることと、前記順序付け結果に基づいて、前記少なくとも１本の直線のうちの現在の直線を逐次取得し、前記少なくとも１本の直線のうち、前記現在の直線に垂直する直線の数を決定することと、現在の直線に垂直する直線の数が第３閾値より大きい場合、現在の直線を、直線条件を満たすターゲット直線として決定することと、を含んでもよい。ここで、前記少なくとも１本の直線のうちの各直線に含まれる二次元ポイントの数は、第２閾値より大きい。該例において、屋内の参照平面図において、壁面、支柱などの目立つ構造は一般的には、ｘ軸又はｙ軸に平行する。これによれば、二次元ポイントクラウドに含まれる、直線条件を満たすターゲット直線を決定することは、下記ステップを含んでもよい。
【0096】
ステップ１において、二次元ポイントクラウドの二次元ポイント集合において、二次元ポイントを直線フィッティングする。例えば、ＲＡＮＳＡＣアルゴリズムを利用する。直線における二次元ポイントの数が最も多く且つ第２閾値より大きい直線を取得し、該直線を直線配列に入れ、二次元ポイント集合から、該直線における二次元ポイントを除去する。ここで、二次元ポイントの数として、二次元ポイントの数がピーク値に達すると最大限理解されてもよい。
【0097】
ステップ２において、二次元ポイント集合における残りの二次元ポイントの数が所定の残存数閾値より大きい場合、前のステップを繰り返す。このような方式により、二次元ポイントの数が第２閾値より大きい少なくとも１本の直線を決定することができる。
【0098】
ステップ３において、統計された各直線に含まれる二次元ポイントの数に従って、直線配列から、最も先頭に配列された現在の直線を取り出す。最も先頭に配列された現在の直線は、直線のうち、二次元ポイントの数が最も多い直線と理解されてもよい。現在の直線と他の直線との挟角を算出する。現在の直線に垂直する直線の数が第３閾値より大きいと、現在の直線がｘ軸又はｙ軸に垂直な標識的構造を表すと認められ、現在の直線を、直線条件を満たすターゲット直線として決定することができる。そうでなければ、ステップ３を繰り返し、直線条件を満たすターゲット直線が出現するか又は直線配列が空になるまで継続する。直線配列からターゲット条件を満たす直線を見付けなかった場合、配列に最初に加えられた直線である、含まれる二次元ポイントの数が最も多い直線を、ターゲット直線とすることができる。
【0099】
本願の実施例は、参照座標系における、三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定するための実現形態を更に提供する。以下、上記ステップＳ１３を説明する。上記ステップＳ１３は、下記ステップを含んでもよい。
【0100】
ステップＳ１３１において、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行う。
【0101】
ステップＳ１３２において、毎回の相似変換後の前記二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定する。
【0102】
ステップＳ１３３において、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定する。
【0103】
ステップＳ１３４において、前記変換関係に基づいて、前記三次元ポイントクラウドを前記参照平面図へ投影し、前記参照平面図の参照座標系における、前記三次元ポイントクラウドの投影座標を得る。
【0104】
該実現形態において、二次元ポイントクラウド画像のサイズ及び位置は、参照平面図のサイズ及び位置とマッチングしない可能性があるため、二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行い、二次元ポイントクラウド画像と参照平面図における同一の物体を表す画像をアライメントする。ここで、回転、スケーリング及び平行移動を含んでもよい。相似変換を行った毎に、相似変換された二次元ポイントクラウド画像における二次元ポイントと参照平面図における参照点との一致度を決定することができる。一致度が最も高い相似変換は、最終的に決定された相似変換であってもよい。最終的に決定された相似変換は、二次元ポイントクラウド画像を参照平面図にマッチングさせるための二次元相似変換であるため、最終的に決定された相似変換に基づいて、三次元ポイントクラウドにおける三次元ポイントを参照平面図における参照点にマッチングさせるための変換関係を決定することができる。つまり、二次元相似変換に基づいて三次元の変換関係を決定し、該三次元の変換関係に基づいて、三次元ポイントクラウドを参照平面図にマッチングさせ、参照座標系における、三次元ポイントクラウドの投影座標を得ることができる。
【0105】
可能な実現形態において、上記ステップＳ１３１は、下記ステップを含んでもよい。
【0106】
ステップＳ１３１１において、前記二次元ポイントクラウド画像に対して相似変換を行うための変換範囲を決定する。
【0107】
ステップＳ１３１２において、前記変換範囲内で、前記二次元ポイントクラウド画像に対して少なくとも１回の相似変換を行う。
【0108】
該実現形態において、まず、二次元ポイントクラウド画像に対して相似変換を行うための変換範囲を決定することができる。ここでの相似変換の変換範囲は、回転角度、スケーリングの大きさ及び平行移動区間を含んでもよい。決定された変動範囲内で、二次元ポイントクラウド画像に対して一回又は複数回の相似変換を行い、二次元ポイントクラウド画像を参照平面図にマッチングさせることができる。
【0109】
例えば、二次元ポイントクラウド画像を上記回転角riniで回転することができる。二次元ポイントクラウド画像における壁面などの標識的構造を表す二次元ポイントは、ｘ軸又はｙ軸に平行する。参照平面図における壁面などの標識的構造を表す参照点もｘ軸又はｙ軸に平行する。従って、二次元ポイントクラウド画像の回転角度は、４つの回転角度を含んでもよい。つまり、回転角度は、｛０°，９０°，１８０°，２７０°｝であってもよい。スケーリングの大きさは、区間［０．５５，１．４］で等間隔変換を行うことができる。間隔は、０．０５と設定されてもよい。
【0110】
平行移動区間は、参照平面図の中心の周囲の１つの矩形領域と設定されてもよい。平行移動ベクトルが（ｔｘ，ｔｙ）であって、
、
であるとすれば、平行移動ベクトルの変動間隔は、１画素であってもよい。ここで、ｗｆは、参照平面図の幅を表す。ｈｆは、参照平面図の高さを表す。
は、参照平面図の中心の
座標を表す。
は、平面図の中心の
座標を表す。
は、二次元ポイントクラウド画像の中心の
座標を表す。
は、二次元ポイントクラウド画像の中心の
座標を表す。該平行移動区間は、二次元ポイントクラウド画像の中心を参照平面図の中心の周囲の１つの矩形領域内に移動することを表す。該矩形領域の大きさは、参照平面図の大きさと同じである。
【0111】
可能な実現形態において、前記相似変換は、平行移動変換を含み、上記ステップＳ１３２は、毎回の平行移動変換後の二次元ポイントクラウド画像を対象にして、前記二次元ポイントクラウド画像に対して所定の回数でサブサンプリング処理を行い、毎回のサブサンプリング処理後の第１サンプリング画像を得ることと、毎回のサブサンプリング処理後の第１サンプリング画像に対して、該第１サンプリング画像における二次元ポイントと第２サンプリング画像における参照点との一致度を決定することであって、第２サンプリング画像は、前記参照平面図に対して該第１サンプリング画像と同様なサブサンプリング処理を行うことで得られたものである、ことと、１回目のサブサンプリング処理後に決定された第１サンプリング画像と第２サンプリング画像との一致度に基づいて、毎回の平行移動変換後の二次元ポイントクラウド画像における二次元ポイントと参照平面図の参照点との一致度を決定することと、を含んでもよい。
【0112】
該実現形態において、最適な相似変換の決定の効率を向上させるために、二次元ポイントクラウド画像を平行移動変換する場合、粗から細への方式で、毎回の平行移動変換後の二次元ポイントクラウド画像と参照平面図との一致度を決定することができる。つまり、毎回の平行移動変換後の二次元ポイントクラウド画像を対象にして、該二次元ポイントクラウド画像に対して所定の回数でサブサンプリング処理を行い、サブサンプリング処理した毎に、二次元ポイントクラウド画像に対応する第１サンプリング画像を得ることができる。それと同時に、参照平面図を所定の回数でサブサンプリング処理し、毎回のサブサンプリング処理後に、参照平面図に対応する第２サンプリング画像を得ることができる。複数の第１サンプリング画像及び二次元ポイントクラウド画像は、画像ピラミッドを構成することができる。画像ピラミッドは、複数層を含んでもよい。最下位層は、二次元ポイントクラウド画像を表すことができる。他の層は、二次元ポイントクラウド画像をサブサンプリング処理した後に得られた第１サンプリング画像を表すことができる。例えば、二次元ポイントクラウド画像を最大プーリング処理した後に得られた第１サンプリング画像を表すことができる。層数が高いほど、第１サンプリング画像に対応するサブサンプリング処理の回数は多くなる。なお、複数の第２サンプリング画像及び参照平面図は、画像ピラミッドを構成することができる。画像ピラミッドの最下位層は、参照平面図を表すことができる。他の層は、参照平面図をサブサンプリング処理した後に得られた第２サンプリング画像を表すことができる。参照平面図に対応する画像ピラミッドの層数は、二次元ポイントクラウド画像に対応する画像ピラミッドの層数と同じである。画像ピラミッドの頂上から、各層の第１サンプリング画像と第２サンプリング画像との一致度を順次決定する。つまり、サブサンプリング処理の回数の降順に従って、サブサンプリング処理の回数が同一である第１サンプリング画像と第２サンプリング画像との一致度を順次決定し、各層の第１サンプリング画像と第２サンプリング画像における各画素点の位置の一致度を決定する。これにより、最適な２０個の候補位置を保留することができる。次の層において、保留した候補位置の周囲の７×７画素点位置の位置の近傍領域で、該層の第１サンプリング画像と第２サンプリング画像との一致度を決定し、最下位層まで継続する。つまり、二次元ポイントクラウド画像と参照平面図との一致度を決定する。このような方式で、最適な相似変換の決定効率を向上させることができる。
【0113】
可能な実現形態において、上記ステップＳ１３２は、下記ステップを含んでもよい。
【0114】
ステップＳ１３２１において、毎回の相似変換後の二次元ポイントクラウド画像に対して、前記二次元ポイントクラウド画像の第１画素点をトラバーサルし、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点である。
【0115】
ステップＳ１３２２において、前記参照平面図における、前記第１画素点に対応する第１画像領域を決定する。
【0116】
ステップＳ１３２３において、前記第１画像領域に、前記参照点を表す第２画素点が存在する場合、前記第１画素点を第１ターゲット画素点として決定する。
【0117】
ステップＳ１３２４において、前記二次元ポイントクラウド画像に含まれる第１ターゲット画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第１比例を決定する。
【0118】
ステップＳ１３２５において、前記第１比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と前記参照平面図との一致度を決定する。
【0119】
該実現形態において、毎回の相似変換後の二次元ポイントクラウド画像と参照平面図との一致度を決定することができる。ここでの一致度は、同一の画像領域内で、二次元ポイントクラウド画像と参照平面図との一致度であってもよい。これにより、二次元ポイントクラウド画像における、二次元ポイントを表す各第１画素点をトラバーサルすることができる。いずれか１つの第１画素点に対して、該第１画素点の画像位置を決定し、続いて、参照平面図における同一の画像位置で、第１画像領域を決定する。例えば、同一の画像位置の近傍領域を第１画像領域とすることができる。続いて、第１画像領域内に、参照点を表す第２画素点が存在するかどうかを判定する。存在すれば、第１画素点を第１ターゲット画素点として決定し、続いて、二次元ポイントクラウド画像における第１ターゲット画素点の数と第１画素点の数との第１比例を算出する。該第１比例は、二次元ポイントクラウド画像と参照平面図との一致度と決定されてもよい。
【0120】
例えば、Ｃｐ２ｆで二次元ポイントクラウド画像と参照平面図との一致度を表すことができる。二次元ポイントクラウド画像における、二次元ポイントを表す画素点は、第１画素点であってもよい。第１画素点は、有意義な画素点と認められてもよい。例えば、二次元ポイントクラウド画像中における第１画素点の画素値は１と設定されてもよく、第１画素点以外の他の画素点の画素値は、０と設定されてもよい。二次元ポイントクラウド画像のいずれか１つの第１画素点の画像位置に対して、参照平面図における、該第１画素点の画像位置と同様な位置における画素点が第２画素点であるかどうかを判定する。第２画素点であれば、該第１画素点は、第１ターゲット画素点である。第１画素点における第１ターゲット画素点が占める第１比例を決定する。エラー耐性を向上させるために、同一の位置を近傍位置に調整することができる。例えば、近傍位置を７×７画素点の近傍領域と設定することができる。
【0121】
可能な実現形態において、上記ステップＳ１３２は、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記参照平面図の第２画素点をトラバーサルすることであって、前記第２画素点は、前記参照平面図における、前記参照点を構成する画素点である、ことと、前記二次元ポイントクラウド画像における、前記第２画素点に対応する第２画像領域を決定することと、前記第２画像領域内に、前記二次元ポイントを表す第１画素点が存在する場合、前記第２画素点を第２ターゲット画素点として決定することと、前記参照平面図に含まれる第２ターゲット画素点の数と前記参照平面図に含まれる第２画素点の数との第２比例を決定することと、前記第２比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を含んでもよい。
【0122】
該実現形態において、二次元ポイントクラウド画像と参照平面図との一致度は、同一の画像領域内で、参照平面図と二次元ポイントクラウド画像との一致度であってもよい。これにより、参照平面図における、参照点を表す各第２画素点をトラバーサルすることができる。いずれか１つの第２画素点に対して、該第２画素点の画像位置を決定し、続いて、二次元ポイントクラウド画像における同一の画像位置で、第２画像領域を決定することができる。例えば、同一の画像位置の近傍領域を第２画像領域とする。続いて、第２画像領域内に、二次元ポイントを表す第１画素点が存在するかどうかを判定する。存在すれば、該第２画素点を第２ターゲット画素点として決定する。続いて、参照平面図における第２ターゲット画素点の数と第２画素点の数との第２比例を算出する。該第２比例は、参照平面図と二次元ポイントクラウド画像との一致度を表すことができる。なお、Ｃｆ２ｐで参照平面図と二次元ポイントクラウド画像との一致度を表すことができる。幾つかの実現形態において、Ｃｐ２ｆ＋Ｃｆ２ｐで、二次元ポイントクラウド画像と参照平面図との相互一致度を表すことができる。一致度が高いほど、二次元ポイントクラウド画像と参照平面図とアライメント度合いが高くなることを表す。
【0123】
可能な実現形態において、上記ステップＳ１３２は、下記ステップを更に含んでもよい。
【0124】
ステップＳ１３２ａにおいて、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、前記二次元ポイントクラウド画像における、非閉鎖領域内に位置する第１画素点を決定し、前記第１画素点は、前記二次元ポイントクラウド画像における、前記二次元ポイントを構成する画素点である。
【0125】
ステップＳ１３２ｂにおいて、前記非閉鎖領域に位置する第１画素点の数と前記二次元ポイントクラウド画像に含まれる第１画素点の数との第３比例を決定する。
【0126】
ステップＳ１３２ｃにおいて、前記第３比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定する。
【0127】
該実現形態において、参照座標系における三次元ポイントクラウドの投影のロバスト性を向上させるために、二次元ポイントクラウド画像と参照平面図との一致度を決定する場合、三次元ポイントクラウドの投影の制限領域の制約条件を考慮することができる。つまり、三次元ポイントクラウドにおける三次元ポイントが幾つかの領域に現れるべきではなく、例えば、幾つかの閉鎖した画像空間に現れるべきではないと理解されてもよい。なお、三次元ポイントを投影する二次元ポイントも幾つかの画像領域に現れるべきではない。これにより、二次元ポイントクラウド画像における、非閉鎖領域内に位置する第１画素点を統計し、続いて、非閉鎖領域に位置する第１画素点の数と二次元ポイントクラウド画像に含まれる第１画素点の数との第３比例を算出することができる。該第３比例は、二次元ポイントクラウド画像と参照平面図との一致度を表すことができる。
【0128】
可能な実現形態において、上記ステップＳ１３２は、毎回の前記二次元ポイントクラウド画像に対して相似変換を行った後に、画像情報収集過程における前記画像収集装置の位置姿勢情報に基づいて、前記画像収集装置が前記二次元ポイントクラウド画像へ投影する第３画素点を決定することであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、ことと、前記非閉鎖領域に位置する第３画素点の数と前記二次元ポイントクラウド画像に含まれる第３画素点の数との第４比例を決定することと、前記第４比例に基づいて、毎回の相似変換後の前記二次元ポイントクラウド画像と参照平面図との一致度を決定することと、を更に含んでもよい。
【0129】
該実現形態において、二次元ポイントクラウド画像と参照平面図との一致度を決定する場合、画像収集装置が画像情報を収集する過程における制約条件を考慮することもできる。例えば、画像収集装置が画像情報を収集する過程における幾つかの空間に現れるべきではなく、例えば、幾つかの閉鎖空間内に現れるべきではない。なお、画像収集装置が二次元ポイントクラウド画像へ投影する二次元ポイントは、幾つかの領域に現れるべきではない。これにより、画像情報収集過程における画像収集装置の位置姿勢情報に基づいて、画像収集装置が二次元ポイントクラウド画像へ投影する第３画素点を決定し、続いて、非閉鎖領域内に位置する第３画素点の数を統計し、非閉鎖領域内に位置する第３画素点の数と二次元ポイントクラウド画像に含まれる第３画素点との第４比例を算出することができる。該第４比例は、二次元ポイントクラウド画像と参照平面図との一致度を表すことができる。
【0130】
幾つかの実現形態において、二次元ポイントクラウド画像と参照平面図との一致度をより十分に決定するために、上記第１比例、第２比例、第３比例、第４比例のうちの１つ又は複数の比例を考慮して、二次元ポイントクラウド画像と参照平面図との一致度を決定することもできる。該一致度が高いほど、二次元ポイントクラウド画像と参照平面図とのアライメント度合いが高くなることを表す。上記各実現形態によれば、一例において、毎回の相似変換後の二次元ポイントクラウド画像と参照平面図との一致度を決定する場合、上記第１比例、第２比例、第３比例及び第４比例に基づいて、毎回の相似変換後の二次元ポイントクラウド画像と参照平面図との一致度を共同で決定することができる。対応する一致度の表現式は、式（２）に示すとおりである。
式（２）
【0131】
ただし、
は、二次元ポイントクラウド画像と参照平面図との一致度であってもよく、一致度が高いほど、二次元ポイントクラウド画像と参照平面図とのアライメント度合いが高くなることを表す。Ｃｐ２ｆは、上記第１比例を表すことができる。Ｃｆ２ｐは、上記第２比例を表すことができる。Ｃｌｃは、上記第３比例を表すことができる。Ｃｌｐは、上記第４比例を表すことができる。
【0132】
可能な実現形態において、上記ステップＳ１３３は、下記ステップを含んでもよい。
【0133】
ステップＳ１３３１において、前記少なくとも１回の相似変換後に決定された一致度に基づいて、前記二次元ポイントクラウド画像における二次元ポイントを前記参照平面図における参照点にマッチングさせる二次元変換行列を決定する。
【0134】
ステップＳ１３３２において、前記二次元変換行列に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定する。
【0135】
該可能な実現形態において、少なくとも１回の相似変換のうち、一致度が最も高い相似変換を最終的相似変換とすることができる。最終的相似変換に基づいて、二次元ポイントクラウド画像を参照平面図にマッチングさせる二次元変換行列を決定することができる。続いて、二次元変換行列に基づいて、三次元ポイントクラウドにおける三次元ポイントを参照平面図における参照点にマッチングさせるための変換関係を得ることができる。該変換関係は、三次元変換行列で表されてもよい。例えば、一致度が最も高い相似変換に対応する回転角は、ｒｂｅｓｔであってもよく、スケーリングの大きさは、ｓｂｅｓｔであってもよい。ここで、ｒｂｅｓｔに、初期回転角ｒｉｎｉが既に含まれてもよい。ｓｂｅｓｔに、初期スケーリングの大きさｓｉｎｉが既に含まれてもよい。該回転角及びスケーリングの大きさにおける最適な平行移動は、ｔｂｅｓｔであってもよい。これにより、二次元ポイントクラウド画像における二次元ポイントから参照平面図における参照点への相似変換の二次元変換行列を得ることができる。該二次元変換行列ｓ２Ｄは、式（３）に示す通りであってもよい。
式（３）
【0136】
ただし、Ｒ（ｒｂｅｓｔ）は、回転角がｒｂｅｓｔである
の回転行列を表すことができる。
【0137】
二次元相似行列を得た後、二次元相似行列から三次元変換行列を得ることができる。三次元変換行列ｓ３Ｄは、式（４）に示すとおりであってもよい。
式（４）
【0138】
ただし、Ｒｚ（ｒｂｅｓｔ）は、ｚ軸を回転軸としてｒｂｅｓｔで回転する三次元回転行列を表すことができる。Ｖは、上記ステップＳ１２２２における特異ベクトル行列であってもよく、Ｖの３つの列ベクトルＶ１、Ｖ２及びＶ３は、それぞれ、投影の水平面のｘ軸、ｙ軸及びｚ軸であってもよい。
【0139】
上記三次元変換行列により、三次元ポイントクラウドの三次元ポイント情報に基づいて、参照平面図内の、三次元ポイントクラウドにおけるいずれか１つの三次元ポイントの投影座標を得て、三次元ポイントクラウドを参照平面図にマッチングさせる効率及び精度を向上させることができる。
【0140】
本願の実施例で提供される上記情報処理方法によれば、本願の実施例は、測位方法を更に提供する。図４は、本願の実施例による測位方法を示すフローチャートである。該測位方法は、端末装置、サーバ又は他の情報処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該測位方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。
【0141】
図４に示すように、前記測位方法は、下記ステップを含んでもよい。
【0142】
ステップＳ２１において、ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得する。
【0143】
ステップＳ２２において、収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較し、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクラウド画像と参照平面図との一致度に基づいて決定されたものであり、前記二次元ポイントクラウド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである。
【0144】
ステップＳ２３において、前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位する。
【0145】
本願の実施例において、測位装置は、画像収集装置により収集された現在のシーンにおけるターゲット物体のターゲット画像情報を取得し、続いて、収集されたターゲット画像と現在のシーンの三次元ポイントクラウドにおける三次元ポイントを比較し、収集されたターゲット画像情報とマッチングする三次元ポイントを決定することができる。続いて、該三次元ポイントの三次元ポイント情報に基づいて、参照平面図における、該三次元ポイントの投影座標を決定する。例えば、上記三次元投影行列を利用して、参照平面図における、三次元ポイントの投影座標を決定する。続いて、該三次元ポイントの投影座標に基づいて、現在のシーンにおける、画像収集装置の位置を決定することができる。例えば、ユーザは、画像収集装置を利用してターゲット物体を撮影する。測位装置は、画像収集装置により収集されたターゲット画像情報に基づいて、現在のシーンの参照平面図における、ユーザの位置を決定し、ユーザに対する測位を実現させることができる。
【0146】
本願で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。
【0147】
なお、本願は、情報処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの情報処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
【0148】
本願の実施例で提供される情報処理方法は、二次元ポイントクラウド画像と参照平面図との一致度により、三次元ポイントクラウドを参照平面図へ投影し、画像収集装置の座標系における三次元ポイントクラウドを参照平面図の参照座標系に自動的に変換することができる。大量の労働力を節約し、マッチング効率を向上させることができる。また、三次元ポイントクラウドに対するフィルタ除去という前処理及び複数の制約条件により、自動マッチング登録を行い、マッチングの正確立を向上させることができる。例えば、大型建築屋内シーンに対して、まず、シーンの画像を収集して三次元再構成を行い、続いて、本願の実施例で提供される情報処理方法を利用して、三次元再構成で得られた三次元ポイントクラウドを建築物の平面図に自動的にマッチングさせることができる。マッチングにより得られた投影画像に基づいて、ユーザは、ユーザは、携帯電話などの機器により撮られた画像に基づいて、建築物の平面図における、ユーザの位置を推定し、つまり、現在のシーンにおける位置を推定し、視覚的測位を実現させることができる。
【0149】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。
【0150】
図５は、本願の実施例による情報処理装置を示すブロック図である。図５に示すように、前記情報処理装置は、
三次元ポイントクラウドの三次元ポイント情報を取得するように構成される取得モジュール３１と、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成するように構成される生成モジュール３２と、前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定するように構成される決定モジュール３３であって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、決定モジュール３３と、を備える。
三次元ポイントクラウドの三次元ポイント情報を取得するように構成される取得モジュール３１と、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクラウド画像を生成するように構成される生成モジュール３２と、前記二次元ポイントクラウド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定するように構成される決定モジュール３３であって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、決定モジュール３３と、を備える。
【0151】
図６は、本願の実施例による測位装置を示すブロック図である。前記測位装置は、ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得するように構成される取得モジュール４１と、収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較するように構成される比較モジュール４２であって、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクラウド画像と参照平面図との一致度に基づいて決定されたものであり、前記二次元ポイントクラウド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである、比較モジュール４２と、前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位するように構成される測位モジュール４３と、を備える。
【0152】
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【0153】
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、上記方法を実行するように構成される。
【0154】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0155】
図７は、一例示的な実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図７を参照すると、電子機器１９００は、処理ユニット１９２２を備える。ぞれは1つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリソースは、アプリケーションプログラムのような、処理ユニット１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理ユニット１９２２は、命令を実行して、上記方法を実行するように構成される。
【0156】
電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源ユニット１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力出力（Ｉ／Ｏ）インタフェース１９５８を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したもののような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。
【0157】
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理ユニット１９２２により実行されて上記方法を完了する。
【0158】
本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
【0159】
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【0160】
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。
【0161】
本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。
【0162】
ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
【0163】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。
【0164】
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。
【0165】
図面におけるフローチャート及びブック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。
【0166】
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】