ホーム > 特許ランキング > 深▲せん▼市宗匠科技有限公司
知財求人 - 知財ポータルサイト「IP Force」
特開2024-173620三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173620
(43)【公開日】2024-12-12
(54)【発明の名称】三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
(51)【国際特許分類】
G06T 7/50 20170101AFI20241205BHJP
G06V 20/64 20220101ALI20241205BHJP
【ＦＩ】
G06T7/50
G06V20/64
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023216450
(22)【出願日】2023-12-22
(11)【特許番号】
(45)【特許公報発行日】2024-02-16
(31)【優先権主張番号】202310650700.4
(32)【優先日】2023-06-02
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】517384589
【氏名又は名称】深▲せん▼市宗匠科技有限公司
【住所又は居所原語表記】２６ｔｈ Ｆｌｏｏｒ， Ｇａｏｘｉｎ Ｃｏｍｍｕｎｉｔｙ Ｕｎｉｔｅｄ Ｈｅａｄｑｕａｒｔｅｒｓ Ｂｕｉｌｄｉｎｇ， Ｎｏ．６３， Ｇａｏｘｉｎ Ｓｏｕｔｈ１０ｔｈ Ｒｏａｄ， Ｂｉｎｈａｉ Ｃｏｍｍｕｎｉｔｙ， Ｙｕｅｈａｉ Ｓｔｒｅｅｔ， Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】リ 軻
(72)【発明者】
【氏名】王 念欧
(72)【発明者】
【氏名】万 進
(72)【発明者】
【氏名】安 雲霖
(72)【発明者】
【氏名】董 明志
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096FA12
5L096FA13
5L096FA18
5L096GA51
5L096GA55
(57)【要約】 （修正有）
【課題】計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させる、三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器を提供する。
【解決手段】方法は、目標対象の画像である二次元画像における目標線分に対応し、該目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、目標対象の三次元点群である第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することと、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、該第２三次元点群から該目標線分に対応する三次元点群を決定することとを含む。
【選択図】図２
【解決手段】方法は、目標対象の画像である二次元画像における目標線分に対応し、該目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、目標対象の三次元点群である第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することと、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、該第２三次元点群から該目標線分に対応する三次元点群を決定することとを含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
三次元点群に基づくマッピング方法であって、
目標対象の画像である二次元画像における目標線分に対応し、前記目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、
前記目標対象の三次元点群である第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定することと、
前記第１空間点集合に基づいて前記第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、
前記第２三次元点群から前記目標線分に対応する三次元点群を決定することと、を含む、
方法。
目標対象の画像である二次元画像における目標線分に対応し、前記目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、
前記目標対象の三次元点群である第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定することと、
前記第１空間点集合に基づいて前記第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、
前記第２三次元点群から前記目標線分に対応する三次元点群を決定することと、を含む、
方法。
【請求項2】
前記目標線分は直線線分であり、前記外接矩形の角点は前記目標線分の端点を含む、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項3】
前記目標線分は曲線線分であり、前記外接矩形は前記目標線分の最小外接矩形である、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項4】
前記第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定することは、
カメラ内部パラメータに基づいて前記エッジ画素点集合に対応する画像点集合を決定することと、
前記画像点集合に基づいて第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定することと、を含む、
請求項１～３のいずれか１項に記載の方法。
カメラ内部パラメータに基づいて前記エッジ画素点集合に対応する画像点集合を決定することと、
前記画像点集合に基づいて第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定することと、を含む、
請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記第１空間点集合に基づいて前記第１三次元点群をフィルタリング処理し、第２三次元点群を得ることは、
前記第１空間点集合に基づいて、第１方向における、前記第１空間点集合内の第１空間点の前記第１方向における座標数値の最大値である第１最大閾値、及び前記第１空間点集合内の第１空間点の前記第１方向における座標数値の最小値である第１最小閾値と、第２方向における、前記第１空間点集合内の第１空間点の前記第２方向における座標数値の最大値である第２最大閾値、及び前記第１空間点集合内の第１空間点の前記第２方向における座標数値の最小値である第２最小閾値とを決定することと、
前記第１最大閾値、前記第１最小閾値、前記第２最大閾値及び前記第２最小閾値に基づき、前記第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、を含む、
請求項１～３のいずれか１項に記載の方法。
前記第１空間点集合に基づいて、第１方向における、前記第１空間点集合内の第１空間点の前記第１方向における座標数値の最大値である第１最大閾値、及び前記第１空間点集合内の第１空間点の前記第１方向における座標数値の最小値である第１最小閾値と、第２方向における、前記第１空間点集合内の第１空間点の前記第２方向における座標数値の最大値である第２最大閾値、及び前記第１空間点集合内の第１空間点の前記第２方向における座標数値の最小値である第２最小閾値とを決定することと、
前記第１最大閾値、前記第１最小閾値、前記第２最大閾値及び前記第２最小閾値に基づき、前記第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、を含む、
請求項１～３のいずれか１項に記載の方法。
【請求項6】
前記第２三次元点群内の第２空間点の前記第１方向における座標数値は、前記第１最小閾値よりも大きいか又は等しく且つ前記第１最大閾値よりも小さいか又は等しく、前記第２三次元点群内の空間点の前記第２方向における座標数値は、前記第２最小閾値よりも大きいか又は等しく且つ前記第２最大閾値よりも小さいか又は等しい、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項7】
前記外接矩形の隣り合う２つの辺は、それぞれ前記二次元画像の行方向及び列方向に平行である、
請求項６に記載の方法。
請求項６に記載の方法。
【請求項8】
三次元点群に基づくマッピング装置であって、
目標対象の画像である二次元画像における目標線分に対応し、前記目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得するための取得ユニットと、
前記目標対象の三次元点群である第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定するための決定ユニットと、
前記第１空間点集合に基づいて前記第１三次元点群をフィルタリング処理し、第２三次元点群を得るための処理ユニットと、を備え、
前記決定ユニットは、更に、前記第２三次元点群から前記目標線分に対応する三次元点群を決定することに用いられる、
装置。
目標対象の画像である二次元画像における目標線分に対応し、前記目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得するための取得ユニットと、
前記目標対象の三次元点群である第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定するための決定ユニットと、
前記第１空間点集合に基づいて前記第１三次元点群をフィルタリング処理し、第２三次元点群を得るための処理ユニットと、を備え、
前記決定ユニットは、更に、前記第２三次元点群から前記目標線分に対応する三次元点群を決定することに用いられる、
装置。
【請求項9】
請求項１～３のいずれか１項に記載の方法をチップに実行させるために構成されるプロセッサと、通信インタフェースとを備える、
チップ。
チップ。
【請求項10】
モジュール機器の内部の通信又は前記モジュール機器と外部機器との通信を行うための通信モジュールと、
前記モジュール機器に電気エネルギを提供するための電源モジュールと、
データ及び命令を記憶するための記憶モジュールと、
請求項１～３のいずれか１項に記載の方法を実行するためのチップとを備える、
モジュール機器。
前記モジュール機器に電気エネルギを提供するための電源モジュールと、
データ及び命令を記憶するための記憶モジュールと、
請求項１～３のいずれか１項に記載の方法を実行するためのチップとを備える、
モジュール機器。
【請求項11】
三次元点群に基づくマッピング装置であって、
プログラム命令を含むコンピュータプログラムを記憶するためのメモリと、
前記プログラム命令を呼び出して請求項１～３のいずれか１項に記載の方法を三次元点群に基づくマッピング装置に実行させるために構成されるプロセッサとを備える、
装置。
プログラム命令を含むコンピュータプログラムを記憶するためのメモリと、
前記プログラム命令を呼び出して請求項１～３のいずれか１項に記載の方法を三次元点群に基づくマッピング装置に実行させるために構成されるプロセッサとを備える、
装置。
【請求項12】
三次元点群に基づくマッピング装置で運行すると、前記三次元点群に基づくマッピング装置に、請求項１～３のいずれか１項に記載の方法を実行させるコンピュータ可読命令が記憶された、
コンピュータ可読記憶媒体。
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータ分野に関し、特に、三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器に関する。
【背景技術】
【0002】
三次元イメージング技術では、通常、選定された三次元点群を処理して、三次元測定及び分析を実現する必要がある。いわゆる三次元点群とは、三次元点の集合と理解でき、同じ参照座標系で目標物体の表面特徴及び空間分布を表す点の集合である。三次元点群は、空間座標、色、強度等の豊かな属性情報を含んでもよい。
【発明の概要】
【発明が解決しようとする課題】
【0003】
三次元点群のインタラクティブ選出過程については、通常、表示された二次元ＲＧＢ画像から画素点を選出し、そして、選出した画素点に基づいて対応する三次元点群をマッピングする必要がある。従来の方法では、三次元のものの二次元への投影行列を利用して、選出した画素点を逆投影することにより、選出した画素点に対応する三次元点群を投射することができ、又は、全ての三次元点群を二次元投影し、そして、最近傍探索により、選出した画素点に対応する三次元点群を検索することができる。しかし、このような従来方式は、計算量が大きく、データ処理の速度が遅く、顧客体験に大きな影響を及ぼす。
【0004】
本願は、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることができる三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器を提供する。
【課題を解決するための手段】
【0005】
第１側面において、本願は、目標対象の画像である二次元画像における目標線分に対応し、該目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、目標対象の三次元点群である第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することと、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、該第２三次元点群から該目標線分に対応する三次元点群を決定することと、を含む、三次元点群に基づくマッピング方法を提供する。
【0006】
第１側面に記載の方法に基づき、二次元画像における目標線分に対応するエッジ画素点集合を取得し、該エッジ画素点集合に対応する空間点集合を決定して、目標線分に対応する三次元点群の境界を決定し、求めた境界を利用して第１三次元点群の範囲を縮小することで、第２三次元点群が得られ、より小さな範囲の第２三次元点群から目標線分に対応する三次元点群を検索することができ、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることに有利である。
【0007】
１つの可能な実現方式において、該目標線分は直線線分であり、該外接矩形の角点は該目標線分の端点を含む。該方式に基づき、決定した目標線分に対応する三次元点群の境界の精確性を向上させることに有利である。
【0008】
１つの可能な実現方式において、該目標線分は曲線線分であり、該外接矩形は該目標線分の最小外接矩形である。該方式に基づき、決定した目標線分に対応する三次元点群の境界の精確性を向上させることに有利である。
【0009】
１つの可能な実現方式において、第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することは、カメラ内部パラメータに基づいて該エッジ画素点集合に対応する画像点集合を決定することと、該画像点集合に基づいて第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することとを含む。該方式に基づき、第１空間点集合の正確性を向上させることに有利である。
【0010】
１つの可能な実現方式において、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることは、該第１空間点集合に基づいて、第１方向における、該第１空間点集合内の第１空間点の第１方向における座標数値の最大値である第１最大閾値、及び該第１空間点集合内の第１空間点の第１方向における座標数値の最小値である第１最小閾値と、第２方向における、該第１空間点集合内の第１空間点の第２方向における座標数値の最大値である第２最大閾値、及び該第１空間点集合内の第１空間点の第２方向における座標数値の最小値である第２最小閾値とを決定することと、該第１最大閾値、該第１最小閾値、該第２最大閾値及び該第２最小閾値に基づき、該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることとを含む。該方式に基づき、第１三次元点群に存在する異常点を取り除くとともに、第１三次元点群の範囲を縮小する正確性を向上させることに有利である。
【0011】
１つの可能な実現方式において、該第２三次元点群内の第２空間点の第１方向における座標数値は、該第１最小閾値よりも大きいか又は等しく且つ該第１最大閾値よりも小さいか又は等しく、該第２三次元点群内の空間点の第２方向における座標数値は、該第２最小閾値よりも大きいか又は等しく且つ該第２最大閾値よりも小さいか又は等しい。
【0012】
１つの可能な実現方式において、該外接矩形の隣り合う２つの辺は、それぞれ該二次元画像の行方向及び列方向に平行である。該方式に基づき、外接矩形の方向と二次元画像の方向とが一致することを保証でき、決定した境界領域をより正確にすることができ、第１三次元点群を縮小する正確性を向上させることにより有利である。
【0013】
第２側面において、本願は、目標対象の画像である二次元画像における目標線分に対応し、該目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得するための取得ユニットと、目標対象の三次元点群である第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定するための決定ユニットと、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得るための処理ユニットとを備え、該決定ユニットは更に、該第２三次元点群から該目標線分に対応する三次元点群を決定することに用いられる、三次元点群に基づくマッピング装置を提供する。
【0014】
第３側面において、本願は、チップを提供し、該チップは、上記第１側面又はそのいずれかの可能な実現方式における方法をチップに実行させるために構成されるプロセッサと、通信インタフェースとを備える。
【0015】
第４側面において、本願は、モジュール機器を提供し、該モジュール機器は、モジュール機器の内部の通信又は該モジュール機器と外部機器との通信を行うための通信モジュールと、該モジュール機器に電気エネルギを提供するための電源モジュールと、データ及び命令を記憶するための記憶モジュールと、上記第１側面又はそのいずれかの可能な実現方式における方法を実行するためのチップとを備える。
【0016】
第５側面において、本発明の実施例は、プログラム命令を含むコンピュータプログラムを記憶するためのメモリと、該プログラム命令を呼び出して上記第１側面又はそのいずれかの可能な実現方式における方法を実行するために構成されるプロセッサとを備える、三次元点群に基づくマッピング装置を開示する。
【0017】
第６側面において、本願は、三次元点群に基づくマッピング装置で運行すると、該三次元点群に基づくマッピング装置に、上記第１側面又はそのいずれかの可能な実現方式における方法を実行させるコンピュータ可読命令が記憶されたコンピュータ可読記憶媒体を提供する。
【0018】
第７側面において、本願は、コンピュータで運行すると、コンピュータに、第１側面又はそのいずれかの可能な実現方式における方法を実行させるコード又は命令を含むコンピュータプログラム又はコンピュータプログラムプロダクトを提供する。
【図面の簡単な説明】
【0019】
【図1】本願の実施例に係る世界座標系、カメラ座標系、画像座標系及び画素座標系の模式図である。
【図2】本願の実施例に係る三次元点群に基づくマッピング方法のフローの模式図である。
【図3】本願の実施例に係る二次元画像、目標線分及び第１画素点集合の模式図である。
【図4】本願の実施例に係る目標線分に対応するエッジ画素点集合の模式図である。
【図5A】本願の実施例に係る目標線分に対応する外接矩形の模式図である。
【図5B】本願の実施例に係る別の目標線分に対応する外接矩形の模式図である。
【図5C】本願の実施例に係る別の目標線分に対応する外接矩形の模式図である。
【図5D】本願の実施例に係る別の目標線分に対応する外接矩形の模式図である。
【図5E】本願の実施例に係る別の目標線分に対応する外接矩形の模式図である。
【図6】本願の実施例に係る三次元点群に基づくマッピング装置の構造模式図である。
【図7】本願の実施例に係る別の三次元点群に基づくマッピング装置の構造模式図である。
【図8】本願の実施例に係るモジュール機器の構造模式図である。
【発明を実施するための形態】
【0020】
以下、本願の実施例における図面と結び付けて、本願の実施例における技術案を明確且つ完全に説明し、説明される実施例は、全ての実施例ではなく、本発明の一部の実施例に過ぎないことは明らかである。本発明における実施例に基づいて、当業者が創造的な労働を行わない前提で得られる全ての他の実施例は、本発明の保護範囲に属する。
【0021】
本願の以下の実施例で使用される用語は、特定の実施例を説明するためのものに過ぎず、本願を限定することを意図するものではない。本願の明細書及び添付の特許請求の範囲で使用されているように、単数の表現形式の「１つ」、「１種」、「前記」、「上記」、「該」及び「この」は、文脈で明確な反対の指示がない限り、複数の表現形式も含むことを意図する。本願で使用される用語「及び／又は」とは、１つ又は複数の挙げられる項目のいずれか又は全ての可能な組み合わせを一緒に含むことであることも理解すべきである。
【0022】
なお、本願の明細書、特許請求の範囲、及び上記図面における用語「第１」、「第２」、「第３」等は、特定の順序又は優先順位を説明することに用いられる必要はなく、類似する対象を区別するためのものである。このように使用される用語は、適切な場合に置換え可能であり、これにより、ここで説明される本開示の実施例は、ここで図示又は説明されるもの以外の順序で実施できることを理解すべきである。また、用語「含む」及びその如何なる変形も、排他ではない包含をカバーすることを意図し、例えば、一連のステップ又はユニットの過程、方法、システム、プロダクト又はサーバを含み、必ずしも明確に挙げられたそれらのステップ又はユニットに限定されず、明確に挙げられていない又はこれらの過程、方法、プロダクト又は機器にとって固有である他のステップ又はユニットを含んでもよい。
【0023】
三次元イメージング技術において、通常、選定された三次元点群を処理して三次元測定及び分析を実現する必要がある。三次元点群のインタラクティブ選出過程については、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることができるために、本願は、三次元点群に基づくマッピング方法を提供する。具体的な実現において、上記に言及した三次元点群に基づくマッピング方法は、端末機器によって実行できる。以下、端末機器について紹介する。
【0024】
端末機器は、ユーザに音声及び／又はデータ連結性を提供する機器を含み、例えば、端末機器は、無線送受信機能を有する機器であり、室内又は室外、ハンドヘルド、着用又は車載を含んで陸上に配備されてもよいし、水面（例えば、船舶等）に配備されてもよいし、空中（例えば、飛行機、風船及び衛星等）に配備されてもよい。端末は、携帯電話（ｍｏｂｉｌｅ ｐｈｏｎｅ）、タブレットコンピュータ（Ｐａｄ）、無線送受信機能付きのコンピュータ、仮想現実（ＶＲ）端末機器、産業制御（ｉｎｄｕｓｔｒｉａｌ ｃｏｎｔｒｏｌ）における無線端末、車載端末機器、無人運転（ｓｅｌｆ ｄｒｉｖｉｎｇ）における無線端末、遠隔医療（ｒｅｍｏｔｅ ｍｅｄｉｃａｌ）における無線端末、スマートグリッド（ｓｍａｒｔ ｇｒｉｄ）における無線端末、運輸安全（ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｓａｆｅｔｙ）における無線端末、スマートシティ（ｓｍａｒｔ ｃｉｔｙ）における無線端末、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）における無線端末、ウェアラブル端末機器等々であってもよい。本願の実施例は、適用シーンを限定しない。端末は、端末機器、ユーザ装置（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ、ＵＥ）、アクセス端末機器、車載端末、工業用制御端末、ＵＥユニット、ＵＥ局、移動局、移動台、遠隔局、遠隔端末機器、移動機器、ＵＥ端末機器、端末機器、無線通信機器、ＵＥエージェント又はＵＥ装置等と呼ばれてもよいことがある。端末は、固定されたもの又は移動するものであってもよい。本願の実施例において、端末機器は、二次元カメラ、三次元センサ等の部品を更に含んでもよい。また、端末機器の機能を実現するための装置は、端末機器であってもよいし、端末機器による機能の実現をサポート可能な装置、例えば、チップシステム又は端末機器の機能を実現可能な複合デバイス、部品であってもよく、装置は、端末機器に取り付けられてもよい。
【0025】
本願の実施例に係る態様の理解を容易にするために、以下、本願の実施例に係る関連概念について紹介する。
【0026】
１．三次元点群
三次元イメージング技術とは、客観的な世界の三次元画像を、ある技術により記録し、そして、処理、圧縮してから外へ伝送し、表示し、最終的に人の脳内で客観的な世界の画像を再現することであり、この過程は、三次元イメージング技術の全過程である。三次元イメージング技術において、通常、三次元点群を処理する必要がある。いわゆる三次元点群とは、三次元点（即ち、空間点）の集合と理解でき、同じ参照座標系で目標物体の表面特徴及び空間分布を表す点の集合である。三次元点群は、空間座標、色、強度等の豊かな属性情報を含んでもよい。三次元点群は、普通のカメラにより撮影して得られるものではなく、一般的に、三次元センサ、例えば両眼カメラ、三次元スキャナ等により得られる。三次元点群は、スキャンされたＲＧＢ画像及びスキャンカメラの内部パラメータにより三次元点群を作成可能であり、方法としては、カメラキャリブレーションにより、カメラの内部パラメータを用いて実世界の点を計算する。従って、ＲＧＢ画像は格子が配列された画像である一方、三次元点群はより疎な構造である。
三次元イメージング技術とは、客観的な世界の三次元画像を、ある技術により記録し、そして、処理、圧縮してから外へ伝送し、表示し、最終的に人の脳内で客観的な世界の画像を再現することであり、この過程は、三次元イメージング技術の全過程である。三次元イメージング技術において、通常、三次元点群を処理する必要がある。いわゆる三次元点群とは、三次元点（即ち、空間点）の集合と理解でき、同じ参照座標系で目標物体の表面特徴及び空間分布を表す点の集合である。三次元点群は、空間座標、色、強度等の豊かな属性情報を含んでもよい。三次元点群は、普通のカメラにより撮影して得られるものではなく、一般的に、三次元センサ、例えば両眼カメラ、三次元スキャナ等により得られる。三次元点群は、スキャンされたＲＧＢ画像及びスキャンカメラの内部パラメータにより三次元点群を作成可能であり、方法としては、カメラキャリブレーションにより、カメラの内部パラメータを用いて実世界の点を計算する。従って、ＲＧＢ画像は格子が配列された画像である一方、三次元点群はより疎な構造である。
【0027】
本願の実施例において、三次元点群内の空間点を（ｘｃ，ｙｃ，ｚｃ）で記述することを例に説明し、三次元点群は、ｍ×３の行列で記述することができ、そのうち、ｍは空間点の個数である。
【0028】
２．画素点
画素はデジタル画像の最小単位であり、通常、デジタル画像の解像度を記述することに用いられる。１つの画素は、色、輝度及び透明度等の情報を含んでもよい。画素点は画素の基本要素であり、デジタル画像における１つの単独な点又は１つの単独な画素である。画素点の画像における位置は、行及び列という２つの方向で決定できる。
画素はデジタル画像の最小単位であり、通常、デジタル画像の解像度を記述することに用いられる。１つの画素は、色、輝度及び透明度等の情報を含んでもよい。画素点は画素の基本要素であり、デジタル画像における１つの単独な点又は１つの単独な画素である。画素点の画像における位置は、行及び列という２つの方向で決定できる。
【0029】
３．世界座標系、カメラ座標系、画像座標系及び画素座標系
図１に示すように、画像処理は、以下の４つの座標系に関する。
図１に示すように、画像処理は、以下の４つの座標系に関する。
【0030】
（１）Ｏｗ－ＸｗＹｗＺｗは、世界座標系であり、測定座標系とも呼ばれ、１つの三次元直交座標系であり、それを基準としてカメラ及び測定待ち物体の空間位置を記述することができる。世界座標系の位置は、実際の状況に応じて自由に決定することができる。Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）は、世界座標系におけるある点である。
【0031】
（２）Ｏｃ－ＸｃＹｃＺｃは、カメラ座標系であり、座標原点はカメラの光学中心の位置であり、Ｘｃ軸及びＹｃ軸は、それぞれ画像座標系のｘ軸（行方向）及びｙ軸（列方向）に平行であり、Ｚｃ軸はカメラの光軸である。
【0032】
（３）ｏ－ｘｙは、画像座標系であり、座標原点は画像平面の中心であり、Ｘ軸及びＹ軸は、それぞれ画像平面の２本の垂直辺に平行である。ｐ（ｘ，ｙ）は、画像座標系におけるある点である。
【0033】
（４）ｕｖは、画素座標系であり、座標原点は画像平面の左上隅の頂点であり、ｕ軸及びｖ軸は、それぞれ画像座標系のｘ軸及びｙ軸に平行である。画素座標系は、画素を単位とする画像座標系である。
【0034】
４．カメラ内部パラメータ及びカメラ外部パラメータ
カメラ内部パラメータとは、カメラの内部パラメータであり、カメラの構成に関連するパラメータからなる行列である。カメラ座標系における三次元点群は、カメラ内部パラメータのマッピングにより、画素点の位置を得ることができる。
カメラ内部パラメータとは、カメラの内部パラメータであり、カメラの構成に関連するパラメータからなる行列である。カメラ座標系における三次元点群は、カメラ内部パラメータのマッピングにより、画素点の位置を得ることができる。
【0035】
カメラ外部パラメータとは、カメラの外部パラメータであり、世界座標系とカメラ座標系との間の回転、平行移動関係を記述することに用いられる。世界座標系にある三次元点群は、カメラ外部パラメータで記述された回転、平行移動変換により、カメラ座標系における三次元点群を得ることができる。
【0036】
以下、更に、本願に係る三次元点群に基づくマッピング方法について詳細に説明する。図２を参照し、図２は、本願の実施例に係る三次元点群に基づくマッピング方法のフローの模式図である。図２に示すように、三次元点群に基づくマッピング方法は、以下のようなステップＳ２０１～Ｓ２０４を含み、図２に示す方法の実行主体は、端末機器（例えば、上記に言及した端末機器）を含む。又は、図２に示す方法の実行主体は、端末機器におけるチップ、チップシステム、又はプロセッサを含む。又は、図２に示す方法の実行主体は、端末機器の全部又は一部の機能を実現可能な論理モジュール又はソフトウェアであってもよい。本願の実施例は、三次元点群に基づくマッピング方法の実行主体を限定しない。図２は、端末機器が実行主体であることを例に説明する。
【0037】
Ｓ２０１において、端末機器は、二次元画像における目標線分に対応するエッジ画素点集合を取得する。
【0038】
Ｓ２０２において、端末機器は、第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する。
【0039】
本願の実施例において、二次元画像は目標対象の画像であり、第１三次元点群は目標対象の三次元点群である。つまり、二次元画像及び第１三次元点群は、同一の目標対象に対して採取された情報である。そのうち、目標対象は、物品、人物、動物等を指してもよく、ここでは限定しない。二次元カメラを利用することで目標対象の二次元画像を採取することができ、三次元センサを利用することで目標対象の三次元点群を採取することができる。具体的には、三次元センサは、世界座標系にある三次元点群を採取し、カメラ外部パラメータで記述された回転、平行移動変換により、カメラ座標系における三次元点群を得ることができ、二次元カメラは、カメラ座標系における三次元点群を、カメラ内部パラメータのマッピングにより、画素点の位置を得ることができる。
【0040】
なお、二次元カメラは、三次元センサと組んで使用された１つの独立した機器であってもよいし、三次元点群を生成するとともに、対応する二次元画像を得る三次元センサにおける１つの部品であってもよく、勿論、二次元カメラ及び／又は三次元センサは端末機器の１つの部品であってもよく、ここでは限定しない。
【0041】
端末機器は、二次元画像及び第１三次元点群を取得した後、二次元画像における目標線分を選択することができる。目標線分は二次元画像から選択された任意の１本の線分であってもよく、直線線分であってもよいし、曲線線分であってもよく、ここでは限定しない。好ましくは、端末機器は、目標線分が通過する全ての画素点を、目標線分に対応する第１画素点集合とすることができる。図３に示すように、二次元画像１において、１本の線分ａが選択され、線分ａが即ち、目標線分であり、線分ａが通過する全ての画素点が即ち、線分ａに対応する第１画素点集合１である。
【0042】
更に、端末機器は、目標線分に対応するエッジ画素点集合を決定することができ、エッジ画素点集合は、目標線分に対応する外接矩形の４つの角の画素点を含む。つまり、外接矩形は、目標線分を含む領域のエッジであると考えられてもよく、外接矩形の４つの角の画素点は即ち、目標線分に対応するエッジ画素点集合であると考えられてもよい。図４に示すように、二次元画像１において、１本の線分ａが選択され、線分ａが即ち、目標線分であり、線分ａに対応するエッジ画素点集合１が即ち、線分ａに対応する外接矩形ａ１の４つの角の画素点（即ち、画素点Ａ、画素点Ｂ、画素点Ｃ、画素点Ｄ）である。
【0043】
１つの可能な実現方式において、目標線分は、直線線分又は曲線線分であってもよく、以下、これらの２つの場合における外接矩形について具体的に説明する。方式に基づき、決定した目標線分に対応する三次元点群の境界の精確性を向上させることに有利である。
【0044】
（１）目標線分は直線線分であり、外接矩形の角点は目標線分の端点を含む。
【0045】
図５Ａに示すように、目標線分は線分１であり、線分１は直線線分であり、線分１を、隣り合う２つの辺がそれぞれ二次元画像の行方向及び列方向に平行である（例えば、第１辺及び第２辺が二次元画像の行方向に平行で、第３辺及び第４辺が二次元画像の列方向に平行である）外接矩形の対角線として、線分１に対応する外接矩形１を決定し、外接矩形１の角点は線分１の端点（即ち、端点１、端点２）を含む。
【0046】
図５Ｂに示すように、目標線分は線分２であり、線分２は直線線分であり、線分２を、隣り合う２つの辺が二次元画像の行方向及び列方向に平行ではない（例えば、第１辺及び第２辺が二次元画像の行方向に平行ではなく、第３辺及び第４辺が二次元画像の列方向に平行ではない）外接矩形の対角線として、線分２に対応する外接矩形２を決定し、外接矩形２の角点は線分２の端点（即ち、端点１、端点２）を含む。
【0047】
図５Ｃに示すように、目標線分は線分３であり、線分３は直線線分であり、線分３は二次元画像の行方向に平行であり、線分３の端点（即ち、端点１、端点２）を外接矩形３の２つの角点とし、外接矩形３の長さは線分３の長さであり、外接矩形３の幅は１つの画素点の長さである。
【0048】
図５Ｄに示すように、目標線分は線分４であり、線分４は直線線分であり、線分４は二次元画像の列方向に平行であり、線分４の端点（即ち、端点１、端点２）を外接矩形４の２つの角点とし、外接矩形４の長さは線分４の長さであり、外接矩形４の幅は１つの画素点の長さである。
【0049】
（２）目標線分は曲線線分であり、外接矩形は目標線分の最小外接矩形である。
【0050】
図５Ｅに示すように、目標線分は線分５であり、線分５は曲線線分であり、線分５の最外郭範囲で最小外接矩形を決定し、線分５の最小外接矩形は即ち、線分５に対応する外接矩形５である。
【0051】
１つの可能な実現方式において、端末機器が第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する具体的な実現方式は、以下のステップｓ１１及びｓ１２を含んでもよい。方式に基づき、第１空間点集合の正確性を向上させることに有利である。
【0052】
ｓ１１において、端末機器は、カメラ内部パラメータに基づいてエッジ画素点集合に対応する画像点集合を決定する。
【0053】
具体的な実現において、カメラ座標系における空間点は、カメラ内部パラメータにより画素座標系における画素点を決定することができる。具体的には、下記の数式（１）を採用して決定することができる。
（１）
【0054】
数式（１）において、（ｕ，ｖ）は、画素座標系における画素点であり、（ｘ，ｙ，ｚ）は、カメラ座標系における空間点であり、
は、カメラ内部パラメータ行列であり、ｆは焦点距離で、単位がミリメートルであり、ｆ／ｄｘは、画素でｘ軸方向の焦点距離を記述する長さであり、ｆ／ｄｙは、画素でｙ軸方向の焦点距離を記述する長さであり、（ｕ０，ｖ０）は主点の実際の位置で、単位も画素である。
【0055】
カメラ座標系の座標原点がカメラの光学中心の位置であり、Ｘｃ軸及びＹｃ軸は、それぞれ画像座標系のｘ軸（行方向）及びｙ軸（列方向）に平行であり、Ｚｃ軸はカメラの光軸である。また、カメラ投影行列は、以下のとおりである。
【0056】
従って、端末機器は、更にエッジ画素点集合内の各画素点に対応する画像点を決定することができ、全ての画像点からなる集合は即ち、エッジ画素点集合に対応する画像点集合である。具体的には、下記の数式（２）を採用して、画像座標系における画像点を画素座標系における画素点に転化させることができる。同様に、数式（２）に基づいて画素座標系における画素点を画像座標系における画像点に転化させることもできる。
（２）
【0057】
例えば、エッジ画素点集合内の画素点Ａ（ｍ，ｎ）が知られていると仮定し、上記数式（２）に基づき、画素点Ａに対応する画像点Ａ’（ｘｐ，ｙｐ）を得ることができ、画像点Ａ’（ｘｐ，ｙｐ）の式は、以下のとおりである。
【0058】
ｓ１２において、端末機器は、画像点集合に基づいて第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する。
【0059】
具体的な実現において、端末機器は、画像点集合内の各画像点に対して射線方程式をそれぞれ構築し、そして、それぞれ第１三次元点群から構築された射線に最も近い第１空間点を決定することができ、全ての第１空間点からなる集合は即ち、エッジ画素点集合に対応する第１空間点集合である。
【0060】
エッジ画素点集合内の画素点Ａを例にとると、画素点Ａに対応する画像点はＡ’（ｘｐ，ｙｐ）である。端末機器は、画像点Ａ’に対して射線方程式（始点が原点で、画像平面における画像点座標を指向する）を構築する。射線は第１三次元点群を通過し、ｚに関する方程式（即ち、射線方程式は、ｘ、ｙのｚに関する一次関数と記述できる）を構築することができる。つまり、カメラ座標系における直線は、２つの平面の交線（即ち、２つの平面方程式の連立）と見なすことができ、これらの２つの平面はいずれも座標系原点（０，０）を通過する。
【0061】
従って、射線方程式の式は、ｚ＝ｋ１ｘ、z＝ｋ２ｙである。そのうち、ｋ１、ｋ２は画素点で決められる。具体的には、画素点Ａが（ｍ，ｎ）で、画素点Ａに対応する画像点がＡ’（ｘｐ，ｙｐ）であれば、以下のようになる。
【0062】
更に、端末機器は、第１三次元点群から射線に最も近い空間点を決定し、空間点は即ち、画素点Ａに対応する第１空間点である。具体的には、数式（３）を利用して第１三次元点群内の各空間点から射線までの相対距離を測ることができる。
（３）
【0063】
数式（３）において、（ｘｃ，ｙｃ，ｚｃ）は、第１三次元点群内の任意の１つの空間点であり、ｄは、第１三次元点群内の各空間点から射線までの相対距離である。第１三次元点群内の画素点Ａを例にとると、第１三次元点群内の各空間点を数式（３）に代入してｄの数値を計算し、ｄが最小値である場合に対応する空間点を、画素点Ａに対応する第１空間点として決定する。
【0064】
例えば、数式（３）を利用して第１三次元点群内の各空間点から射線までの相対距離ｄを測り、そのうち、空間点Ａ１から射線までの相対距離が０で、即ち、ｄ＝０であり、空間点Ａ１がちょうど射線に位置することを表し、即ち、その座標がｚｃ＝ｋ１＊ｘｃ、ｚｃ＝ｋ２＊ｙｃという関係式を満たすと仮定し、空間点Ａ１が射線に最も近い空間点であり、即ち、空間点Ａ１が第１三次元点群内の画素点Ａに対応する第１空間点であると考えられてもよい。
【0065】
また、例えば、数式（３）を利用して第１三次元点群内の各空間点から射線までの相対距離ｄを測り、第１三次元点群に射線に位置する空間点が存在せず、即ち、ｄ＝０にする空間点がないと仮定し、空間点Ａ１から射線までの相対距離が最小値であれば、空間点Ａ１が射線に最も近い空間点であり、即ち、空間点Ａ１が第１三次元点群内の画素点Ａに対応する第１空間点であると考えられてもよい。
【0066】
同様な方法を採用し、エッジ画素点集合内の各画素点（即ち、画素点Ａ、画素点Ｂ、画素点Ｃ、画素点Ｄ）の第１三次元点群内の対応する第１空間点をそれぞれ決定し、第１空間点集合（即ち、第１空間点Ａ１、第１空間点Ｂ１、第１空間点Ｃ１、第１空間点Ｄ１）を得る。
【0067】
Ｓ２０３において、端末機器は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る。
【0068】
本願の実施例において、端末機器は、第１空間点集合を利用して閾値パラメータを決定し、閾値パラメータで第１三次元点群に対して閾値フィルタリングを行い、第２三次元点群を得ることができる。つまり、第１三次元点群内の第１空間点集合からなる空間閉領域以外の三次元点群をフィルタリングして除去し、１つのより小さな範囲の第２三次元点群を得ることができ、第２三次元点群は第１三次元点群の部分集合であると考えられてもよく、後続で、直接、第２三次元点群から目標線分に対応する三次元点群を決定することができ、検索空間が小さくなり、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることに有利である。
【0069】
１つの可能な実現方式において、端末機器は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る具体的な実現方式は、以下のステップｓ２１及びｓ２２を含んでもよい。方式に基づき、第１三次元点群に存在する異常点を取り除くとともに、第１三次元点群の範囲を縮小する正確性を向上させることに有利である。
【0070】
ｓ２１において、端末機器は、第１空間点集合に基づいて第１方向における第１最大閾値及び第１最小閾値と、第２方向における第２最大閾値及び第２最小閾値とを決定する。
【0071】
具体的な実現において、第１最大閾値は、第１空間点集合内の第１空間点の第１方向における座標数値の最大値であり、第１最小閾値は、第１空間点集合内の第１空間点の第１方向における座標数値の最小値であり、第２最大閾値は、第１空間点集合内の第１空間点の第２方向における座標数値の最大値であり、第１最小閾値は、第１空間点集合内の第１空間点の第２方向における座標数値の最小値である。
【0072】
好ましくは、第１方向は二次元画像の行方向に平行で、第２方向は二次元画像の列方向に平行である。
【0073】
例えば、第１空間点集合が第１空間点Ａ１、第１空間点Ｂ１、第１空間点Ｃ１及び第１空間点Ｄ１を含むと仮定する。そのうち、第１空間点Ａ１は（４，５，６）で、第１空間点Ｂ１は（７，８，３）で、第１空間点Ｃ１は（４，５，９）で、第１空間点Ｄ１は（７，３，２）である。従って、第１最大閾値は７で、第１最小閾値は４で、第２最大閾値は８で、第２最小閾値は３である。
【0074】
ｓ２２において、端末機器は、第１最大閾値、第１最小閾値、第２最大閾値及び第２最小閾値に基づき、第１三次元点群をフィルタリング処理し、第２三次元点群を得る。
【0075】
好ましくは、第２三次元点群内の第２空間点の第１方向における座標数値は、第１最小閾値よりも大きいか又は等しく且つ第１最大閾値よりも小さいか又は等しく、第２三次元点群内の空間点の第２方向における座標数値は、第２最小閾値よりも大きいか又は等しく且つ第２最大閾値よりも小さいか又は等しい。つまり、第１三次元点群には、第１空間点集合からなる空間閉領域内の三次元点群しか保留されず、第１三次元点群内の第１空間点集合からなる空間閉領域以外の三次元点群がフィルタリングされて除去され、三次元点群の範囲が縮小される。
【0076】
例えば、第１最大閾値は７で、第１最小閾値は４で、第２最大閾値は８で、第２最小閾値は３である。第１三次元点群には、第１方向における座標数値が４よりも大きいか又は等しく且つ７よりも小さいか又は等しく、第２方向における座標数値が３よりも大きいか又は等しく且つ８よりも小さいか又は等しい三次元点群が保留され、即ち、第２三次元点群が得られる。第２三次元点群内の各第２空間点は、いずれも第１方向における座標数値が４よりも大きいか又は等しく且つ７よりも小さいか又は等しく、第２方向における座標数値が３よりも大きいか又は等しく且つ８よりも小さいか又は等しい空間点である。
【0077】
１つの可能な実現方式において、外接矩形の隣り合う２つの辺は、それぞれ二次元画像の行方向及び列方向に平行である。図４を例にとると、図４における外接矩形の第１辺及び第２辺は二次元画像の行方向に平行で、外接矩形の第３辺及び第４辺は二次元画像の列方向に平行である。方式に基づき、外接矩形の方向と二次元画像の方向とが一致することを保証でき、決定した境界領域をより正確にすることができ、三次元点群を縮小する正確性を向上させることにより有利である。
【0078】
Ｓ２０４において、端末機器は、第２三次元点群から目標線分に対応する三次元点群を決定する。
【0079】
本願の実施例において、端末機器は、第１三次元点群を縮小した後、より小さな範囲の第２三次元点群から目標線分に対応する三次元点群を決定し、検索範囲を小さくし、計算効率を向上させる。
【0080】
１つの可能な実現方式において、端末機器が第２三次元点群から目標線分に対応する三次元点群を決定する具体的な実現方式は、ステップｓ３１ないしｓ３５を含んでもよい。
【0081】
ｓ３１において、端末機器は、二次元画像において第２三次元点群を投影し、第２三次元点群に対応する画素位置集合を得る。
【0082】
具体的な実現において、端末機器は、カメラ内部パラメータを利用して二次元画像において第２三次元点群内の各第２空間点を投影し、各第２空間点に対応する画素位置を得て、全ての第２空間点に対応する画素位置からなる集合は即ち、第２三次元点群に対応する画素位置集合である。画素位置集合内の各画素位置と第２三次元点群内の各第２空間点とは、１対１で対応する関係である。
【0083】
ｓ３２において、端末機器は、画素位置集合に基づいて二次元探索木を構築する。
【0084】
具体的な実現において、二次元探索木は、ｋｄ－ｔｒｅｅ（ｋ－ｄｉｍｅｎｓｉｏｎａｌ木の略称）の構造であってもよく、いわゆるｋｄ－ｔｒｅｅは、木形状構造のデータ記憶方式であり、二次元又は三次元点を順序的に符号化することができ、主に多次元空間の特徴ベクトルのクイック探索、例えば、範囲探索、最近傍探索等に適用される。端末機器は、従来のｋｄ－ｔｒｅｅを構築する方式を利用し、画素位置集合に従って二次元探索木を構築することができる。
【0085】
ｓ３３において、端末機器は、二次元探索木に基づいて第１画素点に対して最近傍探索を行い、第１インデックス値を得る。
【0086】
具体的な実現において、第１画素点は、第１画素点集合内の任意の１つの画素点であり、第１画素点集合は、目標線分が通過する全ての画素点である。第１画素点を例に説明し、従来のｋｄ－ｔｒｅｅの最近傍検索方法を利用し、端末機器は、二次元探索木により第１画素点に最も近い目標空間点を迅速に照会し、目標空間点に対応する第１インデックス値を返すことができる。
【0087】
ｓ３４において、端末機器は、第１インデックス値に基づいて画素位置集合から第１画素位置を決定する。
【0088】
具体的な実現において、端末機器は、第１インデックス値に基づいて画素位置集合から対応する第１画素位置を見つける。例えば、第１インデックス値は０であり、第１インデックス値に対応する第１画素位置は（４，６）である。
【0089】
ｓ３５において、端末機器は、第１画素位置に基づいて第２三次元点群から目標空間点を決定する。
【0090】
具体的な実現において、画素位置集合内の各画素位置と第２三次元点群内の各第２空間点とが１対１で対応する関係であるため、第１画素位置に基づけば、第２三次元点群から目標空間点を決定することができ、目標空間点は、第１画素点の、目標線分に対応する三次元点群内の対応する空間点である。
【0091】
同様に、第１画素点に対応する目標空間点を決定する方式を採用することで、第１画素点集合内の各画素点に対応する目標空間点を決定することができ、全ての目標空間点からなる集合は即ち、目標線分に対応する三次元点群である。
【0092】
これから分かるように、図２に記載の方法に基づき、端末機器は、二次元画像における目標線分に対応するエッジ画素点集合を取得し、エッジ画素点集合に対応する空間点集合を決定して、目標線分に対応する三次元点群の境界を決定し、求めた境界を利用して第１三次元点群の範囲を縮小することで、第２三次元点群が得られ、より小さな範囲の第２三次元点群から目標線分に対応する三次元点群を検索することができ、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることに有利である。
【0093】
図６を参照し、図６は、本発明の実施例に係る三次元点群に基づくマッピング装置の構造模式図であり、三次元点群に基づくマッピング装置は、端末機器又は端末機器の機能を有する装置（例えば、チップ）であってもよい。具体的には、図６に示すように、三次元点群に基づくマッピング装置６００は、取得ユニット６０１、決定ユニット６０２及び処理ユニット６０３を備えてもよい。そのうち、取得ユニット６０１は、目標対象の画像である二次元画像における目標線分に対応し、目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することに用いられ、決定ユニット６０２は、目標対象の三次元点群である第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定することに用いられ、処理ユニット６０３は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得ることに用いられ、決定ユニット６０２は更に、第２三次元点群から目標線分に対応する三次元点群を決定することに用いられる。
【0094】
１つの可能な実現方式において、目標線分は直線線分であり、外接矩形の角点は目標線分の端点を含む。
【0095】
１つの可能な実現方式において、目標線分は曲線線分であり、外接矩形は目標線分の最小外接矩形である。
【0096】
１つの可能な実現方式において、決定ユニット６０２は、第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する時、具体的に、カメラ内部パラメータに基づいてエッジ画素点集合に対応する画像点集合を決定し、画像点集合に基づいて第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定することに用いられてもよい。
【0097】
１つの可能な実現方式において、処理ユニット６０３は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る時、具体的に、第１空間点集合に基づいて、第１方向における、第１空間点集合内の第１空間点の第１方向における座標数値の最大値である第１最大閾値、及び第１空間点集合内の第１空間点の第１方向における座標数値の最小値である第１最小閾値と、第２方向における、第１空間点集合内の第１空間点の第２方向における座標数値の最大値である第２最大閾値、及び第１空間点集合内の第１空間点の第２方向における座標数値の最小値である第２最小閾値とを決定し、第１最大閾値、第１最小閾値、第２最大閾値及び第２最小閾値に基づき、第１三次元点群をフィルタリング処理し、第２三次元点群を得ることに用いられてもよい。
【0098】
１つの可能な実現方式において、第２三次元点群内の第２空間点の第１方向における座標数値は、第１最小閾値よりも大きいか又は等しく且つ第１最大閾値よりも小さいか又は等しく、第２三次元点群内の空間点の第２方向における座標数値は、第２最小閾値よりも大きいか又は等しく且つ第２最大閾値よりも小さいか又は等しい。
【0099】
１つの可能な実現方式において、外接矩形の隣り合う２つの辺は、それぞれ二次元画像の行方向及び列方向に平行である。
【0100】
本願の実施例は、チップを更に提供し、チップは、前述した方法の実施例における端末機器の関連ステップを実行することができる。チップは、プロセッサ及び通信インタフェースを備え、プロセッサは、目標対象の画像である二次元画像における目標線分に対応し、目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得し、目標対象の三次元点群である第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定し、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得て、第２三次元点群から目標線分に対応する三次元点群を決定するという操作をチップに実行させるために構成される。
【0101】
１つの可能な実現方式において、目標線分は直線線分であり、外接矩形の角点は目標線分の端点を含む。
【0102】
１つの可能な実現方式において、目標線分は曲線線分であり、外接矩形は目標線分の最小外接矩形である。
【0103】
１つの可能な実現方式において、チップは、第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する時、具体的に、カメラ内部パラメータに基づいてエッジ画素点集合に対応する画像点集合を決定し、画像点集合に基づいて第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定することに用いられてもよい。
【0104】
１つの可能な実現方式において、チップは、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る時、具体的に、第１空間点集合に基づいて、第１方向における、第１空間点集合内の第１空間点の第１方向における座標数値の最大値である第１最大閾値、及び第１空間点集合内の第１空間点の第１方向における座標数値の最小値である第１最小閾値と、第２方向における、第１空間点集合内の第１空間点の第２方向における座標数値の最大値である第２最大閾値、及び第１空間点集合内の第１空間点の第２方向における座標数値の最小値である第２最小閾値とを決定し、第１最大閾値、第１最小閾値、第２最大閾値及び第２最小閾値に基づき、第１三次元点群をフィルタリング処理し、第２三次元点群を得ることに用いられてもよい。
【0105】
１つの可能な実現方式において、第２三次元点群内の第２空間点の第１方向における座標数値は、第１最小閾値よりも大きいか又は等しく且つ第１最大閾値よりも小さいか又は等しく、第２三次元点群内の空間点の第２方向における座標数値は、第２最小閾値よりも大きいか又は等しく且つ第２最大閾値よりも小さいか又は等しい。
【0106】
１つの可能な実現方式において、外接矩形の隣り合う２つの辺は、それぞれ二次元画像の行方向及び列方向に平行である。
【0107】
チップに適用又は集積された各装置、プロダクトについては、それに含まれる各モジュールは、いずれも回路等のハードウェアの方式を採用して実現でき、又は、少なくとも一部のモジュールは、ソフトウェアプログラムの方式を採用して実現でき、ソフトウェアプログラムは、チップの内部に集積されたプロセッサで運行し、残り（あれば）の一部のモジュールは、回路等のハードウェア方式を採用して実現できる。
【0108】
図７を参照し、図７は、本発明の実施例に係る三次元点群に基づくマッピング装置の構造模式図である。三次元点群に基づくマッピング装置７００は、メモリ７０１、プロセッサ７０２を備えてもよい。好ましくは、通信インタフェース７０３を更に備える。メモリ７０１、プロセッサ７０２及び通信インタフェース７０３は、１本又は複数本の通信バスで接続される。そのうち、通信インタフェース７０３は、プロセッサ７０２の制御で情報を送受信することに用いられる。
【0109】
メモリ７０１は、読み出し専用メモリ及びランダムアクセスメモリを含んでもよく、プロセッサ７０２に命令及びデータを提供する。メモリ７０１の一部は、不揮発性ランダムアクセスメモリを更に含んでもよい。
【0110】
通信インタフェース７０３は、データを受信又は送信することに用いられる。
【0111】
プロセッサ７０２は、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であってもよく、プロセッサ７０２は、他の汎用プロセッサ、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェア部品等であってもよい。汎用プロセッサはマイクロプロセッサであってもよく、好ましくは、プロセッサ７０２は、任意の通常のプロセッサ等であってもよい。
【0112】
メモリ７０１は、プログラム命令を記憶することに用いられる。
【0113】
プロセッサ７０２は、メモリ７０１に記憶されたプログラム命令を呼び出すことに用いられる。
【0114】
プロセッサ７０２は、メモリ７０１に記憶されたプログラム命令を呼び出し、上記方法の実施例における端末機器が実行する方法を三次元点群に基づくマッピング装置７００に実行させる。
【0115】
図８に示すように、図８は、本願の実施例に係るモジュール機器の構造模式図である。モジュール機器８００は、前述した方法の実施例における近端機器の関連ステップを実行することができ、モジュール機器８００は、通信モジュール８０１、電源モジュール８０２、記憶モジュール８０３及びチップ８０４を備える。
【0116】
そのうち、電源モジュール８０２は、モジュール機器に電気エネルギを提供することに用いられ、記憶モジュール８０３は、データ及び命令を記憶することに用いられ、通信モジュール８０１は、モジュール機器の内部の通信又はモジュール機器と外部機器との通信を行うことに用いられ、チップ８０４は、上記方法の実施例における端末機器が実行する方法を実行することに用いられる。
【0117】
【0118】
本願の実施例は、プロセッサで運行すると、上記方法の実施例の方法のフローが実現可能となる命令が記憶されたコンピュータ可読記憶媒体を更に提供する。
【0119】
本願の実施例は、プロセッサで運行すると、上記方法の実施例の方法のフローが実現可能となるコンピュータプログラムプロダクトを更に提供する。
【0120】
なお、前述した各方法の実施例については、簡単に説明するために、それらをいずれも一連の動作の組み合わせとして記述したが、当業者であれば、本願が記述された動作の順に限定されず、これは、本願により、いくつかの操作は他の順で行ったり、同時に行ったりしてもよいためであることを知っているべきである。そして、当業者であれば、明細書に記載された実施例がいずれも好ましい実施例に属し、係る動作及びモジュールが必ずしも本願に必要なものではないことも知っているべきである。
【0121】
本願に係る各実施例の説明は、互いに参照することができ、各実施例の説明はそれぞれ重点を置いており、ある実施例で詳述されていない部分は、他の実施例の関連説明を参照することができる。説明の便宜及び簡潔さのために、例えば、本願の実施例に係る各装置、機器の機能及び実行する操作については、本願の方法の実施例の関連説明を参照することができ、各方法の実施例間、各装置の実施例間も、互いに参照、結合又は引用することができる。
【0122】
最後に説明すべきものとして、以上の各実施例は、本願の技術案を説明するためのものに過ぎず、それを限定するものではなく、前述した各実施例を参照して本願を詳細に説明したが、当業者であれば、依然として前述した各実施例に記載された技術案を修正したり、そのうちの一部又は全部の技術的特徴を均等に置換したりすることができ、これらの修正又は置換は、対応する技術案の本質を本願の各実施例の技術案の範囲から逸脱させるものではないことを理解すべきである。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6】
【図7】
【図8】