IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧

特許7463463作業地形検出方法、装置及び作業地形を検出するための工事機器
<>
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図1
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図2
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図3
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図4
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図5
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図6
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図7A
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図7B
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図8A
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図8B
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図9
  • 特許-作業地形検出方法、装置及び作業地形を検出するための工事機器 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-29
(45)【発行日】2024-04-08
(54)【発明の名称】作業地形検出方法、装置及び作業地形を検出するための工事機器
(51)【国際特許分類】
   G01S 17/89 20200101AFI20240401BHJP
   G06T 7/70 20170101ALI20240401BHJP
【FI】
G01S17/89
G06T7/70 Z
【請求項の数】 18
【外国語出願】
(21)【出願番号】P 2022147536
(22)【出願日】2022-09-16
(65)【公開番号】P2022174248
(43)【公開日】2022-11-22
【審査請求日】2022-09-16
(31)【優先権主張番号】202210167203.4
(32)【優先日】2022-02-23
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Beijing Baidu Netcom Science Technology Co., Ltd.
【住所又は居所原語表記】2/F Baidu Campus, No.10, Shangdi 10th Street, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】ジェンペン・ヘ
(72)【発明者】
【氏名】リンフォン・チエン
(72)【発明者】
【氏名】リヤンジュン・ジャーン
【審査官】藤脇 昌也
(56)【参考文献】
【文献】特開2020-107021(JP,A)
【文献】特開2021-051057(JP,A)
【文献】特開2021-175972(JP,A)
【文献】米国特許出願公開第2020/0394813(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
17/00 - 17/95
(57)【特許請求の範囲】
【請求項1】
作業地形検出方法であって、
レーザレーダが現時点で収集した作業領域の点群データを取得し、ここで、前記作業領域は、複数のグリッドに区分され、前記複数のグリッドのうちの各グリッドは、対応する高さ値を有し、前記点群データは、複数のサンプリング点の三次元座標を含むことと、
前記複数のグリッドのうちのいずれか1つのグリッドに対して、
前記複数のサンプリング点の三次元座標に基づき、前記複数のサンプリング点から前記グリッドの入力点を確定することと、
前記入力点の高さ座標と前記グリッドの高さ値に基づき、ノイズ点と地面点とを含む前記入力点のタイプを確定することと、
前記入力点が地面点であると確定することに応答し、前記入力点の高さ座標に基づいて前記グリッドの高さ値を更新することと
前記入力点がノイズ点であると確定することに応答して、前記入力点を前記グリッドに対応するノイズ点コンテナに添加することと、
前記ノイズ点コンテナにおけるノイズ点の数が第3の閾値以上であると確定することに応答して、前記ノイズ点コンテナにおける収集時間が最も早いノイズ点を削除することとを含む、作業地形検出方法。
【請求項2】
前記点群データは、前記レーザレーダにより非重複の走査経路で前記作業領域を走査して得られるものである、請求項1に記載の方法。
【請求項3】
前記複数のサンプリング点の三次元座標に基づき、前記複数のサンプリング点から前記グリッドの入力点を確定することは、
前記複数のサンプリング点の三次元座標に基づき、前記グリッドに対応する、前記グリッド内に位置するサンプリング点を含むサンプリング点セットを確定することと、
前記サンプリング点セットにおける高さ座標が最も大きいサンプリング点を前記入力点とすることとを含む請求項1又は2に記載の方法。
【請求項4】
前記入力点の高さ座標と前記グリッドの高さ値に基づき、前記入力点のタイプを確定することは、
前記高さ座標と前記高さ値との差が第1の閾値より大きいと確定することに応答して、前記入力点がノイズ点であると確定することを含む、請求項1又は2に記載の方法。
【請求項5】
前記入力点の高さ座標と前記グリッドの高さ値に基づき、前記入力点のタイプを確定することは、
以下のいずれか一つの条件が満たされると確定することに応答して、前記入力点が地面点であると確定することを含み、
前記高さ座標と前記高さ値との差は前記第1の閾値以下であり、または、
前記高さ座標と前記高さ値との差は前記第1の閾値より大きく、且つ前記グリッドは、予め設定された時間長内にノイズ点と確定された入力点の数が第2の閾値以上である、請求項4に記載の方法。
【請求項6】
前記入力点が地面点であると確定することに応答して、前記入力点を前記グリッドに対応する地面点コンテナに添加することと、
前記地面点コンテナにおける地面点の数が第4の閾値以上であると確定することに応答して、前記地面点コンテナにおける収集時間が最も早い地面点を削除することとをさらに含む、請求項1又は2に記載の方法。
【請求項7】
前記入力点が地面点であると確定することに応答して、前記入力点の高さ座標に基づき、前記グリッドの高さ値を更新することは、
前記グリッドの高さ値を、前記地面点コンテナにおける各地面点の高さ座標の平均値に更新することを含む、請求項に記載の方法。
【請求項8】
前記グリッドの高さ値の初期値は、前記グリッドの1番目の入力点の高さ座標である、請求項1又は2に記載の方法。
【請求項9】
作業地形検出装置であって、
レーザレーダが現時点で収集した作業領域の点群データを取得するように構成される取得モジュールであって、前記作業領域は、複数のグリッドに区分され、前記複数のグリッドのうちの各グリッドは、対応する高さ値を有し、前記点群データは、複数のサンプリング点の三次元座標を含む取得モジュールと、
前記複数のグリッドのうちのいずれか1つのグリッドに対して、前記複数のサンプリング点の三次元座標に基づき、前記複数のサンプリング点から前記グリッドの入力点を確定するように構成される第1の確定モジュールと、
前記入力点の高さ座標と前記グリッドの高さ値に基づき、ノイズ点と地面点とを含む前記入力点のタイプを確定するように構成される第2の確定モジュールと、
前記入力点が地面点であると確定することに応答して、前記入力点の高さ座標に基づき、前記グリッドの高さ値を更新するように構成される更新モジュールと
前記入力点がノイズ点であると確定することに応答して、前記入力点を前記グリッドに対応するノイズ点コンテナに添加するように構成される第1の添加モジュールと、
前記ノイズ点コンテナにおけるノイズ点の数が第3の閾値以上であると確定することに応答して、前記ノイズ点コンテナにおける収集時間が最も早いノイズ点を削除するように構成される第1の削除モジュールとを含む、作業地形検出装置。
【請求項10】
前記点群データは、前記レーザレーダにより非重複の走査経路で前記作業領域を走査して得られるものである、請求項に記載の装置。
【請求項11】
前記第1の確定モジュールは、
前記複数のサンプリング点の三次元座標に基づき、前記グリッドに対応する、前記グリッド内に位置するサンプリング点を含むサンプリング点セットを確定するように構成される第1の確定ユニットと、
前記サンプリング点セットにおける高さ座標が最も大きいサンプリング点を前記入力点とするように構成される第2の確定ユニットとを含む、請求項又は10に記載の装置。
【請求項12】
前記第2の確定モジュールは、さらに、
前記高さ座標と前記高さ値との差が第1の閾値より大きいと確定することに応答して、前記入力点がノイズ点であると確定するように構成される、請求項又は10に記載の装置。
【請求項13】
前記第2の確定モジュールは、さらに、
以下のいずれか一つの条件が満たされると確定することに応答して、前記入力点が地面点であると確定するように構成され、
前記高さ座標と前記高さ値との差は前記第1の閾値以下であり、または、
前記高さ座標と前記高さ値との差は前記第1の閾値より大きく、且つ前記グリッドは、予め設定された時間長内にノイズ点と確定された入力点の数が第2の閾値以上である、請求項12に記載の装置。
【請求項14】
前記入力点が地面点であると確定することに応答して、前記入力点を前記グリッドに対応する地面点コンテナに添加するように構成される第2の添加モジュールと、
前記地面点コンテナにおける地面点の数が第4の閾値以上であると確定することに応答して、前記地面点コンテナにおける収集時間が最も早い地面点を削除するように構成される第2の削除モジュールとをさらに含む、請求項又は10に記載の装置。
【請求項15】
電子機器であって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信接続されたメモリとを含み、ここで、
前記メモリは、前記少なくとも1つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサに請求項1~のいずれか1項に記載の方法を実行させる、電子機器。
【請求項16】
コンピュータ命令が記憶される非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項1~のいずれか一項に記載の方法を実行させるためのものである、非一時的コンピュータ可読記憶媒体。
【請求項17】
コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムはプロセッサによって実行される時に、請求項1~のいずれか一項に記載の方法を実現する、コンピュータプログラム製品。
【請求項18】
請求項15に記載の電子機器を含む、工事機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータ技術分野に関し、特に自動運転、無人工事作業技術分野に関し、具体的には、作業地形検出方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム製品と作業地形を検出するための工事機器に関する。
【背景技術】
【0002】
工事機器は、工事作業(例えば、鉱物採掘、家屋建設、配管敷設など)に使用される機器であり、例えば、ショベル、パワーショベル、ブルドーザー、クレーン、ロードローラなどである。通常、工事機器は、作業者の現場操作で作業する。
【0003】
この部分で説明される方法は、必ずしも以前に想定される方法又は採用される方法ではない。特に断りのない限り、この部分に記載されているいずれの方法は、この部分に含まれるだけで従来技術であると考えられるべきではない。同様に、特に断りのない限り、この部分で言及されている課題は、従来の技術で承認されたものであると考えるべきではない。
【発明の概要】
【0004】
本開示は、作業地形検出方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム製品及び作業地形を検出するための工事機器を提供した。
本開示の一態様によれば、作業地形検出方法を提供し、前記方法は、レーザレーダが現時点で収集した作業領域の点群データを取得し、前記作業領域は、複数のグリッドに区分され、前記複数のグリッドのうちの各グリッドは、対応する高さ値を有し、前記点群データは、複数のサンプリング点の三次元座標を含むことと、前記複数のグリッドのうちのいずれか1つのグリッドに対して、前記複数のサンプリング点の三次元座標に基づき、前記複数のサンプリング点から前記グリッドの入力点を確定することと、前記入力点の高さ座標と前記グリッドの高さ値に基づき、ノイズ点と地面点とを含む前記入力点のタイプを確定することと、前記入力点が地面点であると確定することに応答し、前記入力点の高さ座標に基づいて前記グリッドの高さ値を更新することとを含む。
【0005】
本開示の一態様によれば、作業地形検出装置を提供し、前記装置は、レーザレーダが現時点で収集した作業領域の点群データを取得するように構成される取得モジュールであって、前記作業領域は、複数のグリッドに区分され、前記複数のグリッドのうちの各グリッドは対応する高さ値を有し、前記点群データは、複数のサンプリング点の三次元座標を含む取得モジュールと、前記複数のグリッドのうちのいずれか1つのグリッドに対して、前記複数のサンプリング点の三次元座標に基づき、前記複数のサンプリング点から前記グリッドの入力点を確定するように構成される第1の確定モジュールと、前記入力点の高さ座標と前記グリッドの高さ値に基づき、前記入力点のタイプを確定するように構成される第2の確定モジュールであって、前記タイプは、ノイズ点と地面点とを含む第2の確定モジュールと、前記入力点が地面点であると確定することに応答して、前記入力点の高さ座標に基づき、前記グリッドの高さ値を更新するように構成される更新モジュールとを含む。
【0006】
本開示の一態様によれば、電子機器を提供し、前記電子機器は、少なくとも1つのプロセッサと、及び前記少なくとも1つのプロセッサに通信接続されたメモリを含み、前記メモリは、前記少なくとも1つのプロセッサによって実行可能な命令を記憶しており、前記命令は前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサに上述の方法を実行させる。
【0007】
本開示の一態様によれば、コンピュータに以上に記載の方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体を提供する。
本開示の一態様によれば、プロセッサによって実行されると、以上に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。
【0008】
本開示の一態様によれば、上記電子機器を含む工事機器を提供する。
本開示の1つ又は複数の実施例によれば、作業地形検出の精度を向上させることができる。
【0009】
理解すべきことは、この部分に説明される内容は、本開示の実施例の要点または重要な特徴を識別することを意図しておらず、本開示の保護範囲を限定するためのものではないことである。本開示の他の特徴は、以下の明細書によって容易に理解されるであろう。
【図面の簡単な説明】
【0010】
図面は、実施例を例示的に示し、明細書の一部を構成し、明細書の文字による説明とともに、実施例の例示的な実施形態を説明するために用いられる。図示の実施例は例示的目的のみであり、特許請求の範囲を限定するものではない。すべての図面において、同一の符号は類似しているが、必ずしも同じとは限らない要素を指す。
図1】本開示の実施例による、本明細書で説明される様々な方法を実施することができる例示的なシステムの概略図を示した。
図2】本開示の実施例による作業地形検出方法のフローチャートを示した。
図3】本開示の実施例によるグリッド高さ値の更新過程のフローチャートを示した。
図4】本開示の実施例による異なるグリッドの高さ値の更新過程の概略図を示した。
図5】本開示の実施例による地形検出過程の概略図を示した。
図6】本開示の実施例による地形検出結果(標高マップ)の概略図を示した。
図7A】本開示の実施例による、粉塵が比較的少ない場合の地形検出結果の概略図を示した。
図7B】本開示の実施例による、粉塵が比較的少ない場合の地形検出結果の概略図を示した。
図8A】本開示の実施例による、粉塵が比較的多い場合の地形検出結果の概略図を示した。
図8B】本開示の実施例による、粉塵が比較的多い場合の地形検出結果の概略図を示した。
図9】本開示の実施例による作業地形検出装置の構造ブロック図を示した。
図10】本開示の実施例を実現するために使用できる例示的な電子機器の構造ブロック図を示した。
【発明を実施するための形態】
【0011】
以下、図面に合わせて本開示の例示的な実施形態を説明して、それに含まれる本開示の実施例における様々な詳細が理解を助けるためので、それらは単なる例示的なものと考えられるべきである。したがって、当業者であれば、本開示の範囲および精神から逸脱することなく、本明細書で説明された実施形態に対して様々な変更および修正を行うことができることを認識すべきである。同様に、明瞭と簡潔のために、以下の説明では公知の機能および構造についての説明を省略している。
【0012】
本開示では、特に明記しない限り、様々な要素を説明するための「第1」、「第2」などの用語の使用は、これらの要素の位置関係、タイミング関係、又は重要性関係を限定することを意図していない。このような用語は、ある要素を別の要素と区別するためにのみ使用される。いくつかの例では、第1の要素と第2の要素は、要素の同じ例を指すことができ、場合によっては、コンテキストの説明に基づき、異なる例を指してもよい。
【0013】
本願の様々な例の説明で使用される用語は、確定の例を説明することのみを目的としており、限定することを意図していない。コンテキストが別途に明確に示されていない限り、特に要素の数を限定しないなら、要素は1つであってもよいし、複数であってもよい。また、本願で使用される用語「および/又は」は、リストされた項目のいずれかおよび可能な全ての組み合わせをカバーする。
【0014】
本開示の技術方案において、関連するユーザ個人情報の取得、記憶と応用などは、すべて関連法律法規の規定に合致し、かつ公順良俗に違反しない。
工事作業現場(施工現場とも呼ばれ、Construction Site)は、通常、屋外で比較的劣悪な環境にある。工事機器のインテリジェント化と無人化は、現在の発展の傾向である。工事機器は、それに設置されるセンサによって周囲環境を感知し、感知された環境情報を利用して自律的な無人作業を行うことにより、工事作業の安全性と効率を向上させる。
【0015】
地面作業に関する无人作業シナリオにおいて、工事機器は、作業地形(即ち地面の高低や起伏状態、また即ち異なる地面領域の高さ値)をリアルタイムに検出し、作業地形に基づき、作業を計画及び進行する必要がある。
【0016】
関連技術において、よく使用される作業地形検出方法は以下の三つを含み、
第1に、三次元表面再構築技術(例えば、ポアソン曲面再構築技術など)を用い、レーザレーダが収集した地面点群データを再構築し、地面のグリッドモデルを生成することにより、作業地形を得る。この方法は、計算量が大きく、計算速度が低く、リアルタイムな地形検出を実現できない。
【0017】
第2に、作業領域を複数のグリッドに区分し、過去の所定の時間帯内で、レーザレーダが収集した点群データを用い、各グリッド内の点群の平均高さを、このグリッドの地形高さとして計算し、グリッド標高マップを生成する。しかし、工事作業現場に粉塵(例えば、地面からの発塵、煙など)が一般的に存在しており、粉塵がレーザレーダに走査されるため、点群データにはノイズ点が比較的多く含まれている。この方法は、点群の平均高さを直接地面高さとし、精度が比較的低く、且つリアルタイム性も工事作業の要求に達していない。
【0018】
第3に、深さカメラを用いてマルチフレームの環境深さ画像を収集し、各フレームの深さ画像に基づき、カルマンフィルタアルゴリズムを用いて、各グリッドの地面高さ値をリアルタイムに更新し、グリッド標高マップを生成する。この方法は、リアルタイム性に比較的優れているが、粉塵に対するノイズ除去効果が好ましくない。なお、深さカメラは、有効距離が比較的短く(即ち、物体が深さカメラに比較的近い場合に限り、収集した深さ画像が正確である)、大型工事機器にとって精度が不十分であり、地形検出の精度が比較的低い。
【0019】
以上の問題に鑑み、本開示の実施例は、正確で、リアルタイムな作業地形検出を実現するために、作業地形検出方法を提供する。
以下、図面を参照して本開示の実施例について詳細に説明する。
【0020】
図1は、本開示の実施例による、本明細書に記載された様々な方法および装置を、その中で実施する可能な例示的なシステム100の概略図である。図1を参照すると、このシステム100は、工事機器110と、サーバ120と、工事機器110をサーバ120に結合する1つまたは複数の通信ネットワーク130とを含む。
【0021】
工事機器110は、工事作業(例えば、鉱物採掘、家屋建設、配管敷設など)に使用される任意の機器であってもよく、ショベル、パワーショベル、ブルドーザー、クレーン、ロードローラなどを含むが、これらに限定されない。本開示の実施形態では、工事機器110は、本開示の実施例による電子機器を含んでもよくおよび/または本開示の実施例による方法を実行するために用いられるように構成される。
【0022】
サーバ120は、作業地形検出方法を実行可能にする1つ又は複数のサービス又はソフトウェアアプリケーションを実行することができる。いくつかの実施例では、サーバ120は、非仮想環境及び仮想環境を含んでもよい他のサービス又はソフトウェアアプリケーションも提供することができる。図1に示す配置では、サーバ120は、サーバ120により実行される機能を実現する1つまたは複数のモジュールを含んでもよい。これらのモジュールは、1つまたは複数のプロセッサで実行できるソフトウェアモジュール、ハードウェアモジュール、またはそれらの組み合わせを含んでもよい。工事機器110のユーザは、これらのコンポーネントによって提供されるサービスを利用するために、1つまたは複数のクライアントアプリケーションプログラムを順次利用してサーバ120と対話することができる。様々な異なるシステム配置が可能であり、システム100とは異なってもよいことを理解されたい。したがって、図1は、本明細書に記載された様々な方法を実施するためのシステムの一例であり、制限することを意図していない。
【0023】
サーバ120は、1つ又は複数の汎用コンピュータ、専用サーバコンピュータ(例えば、PC(パーソナルコンピュータ)サーバ、UNIX(登録商標)サーバ、ミッドレンジサーバ)、ブレードサーバ、大型コンピュータ、サーバクラスタ、又はその他の適切な配置及び/又は組み合わせを含んでもよい。サーバ120は、仮想オペレーティングシステムを実行する1つ又は複数の仮想マシン、又は仮想化に関わる他のコンピューティングアーキテクチャ(例えば、サーバの仮想記憶装置を維持するために仮想化された論理記憶デバイスの1つ又は複数のフレキシブルプール)を含んでもよい。様々な実施例において、サーバ120は、以下に説明する機能を提供する1つまたは複数のサービスまたはソフトウェアアプリケーションを実行することができる。
【0024】
サーバ120内の計算ユニットは、上記した任意のオペレーティングシステムおよび任意の商用サーバオペレーティングシステムを含む1つまたは複数のオペレーティングシステムを実行することができる。サーバ120は、HTTPサーバ、FTPサーバ、CGIサーバ、JAVA(登録商標)サーバ、データベースサーバなど、様々な追加のサーバアプリケーションおよび/または中間層アプリケーションのいずれか1つを実行することもできる。
【0025】
いくつかの実施形態では、サーバ120は、工事機器110から受信したデータフィードおよび/またはイベント更新を分析しマージするために、1つまたは複数のアプリケーションプログラムを含んでもよい。サーバ120はまた、工事機器110の1つまたは複数のディスプレイ装置を介してデータフィードおよび/またはリアルタイムイベントを表示するために1つまたは複数のアプリケーションプログラムを含んでもよい。
【0026】
ネットワーク130は、当業者に知られている任意のタイプのネットワークであってもよく、それは、データ通信をサポートするために、複数の利用可能なプロトコルのいずれか1つ(TCP/IP、SNA、IPXなどを含むがこれらに限定されない)を使用することができる。例として、1つまたは複数のネットワーク110は、イーサネット(Ethernet)、衛星通信ネットワーク、ローカルエリアネットワーク(LAN)、イーサネットベースのネットワーク、トークンループ、ワイドエリアネットワーク(WAN)、インターネット、仮想ネットワーク、仮想プライベートネットワーク(VPN)、イントラネット、エクストラネット、公衆交換電話網(PSTN)、赤外線ネットワーク、無線ネットワーク(例えば、ブルートゥース(登録商標)、Wi-Fiを含む)、および/またはこれらとその他のネットワークとの任意の組み合わせであってもよい。
【0027】
システム100は、1つまたは複数のデータベース150を含むこともできる。いくつかの実施例では、これらのデータベースはデータやその他の情報を記憶するために使用できる。例えば、データベース150内の1つまたは複数は、オーディオファイルや映像ファイルなどの情報を記憶するために使用されることができる。データベース150は、さまざまな位置に配置することができる。例えば、サーバ120が使用するデータベースは、サーバ120のローカルにあってもよいし、サーバ120から離れて、ネットワーク又は専用の接続を介してサーバ120と通信してもよい。データベース150は、さまざまなタイプであってもよい。いくつかの実施例では、サーバ120が使用するデータベースは、リレーショナルデータベースまたは非リレーショナルデータベースであってもよい。これらのデータベースのうちの1つまたは複数は、命令に応じてデータベースとデータベースからのデータを記憶、更新、検索できる。
【0028】
いくつかの実施例では、データベース150のうちの1つまたは複数は、アプリケーションによって使用され、アプリケーションのデータを記憶することもできる。アプリケーションで使用されるデータベースは、キー値リポジトリ、オブジェクトリポジトリ、ファイルシステムでサポートされる汎用リポジトリなど、様々なタイプのデータベースであってもよい。
【0029】
工事機器110は、周囲環境を感知するためのセンサ111を含んでもよい。センサ111は、以下のセンサのうちの1つまたは複数を含むことができる:視覚カメラ、赤外線カメラ、超音波センサ、ミリ波レーダ及びレーザーレーダ(LiDAR)。異なるセンサは、異なる検出精度および範囲を提供することができる。検出範囲を広げるために、同じセンサを複数設置してもよい。カメラは、工事機器の前方、後方、または他の位置に取り付けることができる。視覚カメラは、工事機器の内外の状況をリアルタイムにキャプチャし、作業者に提示することができる。さらに、視覚カメラによってキャプチャされた画像を分析することによって、機器環境、他の工事機器の運行状態などのような情報を取得することができる。赤外線カメラは夜間に物体を捉えることができる。超音波センサは、超音波の指向性が強いなどの特徴を利用して環境物体と工事機器との距離を測定するために、工事機器の周囲に取り付けることができる。ミリ波レーダは、電磁波の特性を利用して環境物体と工事機器との距離を測定するために、工事機器の前方、後方または他の位置に取り付けることができる。レーザレーダは、物体のエッジ、形状情報を検出して物体の識別及び追跡を行うために、工事機器の前方、後方、又は他の位置に取り付けることができる。ドップラー効果のために、レーダ装置はまた、工事機器および移動物体の速度変化を測定することができる。
【0030】
工事機器110は、通信装置112をさらに含んでもよい。通信装置112は、衛星141から衛星測位信号(例えば、北斗、GPS、GLONASS、およびGALILEO)を受信し、これらの信号に基づいて座標を生成することができる衛星測位モジュールを含んでもよい。通信装置112は、リアルタイムキネマティック測位(Real Time Kinematic、RTK)モジュールをさらに含んでもよく、野外でリアルタイムのセンチメートルレベルの測位を行い、野外での測位精度と作業効率を向上させることができる。通信装置112は、移動体通信基地局142と通信するモジュールをさらに含むことができ、移動体通信ネットワークは、GSM/GPRS、CDMA、LTEなどの現在または進化中の無線通信技術(例えば、5G技術)などの任意の適切な通信技術を実施することができる。工事機器が工事車両(例えば、ショベル、ブルドーザーなど)である場合に、通信装置112は、例えば、他の工事車両143との間での車対車(Vehicle-to-Vehicle、V2V)通信、及びインフラ144との間での車両からインフラまで(Vehicle-to-Infrastructure、V2I)の通信を行う車両と外部との通信を実現するために用いられるように構成された車両ネットワーク又は車車間/路車間通信(Vehicle-to-Everything、V2X)モジュールをさらに有していてもよい。さらに、通信装置112は、例えば、IEEE802.11規格の無線ローカルエリアネットワークまたはブルートゥースを使用して、ユーザ端末145(インテリジェントフォン、タブレットコンピュータ、または腕時計などの装着可能なデバイスを含むがこれらに限定されない)と通信するように構成されたモジュールを有してもよい。工事機器110は、通信装置112を使用して、ネットワーク130を介してサーバ120にアクセスすることもできる。
【0031】
工事機器110は、制御装置113をさらに含んでもよい。制御装置113は、中央処理ユニット(CPU)又はグラフィックス処理ユニット(GPU)、又は他の専用プロセッサ等の様々なタイプのコンピュータ可読記憶装置又は媒体と通信するプロセッサを含んでもよい。工事機器110が工事車両である場合に、制御装置113は、車両における様々なアクチュエータを自動的に制御するための自動運転システムを含んでもよい。自動運転システムは、複数のセンサ111または他の入力装置からの入力に応答して、複数のアクチュエータを介して工事機器110(図示せず)の動力アセンブリ、ステアリングシステム、および制動システムなどを制御して、人為的介入を必要とせず、または制限された人為的介入で、加速、ステアリング、および制動をそれぞれ制御するように構成される。制御装置113の処理機能の一部は、クラウドコンピューティングによって実現することができる。例えば、いくつかの処理は、車載プロセッサを使用して実行されてもよく、他のいくつかの処理は、クラウド側の計算リソースを使用して実行されてもよい。制御装置113は、本開示による方法を実行するように構成することができる。また、制御装置113は、本開示による工事機器側(クライアント側)の電子機器の一例として実現されてもよい。
【0032】
図1のシステム100は、本開示に基づいて説明した様々な方法および装置を応用することができるように、様々な方法で配置し操作することができる。
図2は、本開示の実施例による作業地形検出方法200のフローチャートを示す。方法200は、通常、工事機器(例えば、図1に示される工事機器110)においてローカルで実行することによって、データ伝送を回避し、作業地形検出のリアルタイム性と計算効率を向上させる。理解できるように、いくつかの場合に、方法200は、サーバ(例えば、図1に示されるサーバ120)において実行されてもよい。即ち、方法200の各ステップの実行本体は、通常、図1に示される工事機器110(具体的には、工事機器110における制御装置113であってもよい)であり、また図1に示されるサーバ120であってもよい。
【0033】
図2に示すように、方法200は、ステップ210-240を含む。
ステップ210において、レーザレーダが現時点で収集した作業領域の点群データを取得し、作業領域は、複数のグリッドに区分され、複数のグリッドのうちの各グリッドは、対応する高さ値を有し、点群データは、複数のサンプリング点の三次元座標を含む。
【0034】
ステップ220において、複数のグリッドのうちのいずれか1つのグリッドに対して、複数のサンプリング点の三次元座標に基づき、複数のサンプリング点からこのグリッドの入力点を確定する。
【0035】
ステップ230において、入力点の高さ座標とグリッドの高さ値に基づき、ノイズ点と地面点とを含む入力点のタイプを確定する。
ステップ240において、入力点が地面点であると確定することに応答し、入力点の高さ座標に基づいてグリッドの高さ値を更新する。
【0036】
本開示の実施例によれば、レーザレーダが収集した点群データをリアルタイムに取得し、各サンプリング点の三次元座標に基づき、各グリッドが対応する、グリッド高さ値を更新するためのサンプリング点(即ち、入力点)を確定することができる。さらに、グリッドの入力点がノイズ点であるか地面点であるかを判断し、地面点の高さ座標のみに基づいてグリッドの高さ値を更新し、ノイズ点を効果的にフィルタリングし、地形検出の精度を向上させ、正確で、リアルタイムな作業地形検出を実現することができる。
【0037】
以下、方法200の各ステップを詳細に説明する。
ステップ210において、レーザレーダが現時点で収集した作業領域の点群データを取得する。
【0038】
前述したように、レーザレーダは、例えば、工事機器の前方、側方または他の位置に固定してもよく、且つ複数設置してもよい。レーザレーダは、周囲環境にレーザ光を発射することによって、周囲環境の点群データを収集する。
【0039】
レーザレーダが収集した点群データは、サンプリング点を多数含み、各サンプリング点は、このサンプリング点の空間的位置を表すための三次元座標、即ち(x,y,z)を含む。ここで、x座標、y座標は、サンプリング点の水平方向での位置を表すために用いられ、z座標は、サンプリング点の高さ方向での位置、即ち、サンプリング点の海抜を表すために用いられる。本開示の実施例において、z座標を高さ座標と称する。通常、各サンプリング点は、レーザ反射強度とレーザレーダに対する姿勢角(ヨー角、ピッチ角、ロール角を含む)とをさらに含む。
【0040】
通常、レーザレーダが収集したサンプリング点の元の三次元座標は、レーザレーダ座標系における三次元座標である。いくつかの実施例によれば、作業地形の検出を容易にし、地面のグリッド標高マップを生成するために、レーザレーダ座標系における三次元座標をワールド座標系(例えば、UTM座標系、WGS84座標系など)に変換する必要があり、即ち、ステップ210における三次元座標は、ワールド座標系における三次元座標を指す。
【0041】
いくつかの実施例によれば、レーザレーダが位置する工事機器には、RTKモジュールのような定位モジュールが設置されている。RTKモジュールは、ワールド座標系における自体の三次元座標と姿勢角(ヨー角、ピッチ角、ロール角を含む)を含む自体の位置姿勢情報をリアルタイムに収集することができる。
【0042】
RTKが収集した位置姿勢情報に基づき、レーザレーダ座標系における点群データをワールド座標系に変換することができる。具体的には、工事機器本体に対するRTKモジュールとレーザレーダの位置をそれぞれ較正することができる。RTKモジュールが収集した位置姿勢情報に基づき、RTK座標系とワールド座標系との変換関係(変換関係は、通常、並進ベクトルと変換マトリクスとを含む)を得られる。較正されたRTKモジュール、レーザレーダの位置に基づき、レーザレーダ座標系とRTK座標系との変換関係を得られる。レーザレーダ座標系とRTK座標系との変換関係及びRTK座標系とワールド座標系との変換関係に基づき、レーザレーダ座標系とワールド座標系との変換関係を得られる。レーザレーダ座標系とワールド座標系との変換関係に基づき、レーザレーダ座標系における三次元座標をワールド座標系に変換することができる。
【0043】
レーザレーダは、レーザ光を継続的に発射することによって、周囲環境の点群データを継続的に収集することができる。いくつかの実施例によれば、リアルタイムな作業地形検出を容易にするために、レーザレーダは、収集した点群データを、一定の時間間隔で、工事機器の制御装置に返送し、それに対応して、工事機器の制御装置は、レーザレーダが収集した点群データを、一定の時間間隔で取得する。本開示の実施例において、レーザレーダが毎回返送した点群データを「1フレームの点群データ」と称してもよい。いくつかの実施例によれば、レーザレーダが点群機器を返送する時間間隔を比較的小さい数値、例えば、0.1sに設定してもよく、それによって作業地形検出のリアルタイム性と精度を向上させる。
【0044】
いくつかの実施例によれば、点群データは、レーザレーダにより、非重複の走査経路で作業領域を走査して得られるものである。なお、本開示の実施例の非重複の走査経路は、各時間間隔内の走査経路が非重複であることを意味し、レーザレーダの全動作過程において走査経路が重複しないことを意味するものではない。非重複式走査は、レーザレーダが移動しない前提で、時間の蓄積によって異なる位置に対応する密な点群データを収集することができ(一般的な360°重複式走査はレーザレーダを移動させることによってのみ密な点群を得ることができる)、データ収集の安定性と精度を向上させることによって、作業地形検出の精度を向上させることができる。
【0045】
なお、非重複式走査のレーザレーダに必要なレーザ発射器の数(線数は、通常1桁である)は、通常、360°重複式走査レーザレーダより遙かに少ない(比較的密な点群データを収集するために、線数は、通常、64、128またはそれ以上に達する必要がある)ため、コストを大幅に削減することができる。
【0046】
レーザレーダの走査範囲は、通常、比較的大きいと理解できる。工事機器の作業領域が工事機器の触れる可能な領域でしかないことを考慮したため、いくつかの実施例によれば、ステップ210における作業領域を、工事機器の位置(工事機器の位置は、例えば、RTKモジュールによって取得することができる)を中心とする一定のサイズの領域、例えば、100m*100mの領域に設定することができる。さらに、作業領域を、固定サイズ(例えば、0.2m*0.2m)の複数のグリッドに区分する。本開示の実施例において、単一のグリッドのサイズを作業領域の解像度と呼んでもよい。上記実施例に基づき、工事機器の位置をリアルタイムに取得し、工事機器の位置に基づいて作業領域を確定し、作業領域内の点群データのみを処理することによって、処理すべきデータ量を減少させて、作業地形検出の効率とリアルタイム性を向上させることができる。
【0047】
本開示の実施例において、縦横座標(x座標、y座標)によって各グリッドの位置をインデックスし、グリッドの高さ値を記憶することによって地形情報を記録する。
ステップ220において、複数のサンプリング点の三次元座標に基づき、複数のサンプリング点から各グリッドの入力点を確定する。
【0048】
いくつかの実施例によれば、複数のサンプリング点の三次元座標に基づき、グリッドに対応する、このグリッド内に位置するサンプリング点を含むサンプリング点セットを確定するステップ、及びサンプリング点セットにおける高さ座標が最も大きいサンプリング点をこのグリッドの入力点とするステップを用いて各グリッドの入力点を確定することができる。入力点は、グリッドの高さ値を更新するために用いられる。実際の異なる場合によれば、グリッドに対応するサンプリング点セットは、任意の数のサンプリング点を含んでもよい。例えば、いくつかの場合に、グリッドのサンプリング点セットは、1つ又は複数のサンプリング点を含んでもよい。別のいくつかの場合に、グリッドのサンプリング点セットは、空(null)であってもよい。
【0049】
理解できるように、異なるグリッドは、同じ時点で対応するサンプリング点の数が異なり、高さ分布も異なり、同じグリッドは、異なる時点で対応するサンプリング点の数が異なり、高さ分布も異なる。このような変化は、地形の復元に困難をもたらした。上記実施例に基づき、サンプリング点セットにおける高さ座標が最も大きいサンプリング点を入力点とすることによって、入力データの安定性を確保することができる。且つ、他のサンプリング点を捨てたため、計算効率を向上させ、記憶空間を節約し、リアルタイムな作業地形検出を実現することができる。それとともに、上記実施例は、レーザレーダが1つの垂直な物体を走査する時に、高さ値を複数返すことによる干渉を回避することもできる。
【0050】
別のいくつかの実施例によれば、またサンプリング点セットにおける各サンプリング点の高さ座標の平均値をこのグリッドの入力点としてもよい。
ステップ230において、入力点の高さ座標とグリッドの高さ値に基づき、ノイズ点と地面点とを含む入力点のタイプを確定する。
【0051】
いくつかの実施例によれば、入力点の高さ座標とグリッドの高さ値との差が第1の閾値よりも大きいと確定することに応答して、入力点がノイズ点であると確定する。第1の閾値は、例えば、0.5mに設定してもよい。粉塵が地面の上に浮かんでいるため、ノイズ点の高さは、通常、地面高さ(即ち、グリッドの高さ値)よりも高いことが理解できる。入力点の高さ座標とグリッドの高さ値を比較することによって、ノイズ点を迅速に識別することができる。
【0052】
いくつかの実施例によれば、以下の任意の条件が満たされると確定することに応答して、入力点が地面点であると確定し、入力点の高さ座標とグリッドの高さ値との差は、上記第1の閾値以下であり(条件1)、又は入力点の高さ座標とグリッドの高さ値との差は、第1の閾値より大きく、且つグリッドは、予め設定された時間長内にノイズ点と確定された入力点の数が、第2の閾値以上である(条件2)。予め設定された時間長は、例えば、1sに設定されてもよく、第2の閾値は、例えば、5に設定されてもよい。
【0053】
上記実施例において、条件1は、グリッド内の地面の高さが下降し、一定に維持し又は緩やかに上昇する(単位時間内の上昇量が第1の閾値より小さい)場合に、入力点の高さ座標とグリッドの高さ値を比較することによって、地面点を迅速で、正確に識別することができる。条件2は、グリッド内の地面の高さが迅速に上昇する(単位時間内の上昇量が第1の閾値以上である)場合に、地面点を迅速で、正確に識別することができる。
【0054】
いくつかの実施例によれば、各グリッドは、それぞれ現時点に最も近い歴史ノイズ点と歴史地面点を記憶するための対応するノイズ点コンテナと地面点コンテナを有する。ノイズ点コンテナと地面点コンテナは、例えば、配列、リンクリスト、集合などの任意のデータ構造として実現されてもよい。
【0055】
対応して、いくつかの実施例によれば、方法200は、入力点がノイズ点であると確定することに応答して、入力点をグリッドの対応するノイズ点コンテナに添加することと、ノイズ点コンテナにおけるノイズ点の数が第3の閾値以上であると確定することに応答して、ノイズ点コンテナにおける収集時間が最も早いノイズ点を削除することとをさらに含む。これによって、ノイズ点コンテナには、現時点に最も近い少量(第3の閾値より少ない)の歴史ノイズ点のみが記憶されており、記憶空間を節約し、リアルタイムな作業地形検出を実現することができる。
【0056】
いくつかの実施例によれば、方法200は、入力点が地面点であると確定することに応答して、入力点をグリッドの対応する地面点コンテナに添加することと、地面点コンテナにおける地面点の数が第4の閾値以上であると確定することに応答して、地面点コンテナにおける収集時間が最も早い地面点を削除することとをさらに含む。これによって、地面点コンテナには、現時点に最も近い少量(第4の閾値より少ない)の歴史地面点のみが記憶されており、記憶空間を節約し、計算量を減少させ、グリッド高さ値の計算効率を向上させ、リアルタイムな作業地形検出を実現することができる。
【0057】
いくつかの実施例によれば、上記第3の閾値、第4の閾値は、同じ数値、例えば、5に設定されてもよい。且つ、第3の閾値、第4の閾値の値は、上記第2の閾値と同じであってもよく、例えば、三者はいずれも5である。
【0058】
ステップ240において、ステップ230において入力点が地面点であると確定することに応答して、入力点の高さ座標に基づき、グリッドの高さ値を更新する。具体的には、グリッドの高さ値を、地面点コンテナにおける各地面点の高さ座標の平均値に更新してもよい。上記実施例に基づき、最近の期間の地面点(即ち、地面点コンテナにおける各地面点)の平均高さ座標をグリッドの高さ値とすることによって、作業地形検出の精度とリアルタイム性を向上させることができる。
【0059】
なお、上記ステップ210-240には、各グリッドの高さ値をリアルタイムに更新する過程が記述されている。レーザレーダが1フレームの点群データを返す度に、上記ステップ210-240を実行して、各グリッドの高さ値を更新する。
【0060】
方法200は、各グリッド高さ値の初期化過程をさらに含んでもよいことが理解できる。いくつかの実施例によれば、グリッドの高さ値の初期値をこのグリッドの1番目の入力点の高さ座標に設定してもよい。具体的には、ステップ220によってあるグリッドの入力点を確定した後、このグリッドの現在の高さ値が空(null)であり、即ち、現在、このグリッドに対応する歴史点群データがない場合、このグリッドの高さ値を現在の入力点の高さ座標に初期化する。このグリッドの現在の高さ値が空ではない場合、上記ステップ230、240によって、グリッドの高さ値を更新する。
【0061】
図3は、本開示の実施例によるグリッド高さ値の更新過程300のフローチャートを示す。図3に示すように、過程300は、ステップ310-360を含む。ステップ310-360において、平行四辺形枠で示されたステップは、データ入力出力ステップであり、矩形枠で示されたステップは、データ処理ステップであり、菱形枠で示されたステップは判断ステップである。
【0062】
図3に示すように、ステップ310において、入力点Pの三次元座標(x,y,z)及び入力点Pの収集時間tを取得する。
その後、ステップ320において、入力点Pの高さ座標z(即ち、P.z)とグリッドの現在の高さ値heightとの差が0.5m(即ち、第1の閾値)より大きいか否か、即ち、P.z>height+0.5mを満たすか否かを判断する。
【0063】
ステップ320でいいえと判断されれば、ステップ340を実行して、入力点Pを地面点として、地面点コンテナgroundに添加し、入力点Pの収集時間tを記憶する。
ステップ320ではいと判断されれば、ステップ330を実行して、入力点Pをノイズ点として、ノイズ点コンテナfogに添加する。その後、ステップ350を実行して、1s(即ち、予め設定された時間長)内に、fogコンテナ内に添加されたノイズ点の数が5個(即ち、第3の閾値)に達したか否かを判断する。
【0064】
ステップ350ではいと判断されれば、ステップ340を実行して、入力点Pを地面点として、地面点コンテナgroundに添加し、入力点Pの収集時間tを記憶する。その後、さらにステップ360を実行する。
【0065】
ステップ350でいいえと判断されれば、ステップ360を実行する。
ステップ360において、グリッドの高さ値を、地面点コンテナにおける各地面点の高さ座標の平均値に更新し、即ち、height=groundにおける各地面点の平均高さである。
【0066】
図4は、本開示の実施例による異なるグリッドの高さ値の更新過程の概略図を示した。図4における各グラフは1つのグリッドに対応する。
各グラフにおいて、横座標は、グリッドに入力点P(x,y,z)を入力する回数(時間に対応する)であり、縦座標は高さ値(単位はmである)である。実線は、入力点Pの高さ座標(z座標)を表し、点線は、グリッドの高さ値heightを表す。図4から分かるように、本開示の実施例の方法は、突変粉塵ノイズを効果的にフィルタリングすることができる(グラフgrid_1、grid_2及びgrid_3参照)とともに、正常な地面高さの上昇(例えば、材料供給)にタイムリーに対応することができる(グラフgrid_4参照)。なお、グラフgrid_5、grid_6から分かるように、本開示の実施例は、非重複式走査により、いくつかの領域においてサンプリング点の高さ座標の振動を引き起こす場合にも、グリッドの高さ値を効果的に安定化することができる。
【0067】
図5は、本開示の実施例による地形検出過程500の概略図を示した。図5に示すように、過程500は、ステップ510-570を含む。ステップ510-570において、平行四辺形枠で示されたステップは、データ入力出力ステップであり、矩形枠で示されたステップは、データ処理ステップである。
【0068】
ステップ510において、RTKモジュールによって、位置姿勢情報を収集し、工事機器の位置を確定する。
ステップ520において、工事機器を中心とする一定のサイズ(例えば、100m*100m)の領域を作業領域とし、作業領域を固定サイズ(例えば、0.2m*0.2m)の複数のグリッドに区分して、初期化された標高マップを得る。
【0069】
ステップ530、540において、レーザレーダが現時点で収集した単一フレームの点群データ(レーザレーダ座標系に対する)、及びRTKモジュールが収集した位置姿勢情報をそれぞれ取得する。
【0070】
ステップ550において、RTKモジュールが収集した位置姿勢情報に基づき、ステップ530で取得した点群データをワールド座標系に変換し、各サンプリング点の三次元座標に基づき、各サンプリング点に対応するグリッドを確定する。これによって、各グリッドに対応するサンプリング点セットを得られる。さらに、各グリッドに対し、このグリッドに対応するサンプリング点セットのうち、高さ座標が最も大きいサンプリング点をこのグリッドの入力点とする。
【0071】
ステップ560において、グリッド点群データに対してノイズ除去を行い、即ち、グリッドの入力点がノイズ点であるか地面点であるかを判断する。
その後、ステップ570において、ステップ560の判断結果に基づき、グリッドの高さ値を更新する。具体的には、ステップ560で入力点が地面点であると判断すれば、この地面点の高さ座標に基づき、グリッドの高さ値を更新する。
【0072】
理解できるように、ステップ530-570は、複数ラウンド繰り返し実行してもよく、それによって作業地形のリアルタイムで、動的な検出を実現する。
図6は、本開示の実施例による作業地形検出結果(標高マップ)の概略図を示した。図6における各メッシュ(mesh)頂点は、グリッド標高マップにおける1つのグリッド(grid)に対応し、異なる階調値は、異なる高さ値を代表する。各メッシュの頂点の高さ値は、グリッドの高さ値に対応し、他の位置(例えば、各メッシュの辺、面)の高さ値は、補間によって得られる。
【0073】
本開示の実施例によれば、環境に大量の粉塵が存在する場合にも、正確な作業地形検出を実現することができる。
図7A、7Bは、本開示の実施例による、粉塵が比較的少ない場合の地形検出結果の概略図を示した。図7A、7Bに示すように、環境中の粉塵が比較的少ない場合、点群データにおけるノイズ点が比較的少なく、点群データ710は、生成されたグリッド標高マップ720と実質的に一致する。
【0074】
図8A、8Bは、本開示の実施例による、粉塵が比較的多い場合の地形検出結果の概略図を示した。図8A、8Bに示すように、環境中の粉塵が比較的多い場合には、点群データにノイズ点810が多数存在する。本開示の実施例による方法は、ノイズ点810を効果的にフィルタリングし、地面点群データ820のみに基づき、グリッド標高マップ830を生成し、正確な作業地形検出を実現することができる。
【0075】
本開示の実施例によれば、作業地形検出装置をさらに提供した。図9は、本開示の実施例による作業地形検出装置900の構造ブロック図を示した。図9に示すように、装置900は、
レーザレーダが現時点で収集した作業領域の点群データを取得するように構成される取得モジュール910であって、前記作業領域は、複数のグリッドに区分され、前記複数のグリッドのうちの各グリッドは、対応する高さ値を有し、前記点群データは、複数のサンプリング点の三次元座標を含む取得モジュール910と、
前記複数のグリッドのうちのいずれか一つのグリッドに対して、前記複数のサンプリング点の三次元座標に基づき、前記複数のサンプリング点から前記グリッドの入力点を確定するように構成される第1の確定モジュール920と、
前記入力点の高さ座標と前記グリッドの高さ値に基づき、前記入力点のタイプを確定するように構成される第2の確定モジュール930であって、前記タイプは、ノイズ点と地面点とを含む第2の確定モジュール930と、
前記入力点が地面点であると確定することに応答して、前記入力点の高さ座標に基づき、前記グリッドの高さ値を更新するように構成される更新モジュール940とを含む。
【0076】
本開示の実施例によれば、レーザレーダが収集した点群データをリアルタイムに取得し、各サンプリング点の三次元座標に基づき、各グリッドが対応する、グリッド高さ値を更新するためのサンプリング点(即ち、入力点)を確定することができる。さらに、グリッドの入力点がノイズ点であるか地面点であるかを判断し、地面点の高さ座標のみに基づき、グリッドの高さ値を更新して、ノイズ点を効果的にフィルタリングし、地形検出の精度を向上させ、正確で、リアルタイムな地形検出を実現することができる。
【0077】
いくつかの実施例によれば、点群データは、前記レーザレーダにより非重複の走査経路で前記作業領域を走査して得られるものである。
いくつかの実施例によれば、第1の確定モジュール920は、前記複数のサンプリング点の三次元座標に基づき、前記グリッドに対応する、前記グリッド内に位置するサンプリング点を含むサンプリング点セットを確定するように構成される第1の確定ユニットと、前記サンプリング点セットにおける高さ座標が最も大きいサンプリング点を前記入力点とするように構成される第2の確定ユニットとを含む。
【0078】
いくつかの実施例によれば、第2の確定モジュール930は、さらに、前記高さ座標と前記高さ値との差が第1の閾値より大きいと確定することに応答して、前記入力点がノイズ点であると確定するように構成される。
【0079】
いくつかの実施例によれば、第2の確定モジュール930は、さらに、以下のいずれか一つの条件が満たされると確定することに応答して、前記入力点が地面点であると確定するように構成され、前記高さ座標と前記高さ値との差は、前記第1の閾値以下であり、又は前記高さ座標と前記高さ値との差は、前記第1の閾値より大きく、且つ前記グリッドは、予め設定された時間長内にノイズ点と確定された入力点の数が第2の閾値以上である。
【0080】
いくつかの実施例によれば、装置900は、前記入力点がノイズ点であると確定することに応答して、前記入力点を前記グリッドに対応するノイズ点コンテナに添加するように構成される第1の添加モジュールと、前記ノイズ点コンテナにおけるノイズ点の数が第3の閾値以上であると確定することに応答して、前記ノイズ点コンテナにおける収集時間が最も早いノイズ点を削除するように構成される第1の削除モジュールとをさらに含む。
【0081】
いくつかの実施例によれば、装置900は、前記入力点が地面点であると確定することに応答して、前記入力点を前記グリッドに対応する地面点コンテナに添加するように構成される第2の添加モジュールと、前記地面点コンテナにおける地面点の数が第4の閾値以上であると確定することに応答して、前記地面点コンテナにおける収集時間が最も早い地面点を削除するように構成される第2の削除モジュールとをさらに含む。
【0082】
いくつかの実施例によれば、更新モジュール940は、さらに、前記グリッドの高さ値を、前記地面点コンテナにおける各地面点の高さ座標の平均値に更新するように構成される。
【0083】
いくつかの実施例によれば、グリッドの高さ値の初期値は、前記グリッドの1番目の入力点の高さ座標である。
理解すべきことは、図9に示される装置900の各モジュールまたはユニットは、図2を参照して説明された方法200中の各ステップに対応することができる。したがって、上記の方法200に対して説明した操作、特徴及び利点は、装置900とそれに含まれるモジュール及びユニットに同様に適用される。簡潔のために、いくつかの操作、特徴及び利点はここでは説明を省略する。
【0084】
特定の機能は上記で特定のモジュールを参照して論じられているが、本明細書で論じた各モジュールの機能は複数のモジュールに分割されてもよく、および/または複数のモジュールの少なくともいくつかの機能は単一のモジュールに組み合わせてもよいことに留意されたい。例えば、以上で説明した第1の確定モジュール920と第2の確定モジュール930は、いくつかの実施例において、単一のモジュールに組み合わせてもよい。
【0085】
本明細書では、ソフトウェアハードウェア要素またはプログラムモジュールの一般的なコンテキストで様々な技術を説明することができることも理解されたい。上記の図9で説明された各モジュールに関しては、ハードウェアにおいて、またはソフトウェアおよび/またはファームウェアと組み合わされたハードウェアにおいて実装することができる。例えば、これらのモジュールは、1つまたは複数のプロセッサにおいて実行され、コンピュータ可読記憶媒体に記憶されるように構成されたコンピュータプログラムコード/命令として実装することができる。交換可能に、これらのモジュールはハードウェアロジック/回路として実装することができる。例えば、いくつかの実施例において、モジュール910-940のうちの1つ又は複数は、チップシステム(System on Chip、SoC)に一緒に実装されてもよい。SoCは、集積回路チップ(例えば、プロセッサ(例えば、中央処理ユニット(Central Processing Unit、CPU)、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ(Digital Signal Processor、DSP)などを含む)、メモリ、1つまたは複数の通信インターフェース、および/または他の回路中の1つまたは複数のコンポーネント)を含むことができ、オプションで受信したプログラムコードの実行、および/または埋め込みファームウェアを含み機能を実行することができる。
【0086】
本開示の実施例によれば、電子機器をさらに提供し、前記電子機器は、少なくとも1つのプロセッサと、及び前記少なくとも1つのプロセッサに通信接続されたメモリを含み、ここで、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令は前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサに上記の地形検出方法を実行させる。
【0087】
本開示の実施例によれば、以上に記載の地形検出方法を前記コンピュータに実行させるためのコンピュータ命令を記憶した非一時的コンピュータ可読記憶媒体がさらに提供される。
【0088】
本開示の実施例によれば、プロセッサによって実行されると、以上に記載の地形検出方法を実施するコンピュータプログラムを含むコンピュータプログラム製品がさらに提供される。
【0089】
本開示の実施例によれば、上記電子機器を含む、作業地形を検出するための工事機器がさらに提供される。
図10を参照して、ここでは、本開示の様々な態様に適用可能なハードウェア装置の一例である、本開示のサーバ又はクライアントとして利用可能な電子機器1000の構造ブロック図について説明する。電子機器は、様々な形態のデジタル電子コンピュータ機器、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器はさらに、様々な形態の移動装置、例えば、個人デジタル処理、セルラー電話、スマートフォン、着用可能な装置とその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係およびこれらの機能は例示的なものに過ぎず、本明細書に説明したおよび/又は請求した本開示の実現を制限しない。
【0090】
図10に示すように、電子機器1000は、計算ユニット1001を含み、それはリードオンリーメモリ(ROM)1002に記憶されるコンピュータプログラムまたは記憶ユニット1008からランダムアクセスメモリ(RAM)1003にロードされるコンピュータプログラムによって、種々の適当な操作と処理を実行することができる。RAM 1003において、さらに電子機器1000を操作するために必要な様々なプログラムとデータを記憶してよい。計算ユニット1001、ROM 1002およびRAM 1003はバス1004によって互いに接続される。入力/出力(I/O)インターフェース1005もバス1004に接続される。
【0091】
電子機器1000における複数の部品はI/Oインターフェース1005に接続され、入力ユニット1006、出力ユニット1007、記憶ユニット1008及び通信ユニット1009を含む。出力ユニット1006は、電子機器1000に情報を入力することが可能な任意のタイプの装置であってもよく、入力ユニット1006は、入力された数値又は文字情報を受信し、また、電子機器のユーザ設定及び/又は機能制御に関するキー信号入力を生成することができ、マウス、キーボード、タッチスクリーン、トラックボード、トラックボール、操作レバー、マイク及び/又はリモコンを含んでもよいが、これらに限定されない。出力ユニット1007は、情報を提示することが可能な任意のタイプの装置であってもよく、ディスプレイ、スピーカ、ビデオ/オーディオ出力端末、バイブレータおよび/又はプリンタを含んでもよいが、これらに限定されない。記憶ユニット1008は磁気ディスク、光ディスクを含むことができるが、これらに限定されない。通信ユニット1009は、電子機器1000が例えば、インターネットであるコンピュータネットワーク及び/又は様々な電気通信ネットワークを介して他の装置と情報/データを交換することを可能にし、モデム、ネットワークカード、赤外線通信装置、無線通信送受信機、及び/又はチップセット、例えば、ブルートゥースTM装置、802.11装置、Wi-Fi装置、WiMAX装置、セルラー通信装置及び/又は類似物を含んでもよいが、これらに限定されない。
【0092】
計算ユニット1001は処理およびコンピューティング能力を有する様々な汎用および/または専用の処理コンポーネントであってもよい。計算ユニット1001の例には、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、様々な専用人工知能(AI)計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ(DSP)、および任意の適当なプロセッサ、コントローラ、マイクロコントローラなどが含まれるがこれらに限定されない。計算ユニット1001は上記内容で説明した各方法と処理、例えば方法200を実行する。例えば、一部の実施例において、方法200はコンピュータソフトウェアプログラムとして実現してよく、機械可読媒体、例えば、記憶ユニット1008に有形に含まれる。いくつかの実施例において、コンピュータプログラムの一部又は全てはROM 1002および/又は通信ユニット1009を経由して電子機器1000にロードおよび/又はインストールされてよい。コンピュータプログラムがRAM 1003にロードされて計算ユニット1001によって実行される場合、以上で説明される方法200の1つまたは複数のステップを実行することができる。代替的に、別の実施例において、計算ユニット1001は他のいかなる適切な方式で(例えば、ファームウェアにより)方法200を実行するように構成されてよい。
【0093】
本明細書で上述したシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、複雑なプログラマブル論理デバイス(CPLD)、コンピューターハードウェア、ファームウェア、ソフトウェア、および/またはこれらの組み合わせにおいて実装することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムに実施され、この1つ又は複数のコンピュータプログラムは少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行しおよび/又は解釈してもよく、このプログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、少なくとも1つの出力装置からデータと命令を受信し、データと命令をこの記憶システム、この少なくとも1つの入力装置、この少なくとも1つの出力装置に送信してよいこと、を含んでもよい。
【0094】
本願の方法を実施するプログラムコードは1つ又は複数のプログラミング言語のいかなる組み合わせで書かれてよい。これらのプログラムコードを汎用コンピュータ、特殊目的のコンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供してよく、よってプログラムコードはプロセッサ又はコントローラにより実行される時にフローチャートおよび/又はブロック図に規定の機能/操作を実施する。プログラムコードは完全に機械で実行してよく、部分的に機械で実行してよく、独立ソフトウェアパッケージとして部分的に機械で実行し且つ部分的に遠隔機械で実行してよく、又は完全に遠隔機械又はサーバで実行してよい。
【0095】
本開示の文脈において、機械可読媒体は有形の媒体であってもよく、命令実行システム、装置又はデバイスに使用される又は命令実行システム、装置又はデバイスに結合されて使用されるプログラムを具備又は記憶してよい。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置又はデバイス、又は上記内容のいかなる適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、1つ又は複数のリード線による電気接続、ポータブルコンピュータディスク、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM又はフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶装置、磁気記憶装置、又は上記内容のいかなる適切な組み合わせを含む。
【0096】
ユーザとのインタラクションを提供するために、コンピュータにはここで説明したシステムと技術を実施してよく、このコンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)監視モニタ)、およびキーボードとポインティング装置(例えば、マウスやトラックボール)を備え、ユーザはこのキーボードとこのポインティング装置を介してコンピュータに入力してよい。その他の種類の装置はさらに、ユーザとのインタラクションを提供するためのものであってもよい。例えば、ユーザに提供するフィードバックはいかなる形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、いかなる形態(音入力、音声入力、又は触覚入力を含む)でユーザからの入力を受信してよい。
【0097】
ここで述べたシステムや技術は、バックステージ部材を含む計算システム(例えば、データサーバとして)や、ミドルウェア部材を含む計算システム(例えば、アプリケーションサーバ)や、フロントエンド部材を含む計算システム(例えば、グラフィカルユーザインターフェースやウェブブラウザを有するユーザコンピュータ、ユーザが、そのグラフィカルユーザインターフェースやウェブブラウザを通じて、それらのシステムや技術の実施形態とのインタラクションを実現できる)、あるいは、それらのバックステージ部材、ミドルウェア部材、あるいはフロントエンド部材の任意の組み合わせからなる計算システムには実施されてもよい。システムの部材は、任意の形式や媒体のデジタルデータ通信(例えば、通信ネットワーク)により相互に接続されてもよい。通信ネットワークの一例は、ローカルネットワーク(LAN)、広域ネットワーク(WAN)とインターネットを含む。
【0098】
コンピュータシステムは、クライアント側とサーバを含んでもよい。クライアント側とサーバは、一般的に相互に遠く離れ、通常、通信ネットワークを介してインタラクションを行う。互にクライアント側-サーバという関係を有するコンピュータプログラムを対応するコンピュータで運転することによってクライアント側とサーバの関係を生成する。サーバーは、クラウドサーバであってもよく、分散型システムのサーバでも、またはブロックチェーンと組み合わされたサーバであってもよい。
【0099】
理解すべきことは、前述した様々な形態のフローを用いて、改めてステップを順位付け、増加又削除してよいことである。例えば、本開示に記載された各ステップは、並列的に実行してもよいし、順次実行してもよいし、異なる順序で実行させてもよいし、本開示に開示された技術案が所望する結果を実現できれば、本文はこれに限定されないことである。
【0100】
本願の実施形態又は例は図面を参照して説明されたが、上記の方法、システム、および装置は単なる例示的な実施形態又は例であり、本開示の範囲はこれらの実施形態又は例によって制限されるものではなく、授権後の特許請求の範囲およびその均等範囲のみによって限定されることを理解されたい。実施例又は例の様々な要素は省略されてもよく、又はそれらの均等要素によって代替されてもよい。また、各ステップは、本願で説明した順序とは異なる順序で実行されてもよい。さらに、実施形態又は例の様々な要素は、様々な方法で組み合わせられてもよい。重要なのは、技術の進化に伴い、ここで説明される多くの要素は、本願の後に現れる同等の要素に置き換えることができるということである。
図1
図2
図3
図4
図5
図6
図7A
図7B
図8A
図8B
図9
図10