特開 2024-167163 コンピュータにより実施されるライダー点群の自動化されたアノテーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167163

(43)【公開日】2024-12-03

(54)【発明の名称】コンピュータにより実施されるライダー点群の自動化されたアノテーション

(51)【国際特許分類】

   G01S 17/89 20200101AFI20241126BHJP

   G01S 17/933 20200101ALI20241126BHJP

   G01S 17/46 20060101ALI20241126BHJP

【ＦＩ】

G01S17/89

G01S17/933

G01S17/46

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024074708

(22)【出願日】2024-05-02

(31)【優先権主張番号】18/312,895

(32)【優先日】2023-05-05

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵ―ＲＡＹ ＤＩＳＣ

２．ＨＤＭＩ

(71)【出願人】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】アロナジ， アマニ

(72)【発明者】

【氏名】エリニャック， チャールズ エー．

(57)【要約】      （修正有）

【課題】空港の環境の現在の状態を正確に表すライダー点群を生成する。
【解決手段】空港のライダー点群に分類ラベルを自動的に付与する実施例では、コンピューティング装置が１以上のプロセッサを備える。１以上のプロセッサは、空港環境のライダーデータを受け取ることであって、ライダーデータは、空港環境内の複数のポイントを含むライダー点群を含む、ライダーデータを受け取ること、ライダー点群を地上領域と非地上領域とに区分けすること、訓練された機械学習モデルを介して、非地上領域内の種々のポイントを複数の非地上セグメントに自動的にクラスタリングすること、訓練された機械学習モデルを介して、複数の非地上セグメントに空港ドメインから選択された分類ラベルを自動的に付与すること、及び、それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む、全体を一目で見渡せる、ライダー点群を出力する。
【選択図】なし

【特許請求の範囲】

【請求項1】

１以上のプロセッサ（７０２）を備えるコンピューティング装置（３００）であって、前記１以上のプロセッサ（７０２）は、メモリ（７０４）内に記憶された命令を実行して、
空港環境（２００）のレーザー画像検出及び測距（LiDAR：ライダー）データ（３０２）を受け取ることであって、前記ライダーデータは、前記空港環境（２００）内の複数のポイント（２０２）を含むライダー点群（３０４）を含む、ライダーデータ（３０２）を受け取ること、
前記ライダー点群を地上領域（３１０）と非地上領域（３１２）とに区分けすること、
訓練された機械学習モデル（３１４）を介して、前記非地上領域内の種々のポイントを複数の非地上セグメント（３２４）に自動的にクラスタリングすること、
前記訓練された機械学習モデル（３１４）を介して、前記複数の非地上セグメント（３２４）に空港ドメイン（３１６）から選択された分類ラベル（３２６）を自動的に付与すること、及び
それぞれの分類ラベル（３２６）が付与された前記複数の非地上セグメント（３２４）と前記地上領域（３１０）内の前記ポイントとを含む、ラベルが付されたライダー点群（３２８）を出力すること、を実行するように構成されている、コンピューティング装置（３００）。

【請求項2】

前記ライダー点群は、１以上のライダー装置の複数のスキャンから集約された前記空港環境内のポイントを含む、請求項１に記載のコンピューティング装置（３００）。

【請求項3】

前記ライダーデータの少なくとも一部が、航空機に取り付けられた１以上のライダー装置（１０４）から受け取られる、請求項１に記載のコンピューティング装置（３００）。

【請求項4】

前記空港ドメイン（３１６）は、空港に関連する物体に対応する分類ラベル（３１８）のライブラリを含む、請求項１に記載のコンピューティング装置（３００）。

【請求項5】

前記ライダー点群（３０４）内に含まれる各ポイント（２０２）は、Ｘ、Ｙ、及びＺ座標と、強度値とを含む、請求項１に記載のコンピューティング装置（３００）。

【請求項6】

前記分類ラベル（３１８）は、移動可能物体用の動的意味ラベル（３２０）と固定された物体用の非動的意味ラベル（３２２）とを含む、請求項１に記載のコンピューティング装置（３００）。

【請求項7】

前記１以上のプロセッサ（７０２）は、メモリ（７０４）内に記憶された命令を実行して、前記複数の非地上セグメント（３２４）に対応する複数のマスク（３３２）を生成するように構成されており、前記ラベルが付されたライダー点群（３２８）は、前記複数のマスク（３３２）を含む、請求項１に記載のコンピューティング装置（３００）。

【請求項8】

前記１以上のプロセッサ（７０２）は、前記複数の非地上セグメント（３２４）の各々に個々の識別子（３３０）を付与するように構成されている、請求項１に記載のコンピューティング装置（３００）。

【請求項9】

前記１以上のプロセッサ（７０２）は、メモリ（７０４）内に記憶された命令を実行して、
１以上のカメラによって撮像された前記空港環境（２００）の１以上の画像（３３６）を受け取ること、及び
前記１以上の画像（３３６）内の複数の物体に、前記ラベルが付されたライダー点群（３２８）内の前記複数の非地上セグメント（３２４）に対応する分類ラベル（３２６）を自動的に付与すること、を実行するように構成されている、請求項１に記載のコンピューティング装置（３００）。

【請求項10】

前記ラベルが付されたライダー点群（３２８）は、一組の訓練データ（３４０）内に含まれ、前記１以上のプロセッサ（７０２）は、メモリ（７０４）内に記憶された命令を実行して、前記一組の訓練データ（３４０）に少なくとも基づいて、前記訓練された機械学習モデル（３１４）を再訓練するように構成されている、請求項１に記載のコンピューティング装置（３００）。

【請求項11】

空港環境（２００）のライダーデータ（３０２）を受け取ること（５０２）であって、前記ライダーデータ（３０２）は、前記空港環境（２００）内の複数のポイント（２０２）を含むライダー点群（３０４）を含む、ライダーデータ（３０２）を受け取ること（５０２）、
前記ライダー点群（３０４）を地上領域（３１０）と非地上領域（３１２）とに区分けすること（５０８）、
訓練された機械学習モデル（３１４）を介して、前記非地上領域（３１２）内の種々のポイントを複数の非地上セグメント（３２４）に自動的にクラスタリングすること（５１０）、
前記訓練された機械学習モデル（３１４）を介して、前記複数の非地上セグメント（３２４）に空港ドメイン（３１６）から選択された分類ラベル（３２６）を自動的に付与すること（５１４）、及び
それぞれの分類ラベル（３２６）が付与された前記複数の非地上セグメント（３２４）と前記地上領域（３１０）内の前記ポイントとを含む、ラベルが付されたライダー点群（３２８）を出力すること（５０２）を含む、コンピュータによって実施される方法（５００）。

【請求項12】

前記複数の非地上セグメント（３２４）に対応する複数のマスク（３３２）を生成すること（５１２）を更に含み、前記ラベルが付されたライダー点群（３２８）は、前記複数のマスク（３３２）を含む、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項13】

前記訓練された機械学習モデル（３１４）を介して、前記複数の非地上セグメント（３２４）の各々に個々の識別子（３３０）を付与することを更に含む、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項14】

１以上のカメラによって撮像された前記空港環境（２００）の１以上の画像（３３６）を受け取ること（５２６）、及び
前記１以上の画像（３３６）内の複数の物体に、前記ラベルが付されたライダー点群（３２８）内の前記複数の非地上セグメント（３２４）に対応する分類ラベル（３２６）を自動的に付与することを更に含む、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項15】

前記ラベルが付されたライダー点群（３２８）は、一組の訓練データ（３４０）内に含まれ、前記コンピュータによって実施される方法（５００）は、前記一組の訓練データ（３４０）に少なくとも基づいて、前記訓練された機械学習モデル（３１４）を再訓練すること（５３０）を更に含む、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項16】

前記ライダー点群（３０４）は、１以上のライダー装置（１０４）の複数のスキャンから集約された前記空港環境（２００）内のポイント（２０２）を含む、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項17】

前記ライダーデータ（３０２）の少なくとも一部が、航空機に取り付けられた１以上のライダー装置（１０４）から受け取られる、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項18】

前記空港ドメイン（３１６）は、空港に関連する物体に対応する分類ラベル（３１８）のライブラリを含む、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項19】

前記分類ラベル（３１８）は、移動可能物体用の動的意味ラベル（３２０）と固定された物体用の非動的意味ラベル（３２２）とを含む、請求項１１に記載のコンピュータによって実施される方法（５００）。

【請求項20】

１以上のプロセッサ（７０２）を備えるコンピューティング装置（３００）であって、前記１以上のプロセッサ（７０２）は、メモリ（７０４）内に記憶された命令を実行して、
空港環境（２００）のライダーデータ（３０２）を受け取ることであって、前記ライダーデータ（３０２）は、前記空港環境（２００）内の複数のポイント（２０２）を含むライダー点群（３０４）を含む、ライダーデータ（３０２）を受け取ること、
前記ライダー点群（３０４）を地上領域（３１０）と非地上領域（３１２）とに区分けすること、
訓練された機械学習モデル（３１４）を介して、前記非地上領域（３１２）内の種々のポイントを複数の非地上セグメント（３２４）に自動的にクラスタリングすること、
前記訓練された機械学習モデル（３１４）を介して、前記複数の非地上セグメント（３２４）に空港ドメイン（３１６）から選択された分類ラベル（３２６）を自動的に付与すること、
それぞれの分類ラベル（３２６）が付与された前記複数の非地上セグメント（３２４）と前記地上領域（３１０）内の前記ポイントとを含む、ラベルが付されたライダー点群（３２８）を出力することであって、前記ラベルが付されたライダー点群（３２８）は、一組の訓練データ（３４０）内にある、ラベルが付されたライダー点群（３２８）を出力すること、及び
前記ラベルが付されたライダー点群（３２８）を含む前記一組の訓練データ（３４０）に少なくとも基づいて、前記訓練された機械学習モデル（３１４）を再訓練すること、を実行するように構成されている、コンピューティング装置（３００）。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、広くは、光検出及び測距（LiDAR：ライダー）の分野に関し、特に、ライダー点群に分類ラベルを付与することに関する。

【背景技術】

【0002】

[0002] 光検出及び測距（LiDAR：ライダー）は、物体や表面をレーザーで照準し、反射光が受信器に戻るまでの時間を測定することによって、距離を測定するようにレーザー光を使用する。ライダースキャンは、地面、植生、建物、及び他の物体などの、様々な特徴を含む環境の、極めて正確で詳細な三次元（３Ｄ）測定値を生成するために実行され得る。ライダースキャンは、スキャンされた環境の３Ｄ点群を生成する。ライダーの速度と精度は、以前は時間と費用がかかる地上調査員でしかできなかったような詳細な広域地図の作成を可能にする。

【0003】

[0003] ライダー点群は、空港環境のラベル付きマップを生成するために一般に使用される。ライダー点群に分類ラベルを付与することは、従来、人間によって行われている。しかし、このような人間による、空港環境を表すライダー点群のアノテーションは課題を有し得る。一実施例として、人間のアノテーターは、たとえ経験豊富であったとしても、空港の環境を誤って表す、誤ってラベルが付与されたライダー点群を生成するラベル付けエラー起こし得る。別の一実施例として、人間が空港環境のライダー点群に注釈を付けるのに要する時間は、人間によって注釈が付与された結果として生じ得る空港環境のライダー点群が完成するまでに陳腐化し得るほど、相当なものになる可能性がある。特に、動的物体は、人間のアノテーターが人間によって注釈が付けられたライダー点群を生成するのに要する時間の最中に位置を変える可能性があるので、その点群は、空港の環境の現在の状態を正確に表さない。

【発明の概要】

【0004】

[0004] 光検出及び測距（LiDAR：ライダー）点群の人間によるアノテーションよりも迅速で正確なやり方で、空港のライダー点群に分類ラベルを自動的に付与するためのアプローチに関する実施例が開示される。一実施例では、コンピューティング装置が１以上のプロセッサを備える。該１以上のプロセッサは、メモリ内に記憶された命令を実行して、（１）空港環境のライダーデータを受け取ることであって、ライダーデータは、空港環境内の複数のポイントを含むライダー点群を含む、ライダーデータを受け取ること、（２）ライダー点群を地上領域と非地上領域とに区分けすること、（３）訓練された機械学習モデルを介して、非地上領域内の種々のポイントを複数の非地上セグメントに自動的にクラスタリングすること、（４）訓練された機械学習モデルを介して、複数の非地上セグメントに空港ドメインから選択された分類ラベルを自動的に付与すること、及び（５）それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む、全体を一目で見渡せる、ラベルが付されたライダー点群を出力すること、を実行するように構成されている。

【0005】

[0005] 検討してきた特徴、機能、及び利点は、様々な実施形態において個別に実現可能であり、又は、以下の説明及び図面を参照して更なる詳細が理解され得る、更に別の実施形態において組み合わされてもよい。

【図面の簡単な説明】

【0006】

【図1】[0006] 空港環境のライダーデータを取得するために、航空機が光検出及び測距（LiDAR：ライダー）装置で空港環境をスキャンする例示的なシナリオを示す。

【図2】[0007] 図１の空港環境の例示的なライダー点群を示す。

【図3】[0008] 全体を一目で見渡せる、ラベルが付されたライダー点群を生成するために、ライダー点群に分類ラベルを自動的に付与するように構成された例示的なコンピューティングシステムを概略的に示す。

【図4】[0009] 全体を一目で見渡せる、ラベルが付されたライダー点群を生成するための例示的なプロセスフローを概略的に示す。

【図5】[0010] 図５～図６は、全体を一目で見渡せる、ラベルが付されたライダー点群を生成するために、ライダー点群に分類ラベルを自動的に付与する、コンピュータによって実施される例示的な方法のフローチャートを示す。

【図6】図５～図６は、全体を一目で見渡せる、ラベルが付されたライダー点群を生成するために、ライダー点群に分類ラベルを自動的に付与する、コンピュータによって実施される例示的な方法のフローチャートを示す。

【図7】[0011] 図３のコンピューティングシステムを具現化し得る例示的なコンピューティングシステムを概略的に示す。

【発明を実施するための形態】

【0007】

[0012] 本説明は、光検出及び測距（LiDAR：ライダー）点群の人間によるアノテーションよりも迅速で正確なやり方で、空港のライダー点群に分類ラベルを自動的に付与するための、コンピュータによって実施されるアプローチを対象とする。一実施例では、空港環境のライダーデータが受け取られ、ライダーデータは、空港環境を表す複数のポイントを有するライダー点群を含む。ライダー点群は、地上領域と非地上領域とに区分けされる。非地上領域内の種々のポイントが、訓練された機械学習モデルを介して、複数の非地上セグメントに自動的にクラスタリングされる。複数の非地上セグメントは、訓練された機械学習モデルを介して、空港ドメインから選択された分類ラベルが自動的に付与される。全体を一目で見渡せる、ラベルが付されたライダー点群が出力される。全体を一目で見渡せる、ラベルが付されたライダー点群は、それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む。

【0008】

[0013] コンピュータによって実施されるアプローチは、人間の関与なしにライダー点群に分類ラベルを自動的に付与することを可能にする自動学習／自己学習技法を使用して、空港環境のライダー点群の教師なしの全体を一目で見渡せる区分け（セグメンテーション）を実行する。コンピュータによって実施されるアプローチは、ライダー点群を地上と非地上領域とにインテリジェントに区分けして、訓練された機械学習モデルによって分析される必要があるポイントの総数を低減し、全体を一目で見渡せる、ラベルが付されたライダー点群を生成するために必要とされる時間と処理リソースを低減させる。

【0009】

[0014] 訓練された機械学習モデルは、空港特有のドメイン知識を使用して訓練される。空港特有のドメイン知識は、訓練された機械学習モデルが、人間の関与なしに、非地上領域内のポイントを空港環境内で典型的に見られる物体に対応するセグメントに自動的にクラスタリングすることを可能にする。空港特有のドメイン知識に基づいて機械学習モデルを訓練することは、訓練された機械学習モデルが、人間のアノテーター又は一般的に訓練された機械学習モデルと比べて高められた精度で、ライダー点群内の空港特有の物体を特定することを可能にする。更に、訓練された機械学習モデルは、空港特有のドメイン知識を利用して、複数の非地上領域セグメントに空港特有の分類ラベル（例えば、航空機、トラック、ターミナル、スカイブリッジ、タワーなど）を自動的に付与する。これらのラベルは、より一般的なラベル（例えば、動的物体や非動的物体のラベル）と比べて、より高い分類の粒度を提供する。

【0010】

[0015] 幾つかの実施態様では、コンピュータによって実施されるアプローチを使用して生成される、全体を一目で見渡せる、ラベルが付されたライダー点群が、自律的な航空機の航行システムによって使用され得る。更に、特に、コンピュータによって実施されるアプローチは、全体を一目で見渡せる、ラベルが付されたライダー点群内に埋め込まれた情報が、依然として、航行システムがそのような情報に基いて自律的な航空機を動作させるのに十分正確であるように、十分に適切な速さで、全体を一目で見渡せる、ラベルが付されたライダー点群を生成し得る。

【0011】

[0016] 図１は、空港環境１０２のライダーデータを取得するために、航空機１００がライダー装置１０４で空港環境１０２をスキャンする例示的なシナリオを示す。特に、ライダー装置１０４は、代表的なパルス１０６などのレーザー光の多数のパルスを空港環境１０２に向けて発するように構成されたエミッタを含む。ライダー装置１０４によって発されるパルスは、空港環境１０２内の表面で反射し、ライダー装置１０４のセンサによって受け取られる。各パルスは、空港環境１０２の一部を表す個々のポイントを生成する。ライダー装置１０４は、これらのポイントを集約して、空港環境１０２を集合的に表すライダー点群２００（図２で示されている）を生成する。ライダー点群を生成するためにライダー装置１０４によって発される／受け取られるパルスの数は、特定の用途に応じて、過度な実験をすることなく、図１で示されているものから変化させることができる。一実施例として、空港環境のライダー点群は、空港環境の平方メートル当たり２～１０個の範囲又はそれより多数のポイントを含み得る。

【0012】

[0017] 航空機１００は、種々の位置から空港環境１０２の複数のライダースキャンを実行して、ミッションの種々のフェーズを通してライダー点群２００（図２で示されている）に寄与するポイントを集約することができる。例えば、航空機１００は、ミッションに応じて、タクシング、離陸、アプローチ、及び／又は着陸中に、ライダー装置１０４で空港環境１０２をスキャンすることができる。種々の位置から複数のライダースキャンを実行することによって、空港環境１０２の種々の部分が、種々の位置にあるライダー装置１０４に曝露され、ライダー点群２００（図２で示されている）内に取り込まれて、空港環境１０２の全体を一目で見渡せる表現を得ることができる。

【0013】

[0018] ライダー装置を搭載した種々のビークルが、指定された時間ウインドウ中に空港環境１０２のスキャンを実行して、ライダーデータ（例えば、図２で示されているライダー点群２００内のポイント）を収集することができる。ライダースキャンは、空間環境１０２内の動的物体（例えば、ビークル）が、ライダー点群内に取り込まれた同じ位置に留まっている可能性を高めるために、指定された時間ウインドウ内で実行され得る。ライダーデータを収集するために、異なる航空機が、それぞれのミッションの種々のフェーズを通してライダースキャンを実行し得る。種々の地上ビークル（例えば、トラクタービークル、階段ビークル、ベルトローダービークル）が、ライダーデータを収集するためにライダースキャンを実行し得る。固定されたライダー装置が、ライダーデータを収集するために空港環境１０２の周りに配置され得る。種々のライダー装置（ビークルに取り付けられているか、又は固定されている）からの複数のライダースキャンから生成されたライダーデータは、ライダー点群２００（図２で示されている）を生成するために集約され得る。ライダー点群２００（図２で示されている）は、任意の適切なやり方で生成され得る。

【0014】

[0019] 図２は、図１の空港環境１０２のライダー点群２００を示す。図２では具体的に描かれていないが、ライダー点群２００は、典型的には、三次元（３Ｄ）スペース内にプロットされた個々のポイントの非常に大きな集合を含むことが、当業者によって理解される。ライダー点群２００内に含まれているポイント２０２などの各ポイントは、直交座標（Ｘ、Ｙ、及びＺ）と強度値（ｉ）とを含む。強度値（ｉ）は、レーザービームの記録された戻り強度を表す。一実施例では、強度値（ｉ）が１～２５６の間であり得る。強度値（ｉ）は、、レーザービームを反射する表面の組成で変化する。例えば、低い数値は低い反射率を示してよく、高い数値は高い反射率を示す。強度値（ｉ）のスケールは、測定を行うライダーセンサに依存し得る。一実施例では、強度スケールが、０～１の間の少数を含む。別の一実施例では、強度スケールが０～２５５の間の値を含む。レーザービームの戻り強度はまた、ライダースキャンが実行されたときの、到達角度（スキャン角度）、距離、表面組成、粗さ、及び大気中の水分量によっても影響され得る。これは、次のことを意味する。すなわち、ライダー装置の天底にある特徴は、通常、縁部（更に傾いた）に沿った同じ特徴よりも高い強度を有する。というのも、後者では、戻るエネルギーが減少するからである。ライダー点群２００の強度値は、ライダー点群２００の様々な分析に使用され得る。例えば、強度値の分析は、他の種類の分析の中でとりわけ、データ登録、特徴抽出、分類、表面解析、及びセグメンテーションのために実行され得る。

【0015】

[0020] 図３は、図２で示されているライダー点群２００などの、ライダー点群に自動的に注釈を付けるように構成された処理パイプライン３０１を実行するように構成された例示的なコンピューティングシステム３００を概略的に示す。処理パイプライン３０１は、ライダーデータ３０２を受け取るように構成されている。ライダーデータ３０２は、図１で示されている空港環境１０２などの、空港環境の１以上のライダースキャンを実行する１以上のライダー装置から受け取られ得る。次のことに留意されたい。すなわち、ライダースキャンは、ライダー装置のエミッタを介して空港環境の中にレーザー光パルスを発し、ライダー装置のセンサを介して空港環境内の空港に関連する物体から反射された反射パルスを受け取ることを含み得る。

【0016】

[0021] 幾つかの実施例では、ライダーデータ３０２が、単一のライダー装置から受け取られる。幾つかの実施例では、ライダー装置が、航空機に取り付けられたライダー装置である。幾つかの実施例では、ライダーデータ３０２が、ライダー装置によって実行される複数のライダースキャンから集約される。他の複数の実施例では、ライダーデータ３０２が、複数のライダー装置から受け取られる。幾つかの実施例では、複数のライダー装置が、航空機や地上ビークルなどの、空港内の種々のビークルに取り付けられている。幾つかの実施例では、ライダーデータ３０２の少なくとも一部が、空港環境内に配置された１以上の固定されたライダー装置から受け取られる。幾つかの実施例では、ライダーデータ３０２が、複数のライダー装置によって実行される複数のライダースキャンから集約される。

【0017】

[0022] ライダーデータ３０２は、ライダー点群３０４を生成するために、処理パイプライン３０１によって集約される。ライダー点群３０４は、空港環境内の複数のポイントを含む。特に、ライダー点群３０４内に含まれる各ポイントは、Ｘ、Ｙ、及びＺ座標と、空港環境内の表面の反射率を表す強度値（ｉ）とを含む。

【0018】

[0023] 処理パイプライン３０１は、セグメンテーションロジック３０６を含む。セグメンテーションロジック３０６は、ライダー点群３０４を受け取り、地上領域３１０と非地上領域３１２とを含む、区分けされたライダー点群３０８を出力するように構成されている。地上領域３１０は、空港環境内の地表に対応するポイントを含む。地上領域３１０は、滑走路、道路、歩道、畑、水面などの、様々な表面レベルの空港に関連する物体又は特徴を含み得る。非地上領域３１２は、ビークル、ターミナル、格納庫、航空交通管制塔などの、地上レベルの上方の又は上方に延在する物体又は特徴に対応するポイントを含む。セグメンテーションロジック３０６は、任意の適切なセグメンテーションアルゴリズム又は技法を使用して、ライダー点群３０４を区分けするように構成され得る。一実施例では、セグメンテーションロジック３０６が、平面適合アルゴリズムを使用して、ライダー点群３０４を区分けする。

【0019】

[0024] 処理パイプライン３０１は、入力として区分けされたライダー点群３０８を受け取るように構成された、訓練された機械学習モデル３１４を含む。更に、訓練された機械学習モデル３１４は、入力として空港ドメイン３１６を受け取るように構成されている。空港ドメイン３１６は、空港環境に特有の分類ラベル３１８のライブラリを含む。分類ラベル３１８のライブラリは、移動可能物体（例えば、航空機や地上ビークル）用の動的意味ラベル３２０と、固定された物体（例えば、ターミナル、格納庫、航空交通管制塔）用の非動的意味ラベル３２２とを含む、種々の種類の分類ラベルを含む。このような分類ラベルは、物体を動的であるか又は非動的であるとして示すことに留意されたい。更に、分類ラベルは、物体（例えば、航空機、地上ビークル、ターミナル、格納庫、航空交通管制塔）の空港に関連する特定のクラスを示す。

【0020】

[0025] 訓練された機械学習モデル３１４は、空港ドメイン３１６を利用して、空港環境に特化した自動的なクラスタリングとアノテーション動作とを実行する。訓練された機械学習モデル３１４は、非地上領域３１２内の種々のポイントを複数の非地上セグメント３２４（例えば、１、２、Ｎ）に自動的にクラスタリングするように構成されている。訓練された機械学習モデル３１４は、典型的には、リソースの消費を低減させ、クラスタリング動作を実行するために必要な時間を短縮するために、地上領域３１０内のポイントのクラスタリングを実行しない。

【0021】

[0026] 複数の非地上セグメン３２４は、空港環境内で典型的に見られる空港に関連する物体を表す。空港ドメイン３１６は、訓練された機械学習モデル３１４に空港に関連する物体の特徴に関する情報を知らせる。次いで、訓練された機械学習モデル３１４は、非地上セグメント３２４についてのクラスタリング決定を行うために、その情報を認識し、使用し得る。

【0022】

[0027] 訓練された機械学習モデル３１４は、複数の非地上セグメント３２４に、空港ドメイン３１６の分類ラベル３１８のライブラリから選択された分類ラベル３２６を自動的に付与するように構成されている。幾つかの実施例では、移動可能物体に対応する非地上セグメント３２４に、動的意味ラベル３２０が付けられ得る。幾つかの実施例では、固定された物体に対応する非地上セグメント３２４に、非動的意味ラベル３２２が付与され得る。

【0023】

[0028] 幾つかの実施態様では、訓練された機械学習モデル３１４が、複数の非地上セグメント３２４に、１以上の分類ラベル３２６と、１以上の分類ラベルに対応する１以上の信頼度と、を自動的に付与するように構成されている。信頼度は、非地上セグメントと特定の分類ラベルとの間の相関レベルを示す。例えば、信頼度が高いほど特定の分類ラベルとの相関が強いことを示し、その逆も同様である。例えば、９０％を超える信頼度は、非地上セグメントが、実際、特定の種類の分類であるという強い相関を示し得る。信頼度は、任意の適切な閾値に基いて評価され得ることに留意されたい。一実施例では、非地上セグメントが、９５％の信頼度で航空機として、５％の信頼度で給油トラックとして分類され得る。この実施例では、非地上セグメントが、航空機との強い相関を有し、給油トラックとの弱い相関を有する。幾つかの実施例では、１つの分類ラベルに対応する最も高いと決定された信頼度が閾値未満であることに少なくとも基づいて、非地上セグメントに複数の分類ラベルが付与され得る。訓練された機械学習モデル３１４は、複数の非地上セグメント３２４に、任意の適切な数の分類ラベルと対応する信頼度とを自動的に付与するように構成され得る。

【0024】

[0029] 訓練された機械学習モデル３１４は、それぞれの分類ラベル３２６が付与された複数の非地上セグメント３２４と地上領域３１０内のポイントとを含む、全体を一目で見渡せる、ラベルが付されたライダー点群３２８を出力するように構成されている。地上領域３１０内のポイントは、全体を一目で見渡せる、ラベルが付されたライダー点群３２８の中に追加されて戻される。それによって、非地上セグメント３２４として正確に特定され分類された空港に関連する物体を含む、空港環境全体の包括的表現が提供される。

【0025】

[0030] 幾つかの実施態様では、訓練された機械学習モデル３１４が、複数の非地上セグメント３２４に対応する複数のマスク３３０を生成するように構成されている。特に、各マスク３３０は、非地上セグメントのソリッド表現を集合的に生成する非地上セグメント（例えば、空港に関連する物体）のソリッド面を形成する。訓練された機械学習モデル３１４は、全体を一目で見渡せる、ラベルが付されたライダー点群３２８内の物体を視覚的に認識することをより容易にするために、全体を一目で見渡せる、ラベルが付されたライダー点群３２８内の複数の非地上セグメント３２４の上に複数のマスク３３０をテクスチャマッピングするように構成され得る。

【0026】

[0031] 幾つかの実施態様では、訓練された機械学習モデル３１４が、複数の非地上セグメント３２４に、個々の識別子３３０を付与するように構成されている。各非地上セグメント３２４に個々の識別子３３０を割り当てることによって、複数の非地上セグメント３２４の複数の部分が、指定された期間にわたり処理パイプライン３０１によって出力された、全体を一目で見渡せる、ラベルが付されたライダー点群にわたるそれぞれの個々の識別子３３０を介して追跡され得る。このような位置追跡は、動的な非地上セグメントの挙動又は傾向が学習され、訓練された機械学習モデル３１４の再訓練に適用されて、分類の精度を改善し及び／又は更なる機能を学習することを可能にし得る。

【0027】

[0032] 幾つかの実施態様では、マスク生成機能及び／又は個々の識別子のアノテーション機能が、訓練された機械学習モデル３１４の代わりに処理パイプライン３０１内の他のロジックによって実行され得る。

【0028】

[0033] 訓練された機械学習モデル３１４は、様々な形態を取り得る。幾つかの実施態様では、訓練された機械学習モデル３１４がニューラルネットワークである。幾つかの実施態様では、ニューラルネットワークが畳み込みニューラルネットワークである。このような幾つかの実施態様では、畳み込みニューラルネットワークが、動的グラフ畳み込みニューラルネットワークである。幾つかの実施態様では、ニューラルネットワークが完全接続ニューラルネットワークである。幾つかの実施態様では、ニューラルネットワークが、シングルショット検出ニューラルネットワークなどの１段階タイプのニューラルネットワークである。幾つかの実施態様では、ニューラルネットワークが、特徴ピラミッドニューラルネットワークや領域提案ニューラルネットワークなどの、２段階タイプのニューラルネットワークである。訓練された機械学習モデル３１４は、任意の適切な物体検出及び／又は位置特定技法を使用して、空港ベースの分類ラベルで非地上セグメントを分類するように訓練された、任意の適切な種類のニューラルネットワークであり得る。

【0029】

[0034] 幾つかの実施態様では、処理パイプライン３０１が、１以上のカメラによって撮像された空港環境の１以上の画像３３６を受け取るように構成されたラベリングロジック３３４を含む。例えば、ライダー装置が搭載された航空機はまた、RGBカメラ、赤外線カメラ、暗視カメラ、及び／又は空港環境の画像を出力する別の種類のカメラが搭載されてもよい。ラベリングロジック３３４は、全体を一目で見渡せる、ラベルが付されたライダー点群３２８を受け取るように構成されている。ラベリングロジック３３４は、１以上の画像３３６内の複数の物体に、全体を一目で見渡せる、ラベルが付されたライダー点群３２８内の、複数の非地上セグメント３２４に対応する分類ラベル３２６を、自動的に付与するように構成されている。このような実施態様では、全体を一目で見渡せる、ラベルが付されたライダー点群３２８内の分類情報を利用して、任意の人間の関与なしに、ライダー点群の人間のアノテーションよりも迅速で正確なやり方で、（１以上の）画像に自動的にラベルを付けることができる。このようなラベルを付けられた画像は、自動化された航空機の航行システム用の入力や、空港環境の画像に自動的にラベルを付けるように機械学習モデルを訓練するための訓練データなどの、様々な用途に有益に使用され得る。

【0030】

[0035] 幾つかの実施態様では、全体を一目で見渡せる、ラベルが付されたライダー点群３２８が、一組の訓練データ３４０内に含まれる。このような複数の実施態様では、コンピューティングシステム３００が、モデルトレーナー３４２を含む。モデルトレーナー３４２は、一組の訓練データ３４０に少なくとも基づいて、訓練された機械学習モデル３１４を再訓練するように構成されている。例えば、一組の訓練データ３４０は、指定された期間にわたり生成された複数の、全体を一目で見渡せる、ラベルが付されたライダー点群３２８を含み得る。訓練された機械学習モデル３１４のこのような再訓練は、アノテーションプロセスにおける人間の関与の必要性なしに、各再訓練サイクルでのクラスタリングと分類の精度を改善するために、訓練された機械学習モデル３１４が、全体を一目で見渡せる、ラベルが付されたライダー点群３２８から直接に、関連する特徴を自己学習することを可能にする。モデルトレーナー３４２は、任意の適切な数の、全体を一目で見渡せる、ラベルが付されたライダー点群３２８に少なくとも基づいて、訓練された機械学習モデル３１４を再訓練することができる。モデルトレーナー３４２は、任意の適切なやり方で、任意の適切な頻度に従って、訓練された機械学習モデル３１４を再訓練することができる。幾つかの実施例では、モデルが再訓練される頻度が、モデルの残差（residual error）に依存し、再訓練は、新しいデータが処理され、新しい／コーナーケースが発見されたときに実行される。

【0031】

[0036] 図４は、例示的なプロセスフロー４００を概略的に示す。このフロー４００に従って、図３で示されている処理パイプライン３０１が、全体を一目で見渡せる、ラベルが付されたライダー点群３２８を生成する。４０２では、ライダー点群が入力として受け取られる。４０４では、ライダー点群が、セグメンテーションロジック３０６を介して、地上に対応するポイントの地上領域４０６と、地上の上方のポイントに対応するポイントの非地上領域４０８とに区分けされる。。４１０では、非地上領域４０８内のポイントが、訓練された機械学習モデル３１４を介して、複数の非地上セグメントにクラスタリングされる。４１２では、訓練された機械学習モデル３１４を介して、非地上セグメントに、空港ドメインから選択された分類ラベルが付与される。４１４では、全体を一目で見渡せる、ラベルが付されたライダー点群３２８が出力される。全体を一目で見渡せる、ラベルが付されたライダー点群３２８は、それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む。

【0032】

[0037] 図５～図６は、全体を一目で見渡せる、ラベルが付されたライダー点群を生成するために、ライダー点群に分類ラベルを自動的に付与する、コンピュータによって実施される例示的な方法５００のフローチャートを示す。例えば、コンピュータによって実施される方法５００は、図３で示されているコンピューティングシステム３００又は別のコンピューティングシステムによって実行され得る。

【0033】

[0038] 図５では、５０２において、コンピュータによって実施される方法５００が、空港環境のライダーデータを受け取ることを含む。ライダーデータは、空港環境内の複数のポイントを含むライダー点群を含む。ライダー点群内に含まれる各ポイントは、Ｘ、Ｙ、及びＺ座標と、強度値（ｉ）とを含む。

【0034】

[0039] 幾つかの実施態様では、５０２において、ライダーデータの少なくとも一部が、図１で示されている航空機１００に取り付けられたライダー装置１０４などの、航空機に取り付けられたライダー装置から受け取られ得る。

【0035】

[0040] 幾つかの実施態様では、５０６において、ライダー点群が、１以上のライダー装置の複数のスキャンから集約された空港環境内のポイントを含み得る。幾つかの実施例では、複数のスキャンが、航空機に取り付けられたライダー装置などの同じライダー装置によって実行され得る。他の複数の実施例では、複数のスキャンが、種々のビークルに取り付けられたライダー装置などの種々のライダー装置によって実行され得る。

【0036】

[0041] ５０８では、コンピュータによって実施される方法５００が、ライダー点群を地上領域と非地上領域とに区分けすることを含む。任意の適切なセグメンテーション技法を使用して、ライダー点群を区分けすることができる。一実施例では、ライダー点群が、空港環境内の地面に位置合わせされたポイントに適用される平面適合セグメンテーション技法を採用することによって区分けされる。

【0037】

[0042] ５１０では、コンピュータによって実施される方法５００が、訓練された機械学習モデルを介して、非地上領域内の種々のポイントを複数の非地上セグメントに自動的にクラスタリングすることを含む。非地上セグメントは、建物、ビークル、木々、及び他の物体などの、空港環境内の種々の物体に対応し得る。例えば、訓練された機械学習モデルは、ライダー点群内の種々のポイントにおける種々の空港に関連する物体（例えば、航空機、地上ビークル、ターミナル、航空交通管制塔、滑走路）を含む、空港環境のライダー点群を含む、一組の訓練データで訓練され得る。

【0038】

[0043] 幾つかの実施態様では、５１２において、コンピュータによって実施される方法５００が、複数の非地上セグメントに対応する複数のマスクを生成することを含み得る。複数のマスクの各々は、ライダー点群内の特定された物体をより容易に視覚化するために、非地上セグメント内のポイントのグループを接続して、複数の表面を形成する。

【0039】

[0044] ５１４では、コンピュータによって実施される方法５００が、訓練された機械学習モデルを介して、複数の非地上セグメントに空港ドメインから選択された分類ラベルを自動的に付与することを含む。空港ドメインは、空港に関連する物体に対応する分類ラベルのライブラリを含む。

【0040】

[0045] 幾つかの実施態様では、５１６において、分類ラベルが、移動可能物体用の動的意味ラベルと固定された物体用の非動的意味ラベルとを含む。これらの意味分類ラベルは、物体を動的又は非動的として識別し、加えて、物体を、航空機、地上ビークル、ターミナル、航空交通管制塔、滑走路、又は別のクラスの空港に関連する物体などの、より詳細な空港に関連するクラスの一部として特定する。

【0041】

[0046] 幾つかの実施態様では、５１８において、コンピュータによって実施される方法５００が、訓練された機械学習モデルを介して、複数の非地上セグメントの各々に個々の識別子を付与することを含み得る。このような個々の識別子は、複数の非地上セグメント（例えば、航空機又は地上ビークルなどの動的な空港に関連する物体）の位置が、指定された期間にわたり生成された複数の、全体を一目で見渡せる、ラベルが付されたライダー点群にわたり追跡されることを可能にする。

【0042】

[0047] 図６では、５２０において、コンピュータによって実施される方法５００が、それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む、全体を一目で見渡せる、ラベルが付されたライダー点群を出力することを含む。全体を一目で見渡せる、ラベルが付されたライダー点群は、正確に特定及び分類された空港に関連する物体を含む、空港環境の包括的表現を提供する。

【0043】

[0048] 幾つかの実施態様では、５２２において、全体を一目で見渡せる、ラベルが付されたライダー点群が、個々の識別子が付与された複数の非地上セグメントを含む。個々の識別子は、複数の非地上セグメントが、指定された期間にわたり生成された複数の、全体を一目で見渡せる、ラベルが付されたライダー点群にわたり追跡されることを可能にする。

【0044】

[0049] 幾つかの実施態様では、５２４において、全体を一目で見渡せる、ラベルが付されたライダー点群が、複数の非地上セグメントに位置合わせされた複数のマスクを含む。複数のマスクは、空港に関連する物体がより容易に認識されることを可能にする、空港に関連する物体の表面を形成する。

【0045】

[0050] 幾つかの実施態様では、５２６において、コンピュータによって実施される方法５００が、１以上のカメラによって撮像された空港環境の１以上の画像を受け取ることを含み得る。例えば、ライダー装置が搭載された航空機はまた、RGBカメラ、赤外線カメラ、暗視カメラ、及び／又は空港環境の画像を出力する別の種類のカメラが搭載されてもよい。

【0046】

[0051] 幾つかの実施態様では、５２８において、コンピュータによって実施される方法５００が、１以上の画像内の複数の物体に、全体を一目で見渡せる、ラベルが付されたライダー点群内の複数の非地上セグメントに対応する分類ラベルを自動的に付与することを含み得る。このような複数の実施態様では、全体を一目で見渡せる、ラベルが付されたライダー点群内の分類情報を利用して、任意の人間の関与なしに、ライダー点群の人間のアノテーションよりも迅速で正確なやり方で、（１以上の）画像に自動的にラベル付けすることができる。このようなラベルを付けられた画像は、自動化された航空機の航行システム用の入力や、空港環境の画像に自動的にラベルを付けるように機械学習モデルを訓練するための訓練データなどの、様々な用途に有益に使用され得る。

【0047】

[0052] 幾つかの実施態様では、５３０において、コンピュータによって実施される方法５００が、全体を一目で見渡せる、ラベルが付されたライダー点群を含む、一組の訓練データに少なくとも基づいて、訓練された機械学習モデルを再訓練することを含み得る。例えば、一組の訓練データは、指定された期間にわたり生成された複数の、全体を一目で見渡せる、ラベルが付されたライダー点群を含み得る。訓練された機械学習モデルのこのような再訓練は、アノテーションプロセスにおける人間の関与の必要性なしに、各再訓練サイクルでのクラスタリングと分類の精度を改善するために、訓練された機械学習モデルが、全体を一目で見渡せる、ラベルが付されたライダー点群から直接に、関連する特徴（例えば、航空機、地上ビークル、ターミナル、格納庫、航空交通管制塔、及び他の空港に関連する物体）を自己学習することを可能にする。

【0048】

[0053] 上記のシステム及び方法を採用して、人間によって注釈が付けられたライダー点群と比べて迅速に、より高い分類精度を有する、全体を一目で見渡せる、ラベルが付されたライダー点群を生成する、訓練された機械学習モデルを使用して、ライダー点群内のポイントの教師なしセグメンテーション、クラスタリング、及びアノテーションを実行することができる。

【0049】

[0054] 幾つか実施態様では、本明細書で説明される方法及びプロセスが、１以上のコンピューティング装置のコンピューティングシステムに結び付けられ得る。特に、このような方法及びプロセスは、コンピュータアプリケーションプログラム若しくはサービス、アプリケーションプログラミングインターフェース（API）、ライブラリ、及び／又は他のコンピュータプログラム製品として実装され得る。

【0050】

[0055] 図７は、上述された方法及びプロセスの１以上を実施し得る、コンピューティングシステム７００の例示的な一実施態様を概略的に示す。コンピューティングシステム７００は、図３で示されているコンピューティングシステム３００を具現化し得る。コンピューティングシステム７００は、１以上のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ネットワークコンピューティング装置、モバイルコンピューティング装置（例えば、スマートフォン）、スマート腕時計やヘッドマウント拡張現実装置などのウェアラブルコンピューティング装置、埋め込まれたコンピューティング装置、インターネットオブシングス（IoT）コンピューティング装置、及び／又は他のコンピューティング装置の形態を採り得る。

【0051】

[0056] コンピューティングシステム７００は、論理プロセッサ７０２、揮発性メモリ７０４、及び不揮発性ストレージ装置７０６を含む。コンピューティングシステム７００は、任意選択的に、ディスプレイサブシステム７０８、入力サブシステム７１０、通信サブシステム７１２、及び／又は図７で示されていない他の構成要素を含み得る。

【0052】

[0057] 論理プロセッサ７０２は、命令を実行するように構成された１以上の物理的装置を含む。例えば、論理プロセッサは、命令を実行するように構成され得る。該命令は、１以上のアプリケーション、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又は他の論理的構成の一部である。このような命令は、作業を実行し、データタイプを実装し、１以上の構成要素の状態を変換し、技術的効果を実現し、及び／又は他の方法で所望の結果に到達するように実装され得る。

【0053】

[0058] 論理プロセッサは、ソフトウェア命令を実行するように構成された１以上の物理的プロセッサ（例えば、ハードウェア）を含み得る。更に又は代替的に、論理プロセッサは、ハードウェアに実装された論理又はファームウェア命令を実行するように構成された１以上のハードウェア論理回路又はファームウェア装置を含んでよい。論理プロセッサ７０２のプロセッサは、シングルコアであっても、マルチコアであってもよく、プロセッサで実行される命令は、シーケンシャル処理、並列処理、及び／又は分散処理されるように構成され得る。論理プロセッサの個々の構成要素は、任意選択的に、２つ以上の別個の装置に分散され得る。これらの装置は、遠隔に配置され、及び／又は調整された処理のために構成され得る。論理プロセッサの複数の態様は、仮想化され、クラウドコンピューティング構成として構成されたリモートアクセス可能なネットワークコンピューティング装置によって実行され得る。このような場合において、これらの仮想化された複数の態様が、様々な種々のマシンの種々の物理的な論理プロセッサ上で実行されることは、当業者であれば過度な実験をしなくても理解するであろう。

【0054】

[0059] 不揮発性ストレージ装置７０６は、本明細書で説明される方法及びプロセスを実施するために論理プロセッサによって実行可能な命令を保持するように構成された１以上の物理的装置を含む。このような方法及びプロセスが実施されるときに、不揮発性ストレージ装置７０６の状態は、例えば種々のデータを保持するように変換され得る。

【0055】

[0060] 不揮発性ストレージ装置７０６は、着脱可能な及び／又は内蔵された物理的装置を含み得る。不揮発性ストレージ装置７０６は、光メモリ（例えば、CD、DVD、HD-DVD、Blu-Ray Disc）、半導体メモリ（例えば、ROM、EPROM、EEPROM、フラッシュメモリ）、及び／若しくは磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM）、並びに／又は他の大容量ストレージ装置技術を含み得る。不揮発性ストレージ装置７０６は、不揮発性、動的、静的、読み出し／書き込み、シリアルアクセス、位置アドレス可能、ファイルアドレス可能、及び／又はコンテンツアドレス可能装置を含み得る。不揮発性ストレージ装置７０６が、不揮発性ストレージ装置７０６への給電が中断又は中止された場合でも命令を保持するように構成されていることは、当業者であれば過度な実験をしなくても理解するであろう。

【0056】

[0061] 揮発性メモリ７０４は、ランダムアクセスメモリ（RAM）を含む物理的装置を含み得る。揮発性メモリ７０４は、典型的には、ソフトウェア命令の処理中に情報を一時的に記憶するために、論理プロセッサ７０２によって利用される。揮発性メモリ７０４が、典型的には、揮発性メモリ７０４への給電が中断又は中止された場合、命令を記憶し続けないことは、当業者であれば過度な実験をしなくても理解するであろう。

【0057】

[0062] 論理プロセッサ７０２、揮発性メモリ７０４、及び不揮発性ストレージ装置７０６は、１以上のハードウェア論理コンポーネントの中に共に統合され得る。かかるハードウェア論理コンポーネントは、例えば、フィールドプログラマブルゲートアレイ（FPGA）、特定プログラム向け集積回路／特定用途向け集積回路（PASIC／ASIC）、特定プログラム向け標準製品／特定用途向け標準製品（PSSP／ASSP）、システムオンチップ（SOC）、及びコンプレックスプログラマブル論理装置（CPLD）を含み得る。

【0058】

[0063] 本明細書で使用されるときに、「モジュール」、「プログラム」、及び「エンジン」という用語は、典型的には、揮発性メモリの部分を使用して特定の機能を実行するためにプロセッサによってソフトウェア内に実装されたコンピューティングシステム７００の一態様を記述することができ、この機能は、機能を実行するようにプロセッサを特別に構成する変換処理を含む。したがって、モジュール、プログラム、又はエンジンは、揮発性メモリ７０４の部分を使用して、不揮発性ストレージ装置７０６によって保持されている命令を実行する論理プロセッサ７０２を介してインスタンス化され得る。種々のモジュール、プログラム、及び／又はエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数などからインスタンス化され得ることは、当業者であれば過度な実験をしなくても理解するであろう。同様に、同じモジュール、プログラム、及び／又はエンジンが、種々のアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数などによってインスタンス化され得る。本明細書で使用されるときに、「モジュール」、「プログラム」、及び「エンジン」という用語は、実行可能なファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどの個々のもの又はグループを包含し得る。

【0059】

[0064] 含まれているときに、ディスプレイサブシステム７０８を使用して、不揮発性ストレージ装置７０６によって保持されているデータの視覚的表現を提示することができる。この視覚的表現は、グラフィカルユーザインターフェース（GUI）の形態を採り得る。本明細書で説明される方法及びプロセスが、不揮発性ストレージ装置によって保持されているデータを変化させ、したがって、不揮発性ストレージ装置の状態を変換するときに、ディスプレイサブシステム７０８の状態も、同様に、基礎をなすデータ内の変化を視覚的に表現するように変換され得る。ディスプレイサブシステム７０８は、事実上あらゆる種類の技術を利用する１以上のディスプレイ装置を含み得る。このようなディスプレイ装置は、共有される筐体内の論理プロセッサ７０２、揮発性メモリ７０４、及び／又は不揮発性ストレージ装置７０６と組み合わされてよく、又は、このようなディスプレイ装置は、周辺ディスプレイ装置であり得る。

【0060】

[0065] 含まれているときに、入力サブシステム７１０は、キーボード、マウス、タッチスクリーン、又はゲームコントローラなどの、１以上のユーザ入力装置を含んでよく、又はそれらと相互作用し得る。幾つかの実施態様では、入力サブシステムが、選択された自然なユーザ入力（NUI）構成要素を含んでよく、又はそれらと相互作用し得る。このような構成要素は、統合されてよく又は周辺的なものであってよく、入力行為の伝達及び／又は処理は、オンボードでもオフボードでも取り扱われ得る。例示的なNUI構成要素は、会話及び／若しくは音声認識のためのマイクロフォン、マシンビジョン及び／若しくはジェスチャー認識のための赤外線カメラ、カラーカメラ、立体カメラ、及び／若しくは深度カメラ、動き検出及び／又は意図認識のためのヘッドトラッカー、アイトラッカー、加速度計、及び／若しくはジャイロスコープ、ならびに脳活動を評価するための電場センシング構成要素、並びに／又は任意の他の適切なセンサを含み得る。

【0061】

[0066] 含まれる場合、通信サブシステム７１２は、本明細書で説明される様々なコンピューティング装置を、互いに及び／又は他の装置と通信可能に結合するように構成され得る。通信サブシステム７１２は、１以上の種々の通信プロトコルと互換性のある有線及び／又は無線通信装置を含み得る。幾つかの実施例として、通信サブシステムは、無線電話網、又は有線若しくは無線ローカル若しくはワイドエリアネットワーク（例えば、Wi-Fi接続にわたるHDMI）を介する、通信のために構成され得る。幾つかの実施態様では、通信サブシステムが、コンピューティングシステム７００がインターネットなどのネットワークを介して他の装置との間でメッセージを送信及び／又は受信することを可能にし得る。

【0062】

[0067] 一実施例では、コンピューティング装置が１以上のプロセッサを備える。該１以上のプロセッサは、メモリ内に記憶された命令を実行して、空港環境のレーザー画像検出及び測距（LiDAR：ライダーデータ）を受け取ることであって、ライダーデータは、空港環境内の複数のポイントを含むライダー点群を含む、ライダーデータを受け取ること、ライダー点群を地上領域と非地上領域とに区分けすること、訓練された機械学習モデルを介して、非地上領域内の種々のポイントを複数の非地上セグメントに自動的にクラスタリングすること、訓練された機械学習モデルを介して、複数の非地上セグメントに空港ドメインから選択された分類ラベルを自動的に付与すること、及び、それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む、ラベルが付されたライダー点群を出力すること、を実行するように構成されている。この実施例及び／又は他の複数の実施例では、ライダー点群が、１以上のライダー装置の複数のスキャンから集約された空港環境内のポイントを含み得る。この実施例及び／又は他の複数の実施例では、ライダーデータの少なくとも一部が、航空機に取り付けられた１以上のライダー装置から受け取られ得る。この実施例及び／又は他の複数の実施例では、空港ドメインが、空港に関連する物体に対応する分類ラベルのライブラリを含み得る。この実施例及び／又は他の複数の実施例では、ライダー点群内に含まれる各ポイントが、Ｘ、Ｙ、及びＺ座標と、強度値とを含み得る。この実施例及び／又は他の複数の実施例では、分類ラベルが、移動可能物体用の動的意味ラベルと固定された物体用の非動的意味ラベルとを含み得る。この実施例及び／又は他の複数の実施例では、１以上のプロセッサが、メモリ内に記憶された命令を実行して、複数の非地上セグメントに対応する複数のマスクを生成するように構成されており、ラベルが付されたライダー点群が、複数のマスクを含む。この実施例及び／又は他の複数の実施例では、１以上のプロセッサが、複数の非地上セグメントの各々に個々の識別子を付与するように構成され得る。この実施例及び／又は他の複数の実施例では、１以上のプロセッサが、メモリ内に記憶された命令を実行して、１以上のカメラによって撮像された空港環境の１以上の画像を受け取ること、及び、１以上の画像内の複数の物体に、ラベルが付されたライダー点群内の複数の非地上セグメントに対応する分類ラベルを自動的に付与すること、を実行するように構成され得る。この実施例及び／又は他の複数の実施例では、ラベルが付されたライダー点群が、一組の訓練データ内に含まれてよく、１以上のプロセッサは、メモリ内に記憶された命令を実行して、一組の訓練データに少なくとも基づいて、訓練された機械学習モデルを再訓練するように構成され得る。

【0063】

[0068] 別の一実施例では、コンピュータによって実施される方法が、空港環境のライダーデータを受け取ることであって、ライダーデータは、空港環境内の複数のポイントを含むライダー点群を含む、ライダーデータを受け取ること、ライダー点群を地上領域と非地上領域とに区分けすること、訓練された機械学習モデルを介して、非地上領域内の種々のポイントを複数の非地上セグメントに自動的にクラスタリングすること、訓練された機械学習モデルを介して、複数の非地上セグメントに空港ドメインから選択された分類ラベルを自動的に付与すること、及び、それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む、ラベルが付されたライダー点群を出力することを含む。この実施例及び／又は他の複数の実施例では、コンピュータによって実施される方法が、複数の非地上セグメントに対応する複数のマスクを生成することを更に含み、ラベルが付されたライダー点群が、複数のマスクを含む。この実施例及び／又は他の複数の実施例では、コンピュータによって実施される方法が、訓練された機械学習モデルを介して、複数の非地上セグメントの各々に個々の識別子を付与することを更に含む。この実施例及び／又は他の複数の実施例では、コンピュータによって実施される方法が、１以上のカメラによって撮像された空港環境の１以上の画像を受け取ること、及び、１以上の画像内の複数の物体に、ラベルが付されたライダー点群内の複数の非地上セグメントに対応する分類ラベルを自動的に付与することを更に含む。この実施例及び／又は他の複数の実施例では、ラベルが付されたライダー点群が、一組の訓練データ内に含まれてよく、コンピュータによって実施される方法が、一組の訓練データに少なくとも基づいて、訓練された機械学習モデルを再訓練することを更に含み得る。この実施例及び／又は他の複数の実施例では、ライダー点群が、１以上のライダー装置の複数のスキャンから集約された空港環境内のポイントを含み得る。この実施例及び／又は他の複数の実施例では、ライダーデータの少なくとも一部が、航空機に取り付けられた１以上のライダー装置から受け取られ得る。この実施例及び／又は他の複数の実施例では、空港ドメインが、空港に関連する物体に対応する分類ラベルのライブラリを含み得る。この実施例及び／又は他の複数の実施例では、分類ラベルが、移動可能物体用の動的意味ラベルと固定された物体用の非動的意味ラベルとを含み得る。

【0064】

[0069] 更に別の一実施例では、コンピューティング装置が１以上のプロセッサを備える。該１以上のプロセッサは、メモリ内に記憶された命令を実行して、空港環境のライダーデータを受け取ることであって、ライダーデータは、空港環境内の複数のポイントを含むライダー点群を含む、ライダーデータを受け取ること、ライダー点群を地上領域と非地上領域とに区分けすること、訓練された機械学習モデルを介して、非地上領域内の種々のポイントを複数の非地上セグメントに自動的にクラスタリングすること、訓練された機械学習モデルを介して、複数の非地上セグメントに空港ドメインから選択された分類ラベルを自動的に付与すること、それぞれの分類ラベルが付与された複数の非地上セグメントと地上領域内のポイントとを含む、ラベルが付されたライダー点群を出力することであって、ラベルが付されたライダー点群は、一組の訓練データ内にある、ラベルが付されたライダー点群を出力すること、及び、ラベルが付されたライダー点群を含む一組の訓練データに少なくとも基づいて、訓練された機械学習モデルを再訓練すること、を実行するように構成されている。

【0065】

[0070] 本明細書で説明される構成及び／又はアプローチは、事実上例示的なものであり、これらの特定の複数の実施態様又は実施例が、限定的な意味で考えられるべきでないことは、当業者であれば過度な実験をしなくても理解するであろう。というのも、多数の変形が可能だからである。本明細書で説明される特定のルーチン又は方法は、任意の数の処理戦略のうちの１以上を表してよい。そのようにして、図示され及び／若しくは説明された様々な動作は、図示され及び／若しくは説明された順序で、他の順序で、同時並行で実行されてよく、又は省略されてよい。同様に、上述されたプロセスの順序は、変更されてよい。

【0066】

[0071] 本開示の主題は、本明細書で開示された様々なプロセス、システム、及び構成、並びに、他の特徴、機能、動作、及び／又は特性の、全ての新規な及び非自明な組み合わせ及びサブコンビネーション、ならびにそれらの任意の及び全ての均等物を含む。

【符号の説明】

【0067】

１００：航空機
１０２：空港環境
１０４：ライダー装置
１０６：代表的なパルス
２００：ライダー点群
２０２：ポイント
３００：コンピューティングシステム
３０１：処理パイプライン
３０２：ライダーデータを受け取る
３０４：ライダー点群
３０６：セグメンテーションロジック
３０８：区分けされたライダー点群
３１０：地上領域
３１２：非地上領域
３１４：訓練された機械学習モデル
３１６：空港ドメイン
３１８：分類ラベル
３２０；動的意味ラベル
３２２：非動的意味ラベル
３２４：非地上セグメント
３２６：分類ラベル
３２８：全体を一目で見渡せる、ラベルが付されたライダー点群
３３０：マスク
３３４：ラベリングロジック
３３６：１以上の画像
３４０：訓練データ
３４２：モデルトレーナー
４００：プロセスフロー
４０６：地上領域
４０８：非地上領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】