知財求人 - 知財ポータルサイト「IP Force」
▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
特表2024-511043モデル注入を用いた点群データ拡張のためのシステム、および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-12
(54)【発明の名称】モデル注入を用いた点群データ拡張のためのシステム、および方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240305BHJP
【ＦＩ】
G06T7/00 650B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023557227
(86)(22)【出願日】2021-09-24
(85)【翻訳文提出日】2023-10-26
(86)【国際出願番号】 CN2021120153
(87)【国際公開番号】W WO2022193604
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】17/203,718
(32)【優先日】2021-03-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】レン、ユアン
(72)【発明者】
【氏名】タガビ、イーサン
(72)【発明者】
【氏名】リウ、ビンビン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA04
5L096CA18
5L096DA01
5L096DA02
5L096FA66
5L096FA67
5L096FA69
5L096KA04
(57)【要約】
機械学習モデルを訓練して点群セグメンテーションおよびオブジェクト検出を実行することを目的とする、モデル注入を用いた点群データ拡張のためのデバイス、システム、方法および媒体を説明する。表面モデルのライブラリが、ＬＩＤＡＲにより生成される点群フレーム内の点群オブジェクトインスタンスから生成される。表面モデルは、目標フレーム内の任意の位置における目標点群フレームへ新しいオブジェクトインスタンスを注入して新しい拡張された点群データを生成するために用いられ得る。次に、拡張された点群データは、セグメンテーションおよび／またはオブジェクト検出タスクを実行すべく機械学習アルゴリズムを用いて訓練された機械学習モデルの精度を改善するための訓練データとして用いられ得る。
【特許請求の範囲】
【請求項1】
点群オブジェクトインスタンスを取得する段階；および補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、表面モデルを生成する段階
を備える方法。
【請求項2】
前記点群オブジェクトインスタンスは、センサ位置に対する前記点群オブジェクトインスタンスの向きを示す向き情報
を含む；および
前記点群オブジェクトインスタンス内の複数の点の各々について、
点強度情報；および
点位置情報
を含む；および
前記表面モデルは、前記点群オブジェクトインスタンスの前記向き情報、点強度情報および点位置情報を含む、
請求項１に記載の方法。
【請求項3】
前記点群オブジェクトインスタンスは、複数の走査線を含み、各走査線は、前記複数の点のサブセットを含む；および前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、少なくとも１つの走査線に沿って複数の点を追加する段階を有する
請求項２に記載の方法。
【請求項4】
前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、前記複数の走査線のうちの少なくとも１対の走査線の間に複数の点を追加する段階をさらに有する、請求項３に記載の方法。
【請求項5】
線形補間を用いて点を追加する段階は、２つの既存の点の前記点位置情報の線形補間に基づいて、前記追加された点に点位置情報を割り当てる段階；および
前記２つの既存の点の前記点強度情報の線形補間に基づいて、前記追加された点に点強度情報を割り当てる段階
を含む、
請求項４に記載の方法。
【請求項6】
目標点群フレームを取得する段階；前記目標点群フレーム内のアンカー位置を決定する段階；
物体の表面モデルを取得する段階；
前記アンカー位置に基づいて前記表面モデルを変換して、変換された表面モデルを生成する段階；
前記変換された表面モデルの複数の走査線を生成する段階であって、各走査線は、前記目標点群フレームの複数の走査線と位置合わせされた複数の点を含む、生成する段階；および
前記変換された表面モデルの前記複数の走査線を前記目標点群フレームに追加して、拡張された点群フレームを生成する段階
を備える方法。
【請求項7】
前記表面モデルは、密な点群オブジェクトインスタンスを含む、請求項６に記載の方法。
【請求項8】
前記表面モデルを取得する段階は、点群オブジェクトインスタンスを取得する段階；および
補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、前記表面モデルを生成する段階
を有する、
請求項７に記載の方法。
【請求項9】
前記表面モデルは、コンピュータ支援設計（ＣＡＤ）モデルを含む、請求項６に記載の方法。
【請求項10】
前記表面モデルは、完全な密な点群オブジェクト走査を含む、請求項６に記載の方法。
【請求項11】
前記変換された表面モデルの影を決定する段階；前記影内に位置する前記目標点群フレームの１つまたは複数の隠された点を識別する段階；および
前記拡張された点群フレームから前記複数の隠された点を除去する段階
をさらに備える、請求項６に記載の方法。
【請求項12】
前記変換された表面モデルの前記複数の走査線を生成する段階は、２次元画素アレイを含む範囲画像を生成する段階、ここで、各画素は、前記目標点群フレームの点に対応する；
前記変換された表面モデルを前記範囲画像上へ投影する段階；および
前記範囲画像の各画素について、前記画素が前記変換された表面モデルの前記投影の少なくとも１つの点を含んでいるという判断に応答して、
前記画素の中心への前記変換された表面モデルの前記投影の最近傍点を識別する段階；および
前記最近傍点を前記走査線に追加する段階
を有する、
請求項７に記載の方法。
【請求項13】
前記表面モデルは、前記表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含む；前記目標点群フレームは、前記目標点群フレームの領域のシーンタイプを示すシーンタイプ情報を含む；および
前記アンカー位置を決定する段階は、前記表面モデルが前記領域内に位置しているはずであるという、前記領域の前記シーンタイプおよび前記表面モデルの前記オブジェクトクラスに基づく判断に応答して、前記アンカー位置を前記領域内に位置決めする段階を有する
請求項６に記載の方法。
【請求項14】
前記アンカー位置に基づいて前記表面モデルを変換する段階は、センサ位置に対する前記表面モデルの向きを維持しつつ、前記目標点群フレームの前記センサ位置により画定される軸を中心として前記表面モデルを表面モデル基準方向およびアンカーポイント方向の間で回転させる段階；および
前記表面モデルを基準距離およびアンカーポイント距離の間で変換する段階
を有する、
請求項６に記載の方法。
【請求項15】
前記拡張された点群フレームを用いて機械学習モデルを訓練する段階をさらに備える、請求項６に記載の方法。
【請求項16】
点群データを拡張するためのシステムであって、プロセッサデバイス；および
前記プロセッサデバイスにより実行された場合、請求項１から１４のいずれか一項に記載の方法を前記システムに実行させる機械実行可能命令を格納したメモリ
を備える、システム。
【請求項17】
コンピューティングシステムのプロセッサデバイスにより実行された場合、請求項１から１４いずれか一項に記載の方法を前記コンピューティングシステムに実行させる機械実行可能命令を備えるコンピュータ可読媒体。
【請求項18】
コンピューティングシステムのプロセッサデバイスにより実行された場合、請求項１から１４のいずれか一項に記載の方法を前記コンピューティングシステムに実行させる機械実行可能命令を備えるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本願は、出願済みの、「モデル注入を用いた点群データ拡張のためのデバイス、システム、方法および媒体」と題する米国特許出願第１７／２０３，７１８号の優先権の利益を主張する。当該米国特許出願は、ここに、参照により、その全体が再現されるかのように組み込まれる。
本願は、出願済みの、「モデル注入を用いた点群データ拡張のためのデバイス、システム、方法および媒体」と題する米国特許出願第１７／２０３，７１８号の優先権の利益を主張する。当該米国特許出願は、ここに、参照により、その全体が再現されるかのように組み込まれる。
【0002】
本願は、概して、機械学習のための点群データ拡張に関し、特に、モデル注入を用いた点群データ拡張のためのデバイス、システム、方法および媒体に関する。
【背景技術】
【0003】
光検出および測距（ＬＩＤＡＲ、本明細書において、「ＬＩＤＡＲ」または「ＬＩＤＡＲ」とも称される）センサは、ＬＩＤＡＲセンサにより走査される３次元（３Ｄ）環境（「シーン」とも呼ばれる）を表す点群データを生成する。ＬＩＤＡＲセンサの単一の走査パスは、ＬＩＤＡＲセンサが１回の走査パスを実行するのにかかる時間を表す期間内に、空間内の１つまたは複数の点から光が反射される複数の点のセットから成る点群データの「フレーム」（以下、「点群フレーム」と称される）を生成する。回転走査式ＬＩＤＡＲセンサなど、いくつかのＬＩＤＡＲセンサは、円弧の光を発するレーザアレイを含み、ＬＩＤＡＲセンサは、単一の位置を中心として回転して、点群フレームを生成する；ソリッドステートＬＩＤＡＲセンサなど、他のＬＩＤＡＲセンサは、１つまたは複数の位置から光を発し、かつ、各位置から検出される反射光を共に統合して点群フレームを形成するレーザアレイを含む。レーザアレイ内の各レーザは、走査パス毎に複数の点を生成するために用いられ、点群フレーム内の各点は、環境における空間内のある点においてレーザが発する光を反射する物体に対応する。各点は、典型的には、空間座標（Ｘ，Ｙ，Ｚ）のセット、および、強度（すなわち、レーザを反射する物体の反射率）などの値を示す他のデータとして格納される。いくつかの実装において、他のデータは、値のアレイとして表され得る。走査回転式ＬＩＤＡＲセンサにおいて、点群フレームのＺ軸は、典型的には、ほとんどの事例において各レーザの方位角方向におおよそ直交するＬＩＤＡＲセンサの回転軸により画定される（しかしながら、いくつかのＬＩＤＡＲセンサは、レーザのいくつかに、回転軸に直交する平面に対してわずかに上または下へ角度を付け得る）。
【0004】
点群データフレームも、高精細度レーダまたは深度カメラなど、他の走査技術により生成されてよく、理論上は、電磁または音波エネルギーなどのエネルギーの走査ビームを用いたあらゆる技術が、点群フレームを生成するために用いられ得る。ＬＩＤＡＲセンサを参照して例を本明細書において説明するが、点群フレームを生成する他のセンサ技術がいくつかの実施形態において用いられ得ることが理解されるであろう。
【0005】
ＬＩＤＡＲセンサは、自律走行車両を取り囲む環境（すなわち、シーン）を検知するために自律走行車両において用いられるプライマリセンサのうちの１つである。自律走行車両は概して、自動運転システム（ＡＤＳ）または先進運転支援システム（ＡＤＡＳ）を含む。ＡＤＳまたはＡＤＡＳは、点群フレームを処理して、自律走行車両の位置特定、自律走行車両の経路計画、自律走行車両の動き計画または自律走行車両の軌道生成のためにＡＤＳまたはＡＤＡＳに他のサブシステムにより使用可能な予測を生成する知覚サブモジュールを含む。しかしながら、疎であり、かつ、順序付けられていないという点群フレームの性質が原因で、点レベルでの点群フレームの収集およびラベル付けのコストは、時間がかかり、かつ、高価である。点群フレーム内の複数の点は、点群フレーム内の複数の点の集合がオブジェクトクラス（例えば、「歩行者」または「オートバイ」）またはオブジェクトクラス（例えば、「歩行者♯３」）のインスタンスでラベル付けされ得るように、（例えば、オブジェクト検出、セマンティックセグメンテーション、インスタンスセグメンテーションまたはパノラマセグメンテーションを用いて）クラスタ化、セグメント化またはグループ化されなければならず、これらのラベルは、オブジェクト検出または様々なタイプのセグメンテーションなど、点群フレームに対する予測タスクについてモデルを訓練するために機械学習において用いられる。この煩雑なラベル付けプロセスにより、機械学習を用いた点群フレームに対する予測タスクのために高精度モデルを訓練するのに必要である、様々な道路および交通シーンを表すラベル付けされた点群フレームの利用可能性が限定される結果となってきた。
【0006】
セグメンテーションおよび異議検出などの予測タスクについて機械学習を用いてモデルを訓練するために用いられる点群フレームを含むそのようなラベル付けされた点群データセットの例は、ＳｅｍａｎｔｉｃＫＩＴＴＩデータセット（Ｂｅｈｌｅｙ ｅｔ ａｌ．， "ＳｅｍａｎｔｉｃＫＩＴＴＩ： Ａ Ｄａｔａｓｅｔ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｃｅｎｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｏｆ ＬｉＤＡＲ Ｓｅｑｕｅｎｃｅｓ，" ２０１９ ＩＥＥＥ／ＣＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ）， Ｓｅｏｕｌ， Ｋｏｒｅａ （Ｓｏｕｔｈ）， ２０１９， ｐｐ． ９２９６－９３０６， ｄｏｉ： １０．１１０９／ＩＣＣＶ．２０１９．００９３９により説明されている）、ＫＩＴＴＩ３６０（Ｊ． Ｘｉｅ， Ｍ． Ｋｉｅｆｅｌ， Ｍ． Ｓｕｎ ａｎｄ Ａ． Ｇｅｉｇｅｒ， "Ｓｅｍａｎｔｉｃ Ｉｎｓｔａｎｃｅ Ａｎｎｏｔａｔｉｏｎ ｏｆ Ｓｔｒｅｅｔ Ｓｃｅｎｅｓ ｂｙ ３Ｄ ｔｏ ２Ｄ Ｌａｂｅｌ Ｔｒａｎｓｆｅｒ，" ２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｌａｓ Ｖｅｇａｓ， ＮＶ， ＵＳＡ， ２０１６， ｐｐ． ３６８８－３６９７， ｄｏｉ： １０．１１０９／ＣＶＰＲ．２０１６．４０１．により説明される）および Ｎｕｓｃｅｎｅｓ－ｌｉｄａｒｓｅｇ（Ｈ． Ｃａｅｓａｒ ｅｔ ａｌ．， "ｎｕＳｃｅｎｅｓ： Ａ Ｍｕｌｔｉｍｏｄａｌ Ｄａｔａｓｅｔ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ，" ２０２０ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｓｅａｔｔｌｅ， ＷＡ， ＵＳＡ， ２０２０， ｐｐ． １１６１８－１１６２８， ｄｏｉ： １０．１１０９／ＣＶＰＲ４２６００．２０２０．０１１６４．により説明されている）であり、セマンティック情報を含む唯一の利用可能な点群データセット、すなわち、セグメンテーションまたはオブジェクト検出など、点群フレームに対する予測タスクについてモデルを訓練するためのセマンティック情報でラベル付けされた点群フレームであってよい。
【0007】
しかしながら、これらの利用可能な点群データセットは概して、特定のオブジェクトクラスからの物体を含む十分な点群フレームを含んでおらず、そのような物体を含む点群フレームのセットは、そのような各オブジェクトクラス内の物体のインスタンス（「オブジェクトインスタンス」）の多様性が欠如していることを示す。点群データセット内に現れる、数が限られたオブジェクトクラスは、本明細書において、不利なクラスと称され得る。既存の点群データセット内の不利なクラスは、典型的には、歩行者、自転車、自転車乗用者、オートバイ、モーターサイクリスト、トラックおよび他のタイプの車両など、小さなより一般的ではないタイプの物体である。
【0008】
不利なクラスは、２つの問題のいずれかまたは両方を引き起こし得る。第１の問題は、環境またはコンテキストの多様性が欠如していることから生じる。不利なクラスのオブジェクトインスタンスが点群データセット内の少数の点群フレームのみに現れる場合において、不利なクラスのオブジェクトインスタンスが点群データセットに現れる点群フレームとは異なる環境にオブジェクトインスタンスが現れるときは、点群フレームに対する予測タスク（オブジェクト検出または様々なタイプのセグメンテーションなど）について訓練されたモデル（例えば、ディープニューラルネットワークモデル）は、不利なクラス（すなわち、不利なクラスの物体に対応する点群）のオブジェクトインスタンスの認識を学習しないことがある。例えば、点群データセット内の点群フレームが、駐車場に対応する点群フレーム内の「モーターサイクリスト」（すなわち、不利なクラス「モーターサイクリスト」）のオブジェクトインスタンスのみを含む場合、このモデルは、道路環境内のモーターサイクリストを識別できないことがある。第２の問題は、オブジェクトインスタンスの多様性が欠如していることから生じる。不利なクラスのオブジェクトインスタンスが点群データセット内に非常に少ない数で現れる場合、オブジェクトインスタンスの多様性自体を保証できない。例えば、点群データセット内の点群フレームが、スポーツバイクに乗っているモーターサイクリスト（すなわち、不利なクラス「モーターサイクリスト」）のオブジェクトインスタンスのみを含む場合、このモデルは、スクータに乗っているモーターサイクリストを識別できないことがある。
【0009】
従来、点群フレームに対する予測タスク（セグメンテーションおよびオブジェクト検出など）についてモデルを訓練するために不利なクラスがある疎な点群データセットを用いる問題は、データ拡張を通じて対処されている。データ拡張は、点群フレームに対する予測タスクについてのモデルの訓練の改善を支援できる任意の技術を用いて既存のラベル付けされた点群データセットから新しい訓練サンプル（例えば、新しい意味論的にラベル付けされた点群フレーム）を生成して、より高いモデル精度（すなわち、より良い予測を生成するモデル）を実現するためのプロセスとみなされ得る。上記で特定されている環境多様性問題は、典型的には、１つの点群フレームから物体を抽出し、抽出された物体を他の点群フレームへ注入して、不利なクラスのオブジェクトインスタンスを含む追加の点群フレームを生成することを伴う方法により対処され、この方法は、モデルをさらに訓練するために用いられ得る。オブジェクトインスタンスが注入される点群フレームは、異なる環境に対応し得るので、他の環境における不利なクラスのオブジェクトインスタンスの認識の学習においてモデルを支援し得る。そのような技術の例は、Ｙａｎ Ｙａｎ， Ｙｕｘｉｎｇ Ｍａｏ， Ｂｏ Ｌｉ， "ＳＥＣＯＮＤ： Ｓｐａｒｓｅｌｙ Ｅｍｂｅｄｄｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｔｅｃｔｉｏｎ"， Ｓｅｎｓｏｒｓ ２０１８， １８（１０）， ３３３７； ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．３３９０／ｓ１８１０３３３７； Ａｌｅｘ Ｈ． Ｌａｎｇ， Ｓｏｕｒａｂｈ Ｖｏｒａ， Ｈｏｌｇｅｒ Ｃａｅｓａｒ， Ｌｕｂｉｎｇ Ｚｈｏｕ， Ｊｉｏｎｇ Ｙａｎｇ， Ｏｓｃａｒ Ｂｅｉｊｂｏｍ， "ＰｏｉｎｔＰｉｌｌａｒｓ： Ｆａｓｔ Ｅｎｃｏｄｅｒｓ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄｓ"， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８１２．０５７８４； ａｎｄ Ｙｉｎ Ｚｈｏｕ， Ｏｎｃｅｌ Ｔｕｚｅｌ， "ＶｏｘｅｌＮｅｔ： Ｅｎｄ－ｔｏ－Ｅｎｄ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｂａｓｅｄ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ"， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７１１．０６３９６を含む。データ拡張に対するこれらの既存のアプローチは、典型的には、以下の方式で進む。つまり、まず、オブジェクトインスタンスの周囲の境界ボックスで注釈が付けされた点群フレームからクラスタ（すなわち、物体の点群）を抽出することにより、オブジェクトインスタンスのデータベースが生成される。２番目に、オブジェクトインスタンスは、データベースからランダムに選ばれ、選ばれたオブジェクトインスタンスは、他の点群フレーム内の同様の位置へ注入される。最終的に、物体位置の競合（例えば、オブジェクトインスタンスが注入される目標点群フレーム内の別の物体との空間内の重複）を回避するために、衝突試験が実装される。点群フレームから抽出されたオブジェクトインスタンスは通常、ＬＩＤＡＲセンサの指向性に起因して半分側である。したがって、ＬＩＤＡＲセンサに面する表面を複数の点が画定することなくオブジェクトインスタンスのこの側を回避すべく、オブジェクトインスタンスの注入中、オブジェクトインスタンスの元の位置および姿勢を著しく変更することはできない。これらの既存のアプローチにより、点群フレーム毎の不利なクラスのオブジェクトインスタンスの数が増えることがあり、異なる環境に存在するオブジェクトインスタンスがシミュレートされる。
【0010】
しかしながら、環境多様性問題の解決に対するこれらの既存のアプローチには、典型的には、３つの制限がある。まず、これらは、注入されたオブジェクトインスタンスの表面上に妥当な走査線を生成できず、現実的な物体影（すなわち、注入されたオブジェクトインスタンスの背後に位置するシーン内に他の物体のオクルージョン）を生成することもできない。２番目に、注入されたオブジェクトインスタンスの位置および姿勢は、２つの点群フレーム（すなわち、オブジェクトインスタンスが現れる元の点群フレーム、および、オブジェクトインスタンスが注入される目標点群フレーム）内で必ず同一またはほぼ同一である。３番目に、これらの既存のアプローチは、オブジェクトインスタンスが異なる環境に現れるコンテキストを無視する。例えば、人は通常、歩道に現れるが、このコンテキストは、環境多様性への対処についての既存のアプローチでは考慮されない。さらに、オブジェクトインスタンスが、典型的には、ＬＩＤＡＲセンサに対して同じ向きおよび位置で現れなければならないので、これらのアプローチは、コンテキストにおいて最も意味をなすであろう位置または向きでオブジェクトインスタンスが目標点群フレームへ注入されることを許容しない；例えば、目標点群フレームの全体が、ＬＩＤＡＲセンサから２０メートルだけ離れて延びる小さい駐車場を除いて歩道および建物から成っており、かつ、注入されているオブジェクトインスタンスが、元の点群フレーム内でＬＩＤＡＲセンサから５０メートル離れて位置するトラックである場合、コンテキストにおいて意味を成すであろう位置で目標点群フレームへオブジェクトインスタンスを注入することはできない。
【0011】
オブジェクトインスタンス多様性問題は、典型的には、２つの異なるアプローチを用いて対処されてきた。第１のアプローチは、点群フレーム内の空間位置へ物体のコンピュータ支援設計（ＣＡＤ）モデルを位置決めし、次に、物体のＣＡＤモデル、および目標点群フレームのＬＩＤＡＲパラメータ（例えば、ＬＩＤＡＲセンサの装着姿勢、およびＬＩＤＡＲセンサのレーザが発する各光線のピッチ角）を用いることにより各物体を表す複数の点を生成することを伴う。第１のアプローチの例は、Ｊｉｎ Ｆａｎｇ ， Ｆｅｉｌｏｎｇ Ｙａｎ， Ｔｏｎｇｔｏｎｇ Ｚｈａｏ， Ｆｅｉｈｕ Ｚｈａｎｇ， "Ｓｉｍｕｌａｔｉｎｇ ＬＩＤＡＲ Ｐｏｉｎｔ Ｃｌｏｕｄ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ ｕｓｉｎｇ Ｒｅａｌ－ｗｏｒｌｄ Ｓｃｅｎｅｓ ａｎｄ Ｔｒａｆｆｉｃ Ｆｌｏｗｓ"； ａｎｄ Ｓｉｖａｂａｌａｎ Ｍａｎｉｖａｓａｇａｍ， Ｓｈｅｎｌｏｎｇ Ｗａｎｇ， Ｋｅｌｖｉｎ Ｗｏｎｇ， Ｗｅｎｙｕａｎ Ｚｅｎｇ， Ｍｉｋｉｔａ Ｓａｚａｎｏｖｉｃｈ， Ｓｈｕｈａｎ Ｔａｎ， Ｂｉｎ Ｙａｎｇ， Ｗｅｉ－Ｃｈｉｕ Ｍａ， Ｒａｑｕｅｌ Ｕｒｔａｓｕｎ， "ＬｉＤＡＲｓｉｍ： Ｒｅａｌｉｓｔｉｃ ＬｉＤＡＲ Ｓｉｍｕｌａｔｉｏｎ ｂｙ Ｌｅｖｅｒａｇｉｎｇ ｔｈｅ Ｒｅａｌ Ｗｏｒｌｄ"を含む。
【0012】
第１のアプローチの例は、いかなる制限もなく、物体のＣＡＤモデルを回転させ変換し、妥当な走査線および影を生成することを可能にし得る。環境多様性に対処するための上述のオブジェクトインスタンス注入アプローチとは対照的に、位置および姿勢の制約なく、注入中、コンテキストが考慮され得る。しかしながら、ＣＡＤモデルベースのアプローチには、典型的には、３つの制限がある。まず、ＣＡＤモデルは通常、ＧＴＡＶ（Ｘｉａｎｇｙｕ Ｙｕｅ， Ｂｉｃｈｅｎ Ｗｕ， Ｓａｎｊｉｔ Ａ． Ｓｅｓｈｉａ， Ｋｕｒｔ Ｋｅｕｔｚｅｒ， Ａｌｂｅｒｔｏ Ｌ． Ｓａｎｇｉｏｖａｎｎｉ－Ｖｉｎｃｅｎｔｅｌｌｉ， Ａ ＬｉＤＡＲ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｇｅｎｅｒａｔｏｒ： ｆｒｏｍ ａ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ ｔｏ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ， ａｒＸｉｖ：１８０４．００１０３において説明されている）またはＣＡＲＬＡ（Ａｌｅｘｅｙ Ｄｏｓｏｖｉｔｓｋｉｙ， Ｇｅｒｍａｎ Ｒｏｓ， Ｆｅｌｉｐｅ Ｃｏｄｅｖｉｌｌａ， Ａｎｔｏｎｉｏ Ｌｏｐｅｚ， Ｖｌａｄｌｅｎ Ｋｏｌｔｕｎ， ＣＡＲＬＡ： Ａｎ Ｏｐｅｎ Ｕｒｂａｎ Ｄｒｉｖｉｎｇ Ｓｉｍｕｌａｔｏｒ， ａｒＸｉｖ：１７１１．０３９３８において説明されている）、など、ＬＩＤＡＲシミュレータから取得され、または、３Ｄモデルウェブサイトから購入される。これらの情報源から利用可能な物体のＣＡＤモデルの多様性は、典型的には、非常に制限されている。２番目に、物体の利用可能なＣＡＤモデルのスタイルは、それらがおそらくは対応する現実の物体とは異なり得る。例えば、ヨーロッパのトラックのＣＡＤモデルは、北米の道路環境に対応する点群フレームへ注入される場合、そのようなスタイルを有するトラックが、物体のＣＡＤモデルが認識およびナビゲートを訓練されている環境には実際に存在していないにもかかわらず、非常に現実的に見え得る。３番目に、物体のＣＡＤモデルは、注入されたオブジェクトインスタンスの正確な強度値を提供できない。物体の表面上の点の強度は、レーザが発する光線および光線を反射する表面の間の角度ならびに光線を反射する材料の反射率の関数である。しかしながら、物体の最も利用可能なＣＡＤモデルは、モデルの表面材料の反射率に関するいかなる情報も提供しない。
【0013】
オブジェクトインスタンス多様性問題への対処についての第２のアプローチは、ＷａｙｍｏＴＭ ａｔ ｈｔｔｐｓ：／／ｂｌｏｇ．ｗａｙｍｏ．ｃｏｍ／２０２０／０４／ｕｓｉｎｇ－ａｕｔｏｍａｔｅｄ－ｄａｔａ－ａｕｇｍｅｎｔａｔｉｏｎ－ｔｏ．ｈｔｍｌにより概説されている。物体のＣＡＤモデルを用いて新しいオブジェクトインスタンスを点群フレームへ注入する代わりに、物体の密で完全な点群走査が、新しいオブジェクトインスタンスを目標点群フレームへ注入するために用いられる。物体の密で完全な点群走査の利点は、物体のＣＡＤモデルのものと同様であり、これらのＣＡＤモデルは、注入中、いかなる制限もなく回転および変換でき、妥当な走査線および影を生成することもできる。物体の注入された点群走査の多様性は、グラウンドトゥルース拡張（すなわち、同じ物体の２つまたはそれよりも多くのオブジェクトインスタンスを共に追加すること）、ランダムフリップ（すなわち、例えば水平方向にオブジェクトインスタンスを反転させること）、ワールドスケーリング（すなわち、オブジェクトインスタンスのサイズをスケーリングすること）、グローバル変換ノイズ（すなわち、オブジェクトインスタンスを異なる位置へ変換すること）、円錐台ドロップアウト（すなわち、例えば部分的なオクルージョンをシミュレートするために、オブジェクトインスタンスの見える表面の領域を削除すること）、円錐台ノイズ（すなわち、例えばわずかに異なる表面をシミュレートするために、オブジェクトインスタンスの複数の点の位置をランダムに乱すこと）、ランダム回転（すなわち、軸を中心としたオブジェクトインスタンスの回転）およびランダムドロップポイント（すなわち、例えばより低い解像度での走査をシミュレートするために、オブジェクトインスタンスの複数の点のランダムに選択されたサブセットを削除すること）という８つの異なるデータ拡張方法を用いて上げられ得る。
【0014】
しかしながら、密な点群オブジェクト走査を用いて新しいオブジェクトインスタンスを目標点群フレームへ注入することにも、多数の制限がある。まず、物体の密で完全な点群走査は、このアプローチを実装する必要がある。対照的に、ＬＩＤＡＲにより生成される点群フレーム内のオブジェクトインスタンスは通常、疎かつ半分側である。したがって、このアプローチが実装され得る前に、慎重、密かつ完全に走査された物体の大きいデータセットがアセンブルされる必要があるだろう。２番目に、半分側走査に基づいて物体の完全な点群走査を生成するために、物体対称性が用いられることが多い。しかしながら、歩行者、モーターサイクリストおよび自転車乗用者など、道路環境または他の環境において遭遇する多くの小さい物体は、対称ではない。したがって、対称性に依存して、物体の密な半走査を有する点群フレームを含む既存の点群データセットから外挿することだけでは、物体の点群走査の大きいデータベースをアセンブルする必要性に対処できない。３番目に、物体の密な点群走査は通常、物体の完全な点群走査を撮像すべく異なる地点から撮像されるので、物体の密な点群走査の強度は、正確ではないことがある。例えば、物体の完全な密な走査を生成すべく、３Ｄスキャナが、少なくとも１つの方向において物体を中心として回転させられ得る；これが複数の方向からの同じ点の走査をもたらすことにより、その点の競合する強度測定値が生成され、異なる走査方向に対する、かつ、したがって、互いに一致しない異なる複数の点の強度測定値が生成される。
【0015】
したがって、上述の既存のアプローチの制限のうちの１つまたは複数を克服した点群データセットのためのデータ拡張技術の必要性が存在する。
【発明の概要】
【0016】
本開示は、セグメンテーションまたはオブジェクト検出など、点群フレームに対する予測タスクについて機械学習モデルを訓練することを目的とする、モデル注入を用いた点群データ拡張のためのデバイス、システム、方法および媒体を説明する。本明細書において説明される例示的なデバイス、システム、方法および媒体は、新しい点群オブジェクトインスタンスを目標点群フレーム内の任意の位置における目標点群フレームへ注入して新しい拡張された点群フレームを生成するために用いられ得る表面モデルのライブラリを生成し得る。次に、拡張された点群フレームは、点群フレームに対する予測タスクについて訓練された機械学習モデル（すなわち、機械学習アルゴリズムおよび元の点群データセットを用いて訓練された機械学習モデル）の精度を改善するための訓練データとして用いられ得る。
【0017】
本開示において、「ＬＩＤＡＲ」（「ＬｉＤＡＲ」または「Ｌｉｄａｒ」とも）という用語は、センサがレーザビームを発し、位置、および潜在的には、周囲環境において光を反射する物体からを他の特徴を収集する検知技術である、光検出および測距を指す。
【0018】
本開示において、「点群オブジェクトインスタンス」、または単に、「オブジェクトインスタンス」または「インスタンス」という用語は、単一の物体として定義され得る、自動車、家または歩行者など、単一の定義可能な物体の点群を指す。例えば、典型的には、道路は、オブジェクトインスタンスにはなり得ない；代わりに、道路は、フレームのシーンタイプまたは領域を定義するものとして点群フレーム内で定義され得る。
【0019】
本開示において、「注入」という用語は、点群オブジェクトインスタンスを点群フレームに追加するプロセスを指す。「フレーム」という用語は、別段の記載がない限り、点群フレームを指す；「元の」フレームは、「目標」フレームへの注入のために抽出され得るラベル付けされた点群オブジェクトインスタンスを含むフレームである；ひとたびオブジェクトインスタンスが目標フレームへ注入されると、目標フレームは、「拡張された」フレームと称されることがあり、拡張されたフレームが追加された点群データの任意のデータセットは、「拡張された点群データ」、または単に、「拡張されたデータ」と称されることがある。「注釈」および「ラベル」という用語は、点群フレームまたはそれらの領域にアタッチされたシーンタイプラベルまたは点群フレーム内のオブジェクトインスタンスにアタッチされたオブジェクトクラスラベルなど、点群データとのセマンティックデータの関連付けを示すように同じ意味で用いられている。
【0020】
本開示において、「完全な点群オブジェクト走査」は、物体の複数の表面が点群で表されるように、１つよりも多くの位置から走査された物体に対応する点群を指す。「密な」点群は、表面の面積単位毎の点の数が比較的多い、物体の１つまたは複数の表面に対応する点群を指す。「表面モデル」は、物体の１つまたは複数の表面の３次元モデルを指す；表面は、多角形、点、テクスチャマッピング、および／または３次元表面を表す任意の他の手段として表され得る。
【0021】
本明細書において説明される例示的なデバイス、システム、方法および媒体は、元の点群データセット（すなわち、ラベル付けされた点群フレームのデータセット）内の不利なクラスを強化し得る。表面モデルは、点レベルラベルを有する点群フレーム（例えば、意味論的にセグメント化された点群フレーム）から導出される。元の点群フレーム内のセマンティックラベルでラベル付けされたオブジェクトインスタンスは、不完全（半分側）かつ疎であってよい。しかしながら、本明細書において説明される方法およびシステムは、元の点群フレーム内の不完全で疎なオブジェクトインスタンスから、密な半分側点群オブジェクトインスタンスを導出し得る。これらの密な点群オブジェクトインスタンスは、新しい点群オブジェクトインスタンスを目標フレームへ注入するための表面モデルとして用いられ得る。
【0022】
本明細書において説明される例示的なデバイス、システム、方法および媒体は、オブジェクトインスタンス多様性問題への対処を試みる既存のアプローチでのように物体のＣＡＤモデルまたは物体の完全な密な点群走査を用いて新しい点群オブジェクトインスタンスを目標点群フレームへ注入するのではなく、ＬＩＤＡＲセンサにより生成される実際の点群フレームから導出される点群オブジェクトインスタンスを注入する；しかしながら、説明されている方法およびシステムを活用して、物体のＣＡＤモデルまたは密で完全な点群オブジェクト走査を用いて点群オブジェクトインスタンスを注入することもできる。注入された点群オブジェクトインスタンスは、目標点群フレームを生成するために用いられる異なるタイプのＬＩＤＡＲセンサから受信される点群フレームから取得され得る（例えば、元の点群フレームおよび目標点群フレームを生成するために用いられるＬＩＤＡＲセンサのレーザアレイの範囲および走査線構成は、同じである必要はない）。本明細書において説明される例示的な方法およびシステムを用いて生成される注入された点群オブジェクトインスタンスは、表面における妥当な走査線（例えば、現実の方向、密度および強度）、および現実の影を有する。概して、本明細書において説明される例示的な方法およびシステムを用いて生成される拡張された点群フレームは、ＬＩＤＡＲセンサにより生成される現実の点群フレームと非常に類似し得る。
【0023】
本明細書において説明される例示的な方法およびシステムは、コンテキストを用いて、生成済みの拡張された点群フレームの現実感および有用性をさらに改善するように構成され得る。注入された点群オブジェクトインスタンスのオブジェクトクラス、数、位置および分布は、パラメータを用いて完全に制御され得る。例えば、本明細書において説明される例示的な方法およびシステムが、５人を目標点群フレームへ注入するよう命令された場合、分布を用いて５つの点群オブジェクトインスタンスが注入され得る。各点群オブジェクトインスタンスには、歩道上に位置している確率が９０％あり、道路上に位置している確率が１０％ある。
【0024】
本明細書において説明される例示的な方法およびシステムは、以下の一連の動作を実行して、点群データフレームまたは点群データセットを拡張し得る。まず、ＬＩＤＡＲセンサにより生成され、かつ、点レベルラベルで注釈が付けられた既存の点群フレームを含む点群データセットを処理することにより、表面モデルのライブラリが生成される。ライブラリ生成プロセスは、元の点群フレームからオブジェクトインスタンスを抽出するためのオブジェクト抽出およびクラスタ化に続き、抽出された点群オブジェクトインスタンスから高密度点群オブジェクトインスタンスを導出するための方位角－仰角面に対する点群アップサンプリングを伴い得る。２番目に、ライブラリから選択される点群オブジェクトインスタンスは、拡張された点群フレームを生成するために、目標点群フレームへ注入される。注入プロセスは、点群オブジェクトインスタンスが注入され得る目標点群フレーム内の位置を決定するためのアンカーポイント選択、表面モデルを目標点群フレーム内に位置付けるためのオブジェクト注入、および、表面モデルをダウンサンプリングして目標点群フレーム内のアンカー位置におけるＬＩＤＡＲセンサの走査線をシミュレートし、目標点群フレーム内の他の点群オブジェクトを隠す影を生成するための走査線および影生成を伴い得る。
【0025】
本明細書において説明される方法およびシステムのいくつかの例は、既存のアプローチに対する利点を示し得る。表面モデルのライブラリは、ラベル付けされた点群フレームから直接取得され得るが、物体のＣＡＤモデルおよび密な点群オブジェクト走査を用いてポピュレートされてもよく、本明細書において説明される注入技術の利点を依然として利用してよい。目標点群フレームの表面モデルは、異なるタイプのＬＩＤＡＲセンサにより生成される点群フレームから取得され得る。例えば、３２ビームＬＩＤＡＲセンサにより生成される点群フレームから抽出される点群オブジェクトインスタンスは、６４ビームＬＩＤＡＲセンサにより生成される目標点群フレームへ挿入され得る。注入された点群オブジェクトインスタンスの走査線特性（密度、方向および強度を含む）、および注入された点群オブジェクトインスタンスが投げる影は、現実的にシミュレートされる。注入された点群オブジェクトインスタンスのタイプ、数および注入位置（すなわち、アンカー位置）は、パラメータにより制御され得る。点群フレームのラベル付け時間（すなわち、複数の点をラベル付けするための時間）は、実質的に低減され得る。なぜなら、元の点群フレーム内の対象オブジェクトのみが、高密度点群オブジェクトインスタンスのライブラリをポピュレートするために用いられ、目標点群フレームへ注入される前に、ラベル付けされる必要があるからである；元の点群フレーム内の全ての点をラベル付けする必要はないことがある。
【0026】
いくつかの態様において、本開示は、方法を説明する。点群オブジェクトインスタンスが取得される。点群オブジェクトインスタンスは、表面モデルを生成するために、補間を用いてアップサンプリングされる。
【0027】
いくつかの態様において、本開示は、点群データを拡張するためのシステムを説明する。システムは、プロセッサデバイスおよびメモリを備える。メモリは、点群オブジェクトインスタンス、目標点群フレームおよび機械実行可能命令を格納する。機械実行可能命令は、プロセッサデバイスにより実行された場合、多数の動作をシステムに実行させる。点群オブジェクトインスタンスは、表面モデルを生成するために、補間を用いてアップサンプリングされる。アンカー位置は、目標点群フレーム内で決定される。表面モデルは、変換された表面モデルを生成するために、アンカー位置に基づいて変換される。変換された表面モデルの複数の走査線が生成され、各走査線は、目標点群フレームの複数の走査線と位置合わせされた複数の点を含む。変換された表面モデルの複数の走査線は、拡張された点群フレームを生成するために、目標点群フレームに追加される。
【0028】
方法およびシステムのいくつかの例において、点群オブジェクトインスタンスは、センサ位置に対する点群オブジェクトインスタンスの向きを示す向き情報を含み得る。点群オブジェクトインスタンスは、点群オブジェクトインスタンス内の複数の点の各々について、点強度情報および点位置情報をさらに含む。表面モデルは、点群オブジェクトインスタンスの向き情報、点強度情報および点位置情報を含む。
【0029】
方法およびシステムのいくつかの例において、点群オブジェクトインスタンスは、複数の走査線を含んでよく、各走査線は、複数の点のサブセットを含む。点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、少なくとも１つの走査線に沿って複数の点を追加する段階を含み得る。
【0030】
方法およびシステムのいくつかの例において、点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、複数の走査線の少なくとも１対の走査線の間に複数の点を追加する段階をさらに含み得る。
【0031】
システムのいくつかの例において、線形補間を用いて点を追加する段階は、２つの既存の点の点位置情報の線形補間に基づいて、追加された点に点位置情報を割り当て、２つの既存の点の点強度情報の線形補間に基づいて、追加された点に点強度情報を割り当てる段階を含み得る。
【0032】
いくつかの態様において、本開示は、方法を説明する。目標点群フレームが取得される。目標点群フレーム内のアンカー位置が決定される。物体の表面モデルが取得される。表面モデルは、変換された表面モデルを生成するために、アンカー位置に基づいて変換される。変換された表面モデルの複数の走査線が生成され、各走査線は、目標点群フレームの複数の走査線と位置合わせされた複数の点を含む。変換された表面モデルの複数の走査線は、拡張された点群フレームを生成するために、目標点群フレームに追加される。
【0033】
方法およびシステムのいくつかの例において、表面モデルは、密な点群オブジェクトインスタンスを含み得る。
【0034】
方法およびシステムのいくつかの例において、表面モデルを取得する段階は、点群オブジェクトインスタンスを取得し、補間を用いて点群オブジェクトインスタンスをアップサンプリングして、表面モデルを生成する段階を含み得る。
【0035】
方法およびシステムのいくつかの例において、表面モデルは、コンピュータ支援設計（ＣＡＤ）モデルを含み得る。
【0036】
方法およびシステムのいくつかの例において、表面モデルは、完全な密な点群オブジェクト走査を含み得る。
【0037】
いくつかの例において、方法は、変換された表面モデルの影を決定する段階、影内に位置する目標点群フレームの１つまたは複数の隠された点を識別する段階、および拡張された点群フレームから複数の隠された点を除去する段階をさらに備え得る。
【0038】
方法およびシステムのいくつかの例において、変換された表面モデルの複数の走査線を生成する段階は、２次元画素アレイを含む範囲画像を生成する段階、ここで、各画素は、目標点群フレームの点に対応する、変換された表面モデルを範囲画像上へ投影する段階、および範囲画像の各画素について、画素が変換された表面モデルの投影の少なくとも１つの点を含んでいるという判断に応答して、画素の中心への変換された表面モデルの投影の最近傍点を識別する段階、および最近傍点を走査線に追加する段階を有し得る。
【0039】
方法およびシステムのいくつかの例において、表面モデルは、表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含み得る。目標点群フレームは、目標点群フレームの領域のシーンタイプを示すシーンタイプ情報を含む。アンカー位置を決定する段階は、表面モデルが領域内に位置しているはずであるという、領域のシーンタイプおよび表面モデルのオブジェクトクラスに基づく判断に応答して、アンカー位置を領域内に位置決めする段階を有する。
【0040】
方法およびシステムのいくつかの例において、アンカー位置に基づいて表面モデルを変換する段階は、センサ位置に対する表面モデルの向きを維持しつつ、目標点群フレームのセンサ位置により画定される軸を中心として表面モデルを表面モデル基準方向およびアンカーポイント方向の間で回転させる段階、および表面モデルを基準距離およびアンカーポイント距離の間で変換する段階を有し得る。
【0041】
いくつかの例において、方法は、拡張された点群フレームを用いて機械学習モデルを訓練する段階をさらに備え得る。
【0042】
いくつかの態様において、本開示は、上述の方法のうちの１つまたは複数により生成される表面モデルが格納された非一時的プロセッサ可読媒体を説明する。
【0043】
いくつかの態様において、本開示は、上述の方法のうちの１つまたは複数により生成される拡張された点群フレームが格納された非一時的プロセッサ可読媒体を説明する。
【0044】
いくつかの態様において、本開示は、デバイスのプロセッサデバイスにより実行された場合、上述の方法のうちの１つまたは複数の段階をデバイスに実行させる格納された機械実行可能命令を有する非一時的プロセッサ可読媒体を説明する。
【図面の簡単な説明】
【0045】
ここで、本願の例示的な実施形態を示す添付図面を例として参照する。
【0046】
【図1A】本明細書において説明される実施形態のための動作コンテキストを提供する例示的な簡略化された点群フレームの上方正面右側斜視図である。
【0047】
【図1B】本明細書において説明される実施形態による使用に適切な、「自転車乗用者」オブジェクトクラスでラベル付けされた例示的な点群オブジェクトインスタンスの上方正面右側斜視図である。
【0048】
【0049】
【0050】
【図2】本明細書において説明される例による、表面モデルおよび拡張された点群フレームを生成するための例示的なシステムのいくつかのコンポーネントを示すブロック図である。
【0051】
【0052】
【0053】
【0054】
【0055】
同様のコンポーネントを表すのに同様の参照番号が異なる図において用いられていることがある。
【発明を実施するための形態】
【0056】
本開示は、点群セグメンテーションおよび／またはオブジェクト検出を実行すべく機械学習モデルを訓練するための適応型シーン拡張用の例示的なデバイス、システム、方法および媒体を説明する。
【0057】
図１Ａは、複数の点がＸ、ＹおよびＺの３次元座標系１０２にマッピングされた、例示的な簡略化された点群フレーム１００を示す。Ｚ次元は、典型的には、点群フレーム１００を生成するＬＩＤＡＲセンサまたは他のパノラマセンサの回転軸により画定されるように、上方へ延びる。点群フレーム１００は、多数の点を含み、それらの各々は、この点に対応する物体の反射率を示す強度値など、他の値のベクトルに沿った点群フレーム１００内の一組の座標（ｘ，ｙ，ｚ）により表され得る。各点は、点座標に対応するＬＩＤＡＲセンサに対する空間内の点においてレーザが発する光の反射を表す。例示的な点群フレーム１００が箱形状または矩形のプリズムとして示されている一方で、パノラマＬＩＤＡＲセンサにより撮像される典型的な点群フレームは、典型的には、ＬＩＤＡＲセンサを取り囲む環境の３６０度パノラマビューであり、ＬＩＤＡＲセンサの検出範囲全体に延びていることが理解されるであろう。したがって、例示的な点群フレーム１００は、実際のＬＩＤＡＲにより生成される点群フレームの小さい部分においてより典型的であり、例示目的で用いられる。
【0058】
点群フレーム１００の複数の点が、ＬＩＤＡＲセンサのレーザが発する光が環境内の物体により反射される空間内でクラスタ化され、これにより、ＬＩＤＡＲセンサから見える物体の表面に対応する点のクラスタがもたらされる。第１の点群１１２は、自動車からの反射に対応している。例示的な点群フレーム１００において、第１の点群１１２は、境界ボックス１２２に囲まれており、オブジェクトクラスラベル（この事例では、「自動車」１３２というラベル）に関連付けられている。第２の点群１１４は、境界ボックス１２２に囲まれており、「自転車乗用者」１３４というオブジェクトクラスラベルに関連付けられており、第３の点群１１６は、境界ボックス１２２に囲まれており、「歩行者」１３６というオブジェクトクラスラベルに関連付けられている。したがって、点クラスタ１１２、１１４、１１６の各々は、オブジェクトインスタンス、つまり、「自動車」、「自転車乗用者」および「歩行者」というオブジェクトクラスのインスタンスにそれぞれ対応している。点群フレーム１００全体が「交差点」というシーンタイプラベル１４０に関連付けられており、これは、点群フレーム１００が全体として交差点の近くの環境に対応している（故に、自動車、歩行者および自転車乗用者は、互いに近接して存在している）ことを示す。
【0059】
いくつかの例において、単一の点群フレームは、異なるシーンタイプラベル１４０に各々が関連付けられ得る複数のシーンを含み得る。したがって、単一の点群フレームは、各領域がその独自のシーンタイプラベル１４０に関連付けられた複数の領域へセグメント化され得る。単一のシーンタイプのみに関連付けられた単一の点群フレームを参照して、例示的な実施形態を本明細書において概して説明する；しかしながら、いくつかの実施形態では、本明細書において説明されるデータ拡張方法およびシステムを用いた点群オブジェクトインスタンス注入について点群フレーム内の各領域を別々に考慮し得ることが理解されるであろう。
【0060】
各境界ボックス１２２は、サイズ設定されて位置付けられており、物体ラベル１３２、１３４、１３６の各々は、各点クラスタに関連付けられており、シーンラベルは、ラベル付けされた点群フレームを生成するための機械学習分野において既知であるデータラベル技術を用いて、点群フレーム１００に関連付けられている。上述のように、これらのラベル付け技術は概して、非常に時間がかかるものであり、かつ、リソース集中型である；本明細書において説明されるデータ拡張技術は、点群フレーム１００内のラベル付けされた点群オブジェクトインスタンスの数を増やすことにより、点群フレーム内の点群オブジェクトインスタンスを手動で識別およびラベル付けするために必要とされる時間およびリソースを低減するために、いくつかの例において用いられ得る。
【0061】
図１Ａに示される例示的な点群フレーム１００のラベルおよび境界ボックスは、オブジェクト検出のコンテキストにおいて適用されるラベルに対応しており、したがって、例示的な点群フレームは、点群フレーム上のオブジェクト検出用の機械学習モデルを訓練するために用いられる点群データセットに含まれ得る。しかしながら、本明細書において説明される方法およびシステムは、点群フレーム上のオブジェクト検出のモデルのみではなく、点群フレームのセマンティックセグメンテーション、インスタンスセグメンテーションまたはパノラマセグメンテーションを含む、点群フレーム上のセグメンテーションのモデルにも等しく適用可能である。
【0062】
【0063】
図２は、点群フレームを拡張する（または点群フレームを含む点群データセットを拡張する）ためのコンピューティングシステム２００（以下、システム２００と称される）のブロック図である。システム２００の例示的な実施形態が以下に示され説明されるが、示されるものとは異なるコンポーネントを含み得る、本明細書において開示される例を実装するために、他の実施形態が用いられ得る。図２はシステム２００の各コンポーネントの単一のインスタンスを示しているが、示されている各コンポーネントの複数のインスタンスが存在し得る。
【0064】
システム２００は、中央処理装置、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用論理回路、テンソル処理ユニット、ニューラル処理ユニット、専用人工知能処理ユニット、またはそれらの組み合わせなど、１つまたは複数のプロセッサ２０２を含む。１つまたは複数のプロセッサ２０２は、「プロセッサデバイス」または「プロセッサ２０２」と総称され得る。
【0065】
システム２００は、揮発性または不揮発性メモリ（例えば、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）および／またはリードオンリメモリ（ＲＯＭ））を含み得る１つまたは複数のメモリ２０８（「メモリ２０８」と総称される）を含む。非一時的メモリ２０８は、本開示において説明される例の実行など、プロセッサ２０２による実行のための機械実行可能命令を格納し得る。メモリ２０８に格納されている、ライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４を定義する機械実行可能命令２２０のセットが示されており、その各々は、プロセッサ２０２により、本明細書において説明される方法の段階を実行するために実行され得る。ライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４を定義する機械実行可能命令２２０のセットを実行する際のシステム２００の動作を、図３を参照して、以下で説明する。シーン拡張モジュール３００を定義する機械実行可能命令２２０は、それらの各サブモジュール３１２、３１４、３１６、３１８、３２０、３２２の機能を実行するために、プロセッサ２０２により実行可能である。メモリ２０８は、例えば、オペレーティングシステムおよび他のアプリケーションまたは機能を実装するために、他の機械実行可能命令を含み得る。
【0066】
メモリ２０８は、点群データセット２１０を含むデータセットを格納する。図１を参照して上述したように、点群データセット２１０は、複数の点群フレーム２１２および複数のラベル付けされた点群オブジェクトインスタンス２１４を含む。いくつかの実施形態において、ラベル付けされた点群オブジェクトインスタンス２１４のいくつかまたは全てが、点群フレーム２１２内に含まれ、および／または点群フレーム２１２から導出される。図１を参照して上述したように、例えば、各点群フレーム２１２は、０またはそれよりも多いラベル付けされた点群オブジェクトインスタンス２１４を含み得る。いくつかの実施形態において、ラベル付けされた点群オブジェクトインスタンス２１４のいくつかまたは全てが、点群フレーム２１２から別々に格納され、ラベル付けされた点群オブジェクトインスタンス２１４の各々は、点群フレーム２１２のうちの１つ内から生じてよく、またはそうでなくてよい。図３および図４を参照して以下で説明されるライブラリ生成モジュール３３０は、いくつかの実施形態における１つまたは複数の点群フレーム２１２から１つまたは複数のラベル付けされた点群オブジェクトインスタンス２１４を抽出するための動作を実行し得る。
【0067】
メモリ２０８は、機械学習モデル２２４、１つまたは複数の表面モデルを含む表面モデルライブラリ２２２、目標点群フレーム２２６、目標表面モデル２２８（表面モデルライブラリ２２２）から選択される）、変換された表面モデル２３２および拡張された点群フレーム２３０を含む、本明細書において説明される他のデータ、情報、ルール、ポリシーおよび機械実行可能命令も格納し得る。
【0068】
いくつかの例において、システム２００は、ソリッドステートドライブ、ハードディスクドライブ、磁気ディスクドライブおよび／または光ディスクドライブなど、１つまたは複数の電子ストレージユニット（不図示）も含み得る。いくつかの例において、１つまたは複数のデータセットおよび／またはモジュールが、外部メモリ（例えば、システム２００）との有線または無線通信における外部ドライブ）により提供されてよく、または一時的または非一時的コンピュータ可読媒体により提供されてよい。非一時的コンピュータ可読媒体の例は、ＲＡＭ、ＲＯＭ、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、ＣＤ－ＲＯＭまたは他のポータブルメモリストレージを含む。ストレージユニットおよび／または外部メモリは、システム２００のデータ格納、取得およびキャッシュ機能を実装するために、メモリ２０８と併せて用いられ得る。
【0069】
システム２００のコンポーネントは、例えばバスを介して互いに通信し得る。いくつかの実施形態において、システム２００は、クラウドコンピューティングプラットフォームなど、分散システムであり、ネットワークを介して互いに通信している複数のコンピューティングデバイス、および任意選択的に、１つまたは複数の追加のコンポーネントを含み得る。本明細書において説明される様々な動作は、いくつかの実施形態において、分散システムの異なるデバイスにより実行され得る。
【0070】
図３は、システム２００のプロセッサ２０２により実行される、例示的なライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４の動作を示す。図示される実施形態において、ライブラリ生成モジュール３３０は、いくつかの機能サブモジュールまたはサブモジュール（インスタンス抽出サブモジュール３１２およびアップサンプリングサブモジュール３１４）を含み、データ拡張モジュール３４０は、いくつかの機能サブモジュール（フレーム選択サブモジュール３１６、変換サブモジュール３１８、インスタンス注入サブモジュール３２０および表面モデル選択サブモジュール３２２）を含む。他の例において、サブモジュール３１２、３１４、３１６、３１８、３２０、３２２のうちの１つまたは複数が、組み合わされてよく、複数のサブモジュールへ分割されてよく、および／または、とりわけサブモジュールの間で再分配される機能または動作のうちの１つまたは複数を有してよい。いくつかの例において、ライブラリ生成モジュール３３０、データ拡張モジュール３４０および／または訓練モジュール２３４は、追加の動作またはサブモジュールを含んでよく、または図示されているサブモジュール３１２、３１４、３１６、３１８、３２０、３２２のうちの１つまたは複数を省略してよい。
【0071】
【0072】
図４は、表面モデルを生成する例示的な方法４００の段階を示すフローチャートである。説明したように、方法４００の段階は、図３に示されるライブラリ生成モジュール３３０の様々なサブモジュールにより実行される。しかしながら、方法４００は、任意の適切な情報処理技術により実行され得ることが理解されるであろう。
【0073】
方法４００は、段階４０２において開始する。４０２において、インスタンス抽出サブモジュール３１２は、点群データセット２１０から点群オブジェクトインスタンスを抽出することにより、抽出されたインスタンス３０６を生成する。
【0074】
図１Ｂは、ＬＩＤＡＲセンサ（または、上述の他の３Ｄセンサ）により生成される点群フレーム２１２内の例示的なラベル付けされた点群オブジェクトインスタンス１４８の詳細図を示す。図示されている点群オブジェクトインスタンス１４８（例えば、点群データセット２１０から選択されるラベル付けされた点群オブジェクトインスタンス２１４のうちの１つ）は、図１Ａの第２の点群１１４（すなわち、「自転車乗用者」の点群オブジェクトインスタンス）から成っており、複数の点１４２は、走査線１４４に沿って配置されている。したがって、ラベル付けされた点群オブジェクトインスタンス１４８は、複数の走査線１４４を含み、各走査線１４４は、ラベル付けされた点群オブジェクトインスタンス１４８の複数の点１４２のサブセットを含む。走査線１４４は、複数の測定値の中間の方位角方向に沿って動くＬＩＤＡＲセンサのレーザが発する光が物体（この事例では、自転車乗用者）により反射され、ＬＩＤＡＲセンサにより検出される複数の点に対応している。図示されている例において、走査線１４４の方向を画定する方位角方向は、おおよそ水平（すなわち、点群フレームの座標系１０２により画定されるＸ－Ｙ平面上）である。図１Ａを参照して上述したように、ラベル付けされた点群オブジェクトインスタンス１４８は、「自転車乗用者」オブジェクトクラスラベル１３４および複数の点を囲む境界ボックス１２２を含む。
【0075】
いくつかの実施形態において、オブジェクトクラスラベル１３４および境界ボックス１２２など、セマンティック情報が、インスタンス抽出段階４０２の一部として、インスタンス抽出サブモジュール３１２により、点群オブジェクト検出および／または点群フレームセグメンテーションについての既知の技術を用いて生成され得る。他の実施形態において、点群データセット２１０の点群フレーム２１２は、セマンティック情報のラベルおよび注釈を付けられているラベル付けされた点群オブジェクトインスタンス２１４を既に含んでいる。
【0076】
インスタンス抽出サブモジュール３１２は、（例えば、点群フレーム２１２から）点群フレームを取得し、点群フレーム内の所与のオブジェクトクラスラベル１３４でラベル付けされた複数の点を識別する。物体の複数のインスタンスが、オブジェクトクラスラベルのみで一様に注釈を付けられるように、かつ、個々のオブジェクトインスタンスへセグメント化されないように、セマンティックセグメンテーションを用いてフレームに注釈が付けられている場合、インスタンス抽出サブモジュール３１２は、オブジェクトクラスラベル１３４で注釈が付けられた複数の点をクラスタ化して、ラベル１３４により示されるオブジェクトクラスの個々のオブジェクトインスタンスを（例えば、パノラマ的またはインスタンスセグメンテーションを用いて、またはオブジェクト認識を用いて）生成し得る。
【0077】
ラベル付けされた点群オブジェクトインスタンス１４８、およびオブジェクト抽出プロセスにより生成される抽出されたインスタンス３０６は、センサ位置に対するラベル付けされた点群オブジェクトインスタンス１４８の向きを示す向き情報を含み得る。例えば、点群フレーム２１２内の複数の点１４２を生成するために用いられるＬＩＤＡＲセンサのレーザが発する光線の投影方向は、抽出されたインスタンス３０６の一部として記録され、例えば、座標系１０２を用いた方向ベクトルとして定義され得る。各点１４２は、座標系１０２内の（ｘ，ｙ，ｚ）座標のセットを含むフォーマットで記録され得る。したがって、点１４２の強度値は、物体表面からの光の反射地点における物体表面の反射率の関数として、ならびに、この点を生成するために用いられるＬＩＤＡＲセンサが発する光線を画定する方向ベクトルおよび点１４２の空間座標の間の関係、すなわち、抽出されたインスタンス３０６の向き情報として理解され得る。したがって、向き情報は、光線の方向ベクトルおよび空間内のその点における光を反射する物体の表面法線の間の関係を表すために用いられる。向き情報は、オクルージョンおよび強度値が正確に表されるように、目標点群フレーム（すなわち、点群オブジェクトインスタンスが注入されている点群フレーム）のセンサ位置に対する注入された点群オブジェクトインスタンスの向きを維持するために、注入プロセス（図５を参照して以下で説明される）中に用いられ得る。
【0078】
図１Ａを参照して上述したように、ラベル付けされた点群オブジェクトインスタンス１４８、およびオブジェクト抽出プロセスにより生成される抽出されたインスタンス３０６は、各点１４４について、点強度情報（例えば、強度値）および点位置情報（例えば、空間（ｘ，ｙ，ｚ）座標）ならびに、潜在的に、他のタイプの情報も含み得る。
【0079】
４０４において、アップサンプリングサブモジュール３１４が、抽出された点群オブジェクトインスタンス３０６をアップサンプリングして、図１Ｃに示される自転車乗用者表面モデル１５２など、表面モデルを生成する。
【0080】
図１Ｃは、図１Ｂに示される自転車乗用者オブジェクトインスタンス１４８の抽出された点群オブジェクトインスタンス３０６に基づいてアップサンプリングサブモジュール３１４により生成される自転車乗用者の例示的な表面モデル１５２を示す。アップサンプリングサブモジュール３１４は、抽出された点群オブジェクトインスタンス３０６の点群クラスタ（すなわち、自転車乗用者を表す第２の点群クラスタ１１４）を、線形補間を用いてアップサンプリングして、各走査線１４４に沿って、かつ、走査線１４４の間に、クラスタ内の点の数を増やす。回転走査式ＬＩＤＡＲセンサにより撮像される点群オブジェクトインスタンスは通常、垂直方向（例えば、Ｚ軸におおよそ平行な仰角方向）および水平方向（例えば、Ｘ－Ｙ平面におおよそ平行な方位角方向１５７）において非常に異なる点密度を有する。多角形メッシュを用いて表面を表す従来の表面生成方法、例えば、ｇｒｅｅｄｙ表面三角測量およびデローネイ三角測量アルゴリズムは、穴を有する多角形メッシュから成る表面を生じさせ、これにより、走査線および影生成（図５を参照して以下で説明される）中、穴と、表面の影エリアに現れる複数の点とに対応するエリア内の複数の点を欠いた複数の走査線がもたらされ得る。本明細書において説明される方法およびシステムの例では、対照的に、点群オブジェクトインスタンスは、回転走査式ＬＩＤＡＲセンサの特性を利用することにより直接アップサンプリングされ得る。まず、各走査線の複数の点１４２に対して線形補間が実行され、走査線１４４の既存の複数の点１４２の中間に新しい複数の点１５５を追加することにより、水平方向における各走査線１４４の点密度が上がる。２番目に、薄いスライディングウィンドウ１５６を用いて、複数の点１４２のセットが方位角１５７に沿って分離される（すなわち、ウィンドウ１５６により、垂直方向に互いにおおまかに位置合わせされた複数の走査線１４４上に位置する複数の点１４２が分離される）。線形補間を用いて走査線１４４の中間に新しい複数の点１５４を追加することにより、垂直方向における複数の点１４２の密度が上がる。したがって、走査線１４４に沿って複数の点１５５を追加すること、および複数対の走査線１４４の間に複数の点１５４を追加することにより（両方の事例において線形補間が用いられる）、点群オブジェクトインスタンス１４８がアップサンプリングされる。
【0081】
追加された複数の点１５５、１５４は、線形補間を用いて、追加された複数の点１５５、１５４に点位置情報および点強度情報の両方を割り当てる。このアップサンプリングは、方位角－仰角面、すなわち、方位角方向１５７に沿った、垂直方向に分離されたレーザの掃引により画定される平面に対して（例えば、センサ位置を中心として垂直方向に分離された円弧において）実行され得る。アップサンプリングサブモジュール３１４により生成される表面モデルの密度は、補間の間隔、例えば、ライブラリ生成モジュール３３０のユーザにより定義されるパラメータを定義することにより制御され得る。図５を参照して以下で説明するように、表面モデルが十分に密である場合において、複数の点が表面モデルにより隠されるはずであるときは、影生成は、点群フレーム内に残される複数の点を一切もたらさないはずである。
【0082】
アップサンプリングサブモジュール３１４は、表面モデルの生成において用いられる点群オブジェクトインスタンス１４８の向き情報、点強度情報および点位置情報など、表面モデルにおける他の情報を含む。表面モデルが操作され得る空間内の単一の点を示す基準点１５８も、表面モデルに含まれ得る。いくつかの実施形態において、基準点１５８は、境界ボックス１２２の水平次元内の中心位置における、境界ボックス１２２の底面上または底面の近くに位置し、［ｘｍｅａｎ、ｙｍｅａｎ、ｚｍｉｎ］として、すなわち、境界ボックスのＸ－Ｙ長方形の水平中心におけるｘおよびｙ値、および、境界ボックスの最も低いｚ値を用いて計算され得る。元のフレームのセンサ位置から、Ｘ－Ｙ平面上へ投影される基準点１５８までの距離ｄ（例えば、
として計算される）を示す距離情報も含まれ得る。
【数1】
【0083】
４０６において、アップサンプリングサブモジュール３１４が表面モデルライブラリ２２２に表面モデルを追加する。所与のオブジェクトクラスの全ての表面モデルが容易に取得され得るように、表面モデルライブラリ２２２に含まれる表面モデルは、それらのそれぞれのオブジェクトクラスラベル１３４に関連付けて（例えば、キーまたはインデックスを付けて）格納され得る。次に、表面モデルライブラリ２２２は、必要に応じて格納または分散されてよく、例えば、システム２００のメモリ２０８に格納され、システム２００によりアクセス可能な中心位置に格納され、および／または非一時的記憶媒体上に分散されてよい。格納された表面モデルライブラリ２２２は、訓練モジュール２３４による使用のために、システム２００によりアクセス可能であってよい。
【0084】
【0085】
図５は、目標点群フレームへ表面モデルを注入する例示的な方法５００の段階を示すフローチャートである。説明したように、方法５００の段階は、図３に示されるデータ拡張モジュール３４０の様々なサブモジュールサブモジュールにより実行される。しかしながら、方法５００は、任意の適切な情報処理技術により実行され得ることが理解されるであろう。
【0086】
この方法は、段階５０２において開始する。５０２において、例えば、ライブラリ生成モジュール３３０により実行される図４の表面モデル生成方法４００を用いることにより、表面モデルライブラリ２２２が生成される。いくつかの実施形態において、段階５０２は、省略されてよく、表面モデル注入方法５００の実行前に、１つまたは複数の予め生成された表面モデルが取得され得る。
【0087】
５０４において、データ拡張モジュール３４０により目標点群フレーム２２６が取得される。目標点群フレーム２２６は、フレーム選択サブモジュール３１６により、点群データセット２１０から選択され得る。いくつかの例において、点群データセット２１０の全ての点群フレーム２１２が、拡張のためにデータ拡張モジュール３４０へ提供されてよく、一方で、他の例では、点群フレーム２１２のサブセットのみが提供される。単一の選択された目標点群フレーム２２６を拡張するために、方法５００の１回の反復が用いられる。
【0088】
５０６において、目標点群フレーム２２６への注入のために、表面モデルが選択および準備される。インスタンス注入サブモジュール３２０は、目標点群フレーム２２６、およびいくつかの実施形態において、表面モデルの選択および表面モデルの目標点群フレーム２２６への注入を制御するために用いられる制御パラメータを受信し得る。
制御パラメータの例示的なフォーマットは、
｛人，２，［道路，歩道，駐車場］，［５％，９０％，５％］｝
であり、「人」オブジェクトクラスの２つのインスタンスが目標点群フレーム２２６へ注入されることを示す。各「人」オブジェクトインスタンスは、それぞれ５％、９０％および５％という確率で「道路」、「歩道」または「駐車場」というシーンタイプのシーンタイプラベル１４０でラベル付けされた目標点群フレーム２２６内の複数の領域へ注入され得る。そのような例では、方法５００の段階５０６および５１６は、（これら２つの点群オブジェクトインスタンスの各々について表面モデルを選択および注入するために）２回繰り返されるであろう。
制御パラメータの例示的なフォーマットは、
｛人，２，［道路，歩道，駐車場］，［５％，９０％，５％］｝
であり、「人」オブジェクトクラスの２つのインスタンスが目標点群フレーム２２６へ注入されることを示す。各「人」オブジェクトインスタンスは、それぞれ５％、９０％および５％という確率で「道路」、「歩道」または「駐車場」というシーンタイプのシーンタイプラベル１４０でラベル付けされた目標点群フレーム２２６内の複数の領域へ注入され得る。そのような例では、方法５００の段階５０６および５１６は、（これら２つの点群オブジェクトインスタンスの各々について表面モデルを選択および注入するために）２回繰り返されるであろう。
【0089】
段階５０６は、サブ段階５０８、５１０および５１２を含む。サブ段階５０８において、インスタンス注入サブモジュール３２０は、例えば、制御パラメータにより示されるシーンタイプ確率分布に基づいて、目標点群フレーム２２６内のアンカーポイントを決定する。サブ段階５１２を参照して以下で説明するように、アンカーポイントは、注入された点群オブジェクトインスタンスを目標点群フレーム２２６内に位置付けるために用いられる。
【0090】
いくつかの実施形態において、アンカーポイントは、３つの段階において生成され得る。まず、目標点群フレーム２２６のシーンタイプラベル１４０およびオブジェクトクラスラベルを用いて全ての可能なアンカーポイントが識別されることで、点群オブジェクトインスタンスが目標点群フレーム２２６へ現実的に（例えば、目標点群フレーム２２６内の他の物体との衝突制約に基づいて）注入され得る領域内の適切な領域および位置が識別される。２番目に、制御パラメータおよび任意の他の制約または要因に基づき、可能なアンカーポイントの各々の確率ｐが計算される。３番目に、計算された確率に基づき、アンカーポイントが選択される；例えば、最も高い計算された確率を有する潜在的なアンカーポイントがアンカーポイントとして選択され得る。
【0091】
各アンカーポイント候補の確率ｐは、ｐ＝ｐｐｏｓ・ｐｃｌａｓｓとして計算され得る。ｐｐｏｓは、グラウンドプレーン上でアンカーポイントを一様に選択するために用いられる確率係数である。回転走査式ＬＩＤＡＲセンサの場合、各点は、その点においてレーザが発する光線を反射する物体の異なるエリアに対応し、センサ位置に近い複数の点は、センサ位置から遠い複数の点のものよりも小さいエリアをカバーする。アンカーポイントは、典型的には、グラウンド面により反射される、目標点群フレーム２２６の複数の点から選択される。各点の選択確率は、そのカバーされるエリアに比例し得る；そうでなければ、アンカーポイントのうちのほとんどが、センサ位置の近くに生成される。したがって、ｐｐｏｓは、
として計算され得る。
【数2】
【0092】
ｐｃｌａｓｓの値は、制御パラメータ、すなわち、所与のシーンタイプラベル１４０でラベル付けされた領域内に位置しているアンカーポイントの確率により決定され得る。したがって、目標点群フレーム２２６は、目標点群フレーム２２６の１つまたは複数の領域のシーンタイプを示すシーンタイプ情報（例えば、シーンタイプラベル１４０）を含み、このシーンタイプ情報は、アンカーポイント候補からアンカーポイントを選択するために確率ｐの計算により用いられるｐｃｌａｓｓの値を決定するために用いられ得る。いくつかの実施形態において、確率ｐの計算により、表面モデルが所与の領域内に位置しているはずである、と、この領域のシーンタイプおよび表面モデルのオブジェクトクラスに基づき、本質的に判断される。サブ段階５１２において以下で説明するように、この領域内の複数のアンカーポイント候補からアンカーポイントがひとたび選択されると、このアンカーポイントが選択され、この領域内の目標点群フレーム２２６のグラウンド面上の対応する位置（アンカー位置と称される）が、表面モデルの位置決めおよび注入のための位置として用いられる。
【0093】
サブ段階５１０において、表面モデル選択サブモジュール３２２は、例えば、上述の制御パラメータにおいて識別されるオブジェクトクラスに関連付けられた表面モデルを表面モデルライブラリ２２２から選択することにより、目標表面モデル２２８を取得する。いくつかの例において、表面モデルライブラリ２２２は、上述の方法４００により生成されるものなど、密な点群オブジェクトインスタンスとして格納される表面モデルを含む。いくつかの例において、表面モデルライブラリ２２２は、コンピュータ支援設計（ＣＡＤ）モデルとして格納される表面モデルを含む。いくつかの例において、表面モデルライブラリ２２２は、完全な密な点群オブジェクト走査、すなわち、複数の見晴らしの良い地点から走査された物体を表す密な点群として格納される表面モデルを含む。本明細書において説明される例では、方法４００により生成されるものなど、密な点群オブジェクトインスタンスから成る表面モデルの使用を参照する。しかしながら、本明細書において説明される方法およびシステムは、ＣＡＤモデルおよび完全な密な点群オブジェクト走査など、他の表面モデルタイプにも適用可能である（方法４００により生成される密な点群オブジェクトインスタンスの使用により示され得る利点の全てをそれらの表面モデルタイプの使用が示し得ない場合でも）ことが理解されるであろう。
【0094】
表面モデルライブラリ２２２に格納される各表面モデルは、表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含み得る。表面モデル選択サブモジュール３２２は、上述の制御パラメータおよびアンカーポイント選択により規定される他の制約を満たす、ライブラリ２２２内の所与のオブジェクトクラスの全ての表面モデルのリストを取得し得る。例えば、表面モデル選択サブモジュール３２２は、距離制約｜ｒＲ｜≦｜ｒＡ｜を課し、これにより、センサ位置から目標点群フレーム２２６内のアンカーポイントまでの距離を示す、アンカーポイント範囲｜ｒＡ｜よりも小さいかまたはそれに等しい距離ｄ（基準範囲｜ｒＲ｜とも称される）を示す関連付けられた距離情報を選択された目標表面モデル２２８が有していることを要求し得る。制約（例えば、オブジェクトクラスおよび空間の制約）を満たすライブラリ２２２内に全ての表面モデルのリストがひとたび取得または生成されると、任意の適切な選択基準、例えばランダム選択を用いて、リストから表面モデルが選択され得る。
【0095】
サブ段階５１２において、選択された目標表面モデル２２８は、変換サブモジュール３１８により、アンカー位置に基づき変換され、変換された表面モデル２３２が生成される。表面モデル変換の一例が、図１Ｄに示される。
【0096】
図１Ｄは、変換された表面モデル２３２を生成するための目標表面モデル２２８の変換の上面図を示す。目標表面モデル２２８は、境界ボックス１２２を有する自転車表面モデル１５２、「自転車」オブジェクトクラスラベル１３４、基準点１５８、および、境界ボックス１２２の縁部およびセンサ位置１６６から基準点１５８まで延びる基準ベクトル１７２により示される基準方向の間の配向角１６８として示される向き情報として示されている。基準ベクトル１７２は、距離ｄ（すなわち、基準範囲｜ｒＲ｜）に等しい長さを有する。
【0097】
上記のサブ段階５０８において決定されるアンカーポイントは、センサ位置１６６からアンカーポイント方向を指すアンカーポイントベクトル１７０を画定する、目標点群フレーム２２６内のアンカー位置１６０に位置している。アンカーポイントベクトル１７０の長さは、アンカーポイント範囲｜ｒＡ｜である。
【0098】
変換サブモジュール３１８は、基準方向（すなわち、基準ベクトル１７２のもの）およびアンカーポイント方向（すなわち、アンカーポイントベクトル１７０のもの）の間の回転角θを計算する。次に、目標表面モデル２２８は、回転角θ（すなわち、基準ベクトル１７２により画定される表面モデル基準方向およびアンカーポイントベクトル１７０）により画定されるアンカーポイント方向の間のもの）の分だけ、センサ位置１６６に対する表面モデルの向きを維持（すなわち、同じ配向角１６８を維持）しつつ、目標点群フレーム２２６のセンサ位置１６６により画定される軸を中心として回転する。
【0099】
次に、表面モデルの範囲または距離は、変換、すなわち、直線移動を用いて調整される。変換サブモジュール３１８は、基準距離（すなわち、基準ベクトル１７２の長さにより画定される基準範囲｜ｒＲ｜）およびアンカーポイント距離（すなわち、アンカーポイントベクトル１７０の長さにより画定されるアンカーポイント範囲｜ｒＡ｜）の間の表面モデルを変換する。
【0100】
いくつかの例において、次に、表面モデルは、点群データへのオブジェクトインスタンス注入へより大きな多様性を導入することにより、機械学習モデルを訓練する目的でデータ拡張プロセスの有効性を潜在的に上げるべく、アンカー位置１６０に対して多少の量だけ、垂直方向および／または水平方向に適宜スケーリングされ得る。
【0101】
変換された表面モデル２３２は、目標表面モデル２２８に対して実行される上述の回転、変換およびスケーリング動作の最終結果である。いくつかの例において、インスタンス注入サブモジュール３２０により、変換された表面モデル２３２に対して衝突試験が実行され得る；変換された表面モデル２３２が目標点群フレーム２２６内の他の物体と競合（例えば、衝突または交差）する場合、方法４００は、段階５０６へ戻って、変換のために、新しいアンカーポイントを決定し、新しい表面モデルを選択してよく、このプロセスは、適切な変換された表面モデル２３２が生成されて目標フレーム２２６内に位置付けられるまで、繰り返されてよい。
【0102】
５１６において、インスタンス注入サブモジュール３２０は、表面モデルに基づき、点群オブジェクトインスタンスを目標点群フレーム２２６へ注入する。段階５１６は、サブ段階５１８および５２０を含む。
【0103】
段階５１６の前に、インスタンス注入サブモジュール３２０は、上述のように、フレーム選択サブモジュール３１６から目標点群フレーム２２６を、変換サブモジュール３１８から変換された表面モデル２３２を取得済みである。変換された表面モデル２３２は、目標点群フレーム２２６の座標系１０２内に位置付けられる。しかしながら、変換された表面モデル２３２は、その表面上に走査線１４４がなく、目標点群フレーム２２６内の他の点を隠す影を落とさない。
【0104】
サブ段階５１８において、インスタンス注入サブモジュール３２０は、変換された表面モデル２３２の表面上に走査線１４４を生成して、目標点群フレーム２２６へ注入される点群オブジェクトインスタンスを生成する。変換された表面モデル２３２の走査線１４４を目標点群フレーム２２６に追加することにより、変換された表面モデルの表面にマッピングされた走査線１４４の複数の点から成る注入された点群オブジェクトインスタンスを含む、拡張された点群フレーム２３０が生成される。
【0105】
変換された表面モデル２３２の各走査線１４４は、目標点群フレーム２２６の走査線と位置合わせされた複数の点１４２として生成される。いくつかの実施形態において、目標点群フレーム２２６の走査線は、目標点群フレーム２２６を生成するために用いられるＬＩＤＡＲセンサの解像度に対応する範囲画像上へ変換された表面モデル２３２を投影することにより、シミュレートされ得る。したがって、例えば、範囲画像は目標点群フレーム２２６内の全ての点のセットであり、各点の空間（ｘ，ｙ，ｚ）座標が（方位角，仰角，距離）座標へ変換され、次に、各点が（方位角，仰角）平面における２次元画素アレイの画素を画定するために用いられる、と考えられ得る。この２次元画素アレイは、範囲画像である。方位角座標は、センサ位置のＺ軸を中心とした角回転を示してよく、仰角座標は、Ｘ－Ｙ平面に対する仰角または凹みの角度を示してよい。変換された表面モデル２３２の複数の点を目標点群フレーム２２６の範囲画像上へ投影することにより、インスタンス注入サブモジュール３２０は、目標点群フレーム２２６を生成するために用いられるＬＩＤＡＲセンサにより実行される走査の光線の複数の点に対応するエリアに含まれる、変換された表面モデル２３２のそれらの点を識別し得る。変換された表面モデル２３２の投影の少なくとも１つの点を含む範囲画像の各画素について、各画素の中心に最も近い変換された表面モデル２３２のみが保持され、保持された点は、変換された表面モデル２３２の表面に走査線１４４をポピュレートするために用いられる。所与の走査線１４４の複数の点は、範囲画像の画素の行に対応する。保持された点は、範囲画像画素の中心の仰角と位置合わせするために、仰角方向に動かされる。これにより、その行内の画素によって生成される各点の全てが同じ仰角を有することで走査線１４４が正確に上がることが保証される。
【0106】
いくつかの実施形態において、範囲画像は、目標点群フレーム２２６の変換された複数の点の実際の（方位角，仰角）座標から導出される；しかしながら、他の実施形態では、目標点群フレーム２２６を生成するために用いられるＬＩＤＡＲセンサの解像度（目標点群フレーム２２６に関連付けられた情報として格納されてよく、または、目標点群フレーム２２６の２つまたはそれよりも多くの点から導出されてよい）を取得すること、および、範囲画像の画素を目標点群フレーム２２６の複数の点に１：１でマッピングしないで、対応する解像度の範囲画像を生成することにより、計算的負荷がより低い態様で範囲画像を生成し得る。いくつかの実施形態において、解像度に基づく範囲画像は、生成された後、フレームの１つまたは複数の点と位置合わせされ得る。
【0107】
拡張された点群フレーム２３０内で、変換された表面モデル２３２が破棄され、上述のように生成された走査線１４４のみが残る。しかしながら、これは、変換された表面モデル２３２の破棄の前に、サブ段階５２０において影を生成するために用いられ得る。インスタンス注入サブシステム３２０は、変換された表面モデル２３２が落とす影を決定し、影内に位置する目標点群フレーム２２６の１つまたは複数の隠された点を識別し、隠された点を拡張された点群フレーム２３０から除去する。範囲画像は、各画素のエリアに含まれる目標点群フレーム２２６の全ての既存の点を識別するために用いられる。サブ段階５１８において生成される走査線１４４の少なくとも１つの点を含む各画素は、影を落とすものとみなされる。画素に含まれる既存の複数の点の全て（すなわち、画素が落とす影内のもの）が、隠された点とみなされ、拡張された点群フレーム２３０から除去される。
【0108】
図４および図５の方法４００、５００は、１つまたは複数の利点を実現するために共に用いられ得る。まず、方法４００において実際のＬＩＤＡＲにより生成される点群フレーム（すなわち、ＬＩＤＡＲセンサにより生成された点群フレーム）から取得された表面モデルは通常、半分側である；方法５００における表面モデルの回転により、複数の点を有する側が常にセンサ位置１６６の方を向くことが保証される。２番目に、いくつかの実施形態において、上述のように、アンカーポイント範囲は、変換サブモジュール３１８により、基準範囲よりも大きくなるように制約される（すなわち、｜ｒＲ｜≦｜ｒＡ｜）；したがって、表面モデルの表面上に生成される走査線点の密度は、アップサンプリングプロセスの任意のアーティファクトを増大させるようには上がらない（抽出されたオブジェクトインスタンスの密度がアップサンプリングにより上がるが、これによっては、元の点群オブジェクトインスタンスに含まれる情報は増えない）。方法４００、５００の組み合わせの他の利点が、当業者には明らかになるであろう。
【0109】
ライブラリ生成方法４００およびデータ拡張方法５００はさらに、機械学習モデルを訓練するために、機械学習プロセスと組み合わされ得る。図６に示される例示的な方法６００を参照して、図３に示されるライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４の相互運用をここで説明する。
【0110】
図６は、予測タスクのための機械学習モデル２２４の訓練に用いられる点群データセットを拡張する例示的な方法６００の段階を示すフローチャートである。説明したように、方法６００の段階は、図３に示されるライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４の様々なサブモジュールにより実行される。しかしながら、方法６００は、任意の適切な情報処理技術により実行され得ることが理解されるであろう。
【0111】
６０２において、ライブラリ生成モジュール３３０は、方法４００に従って、１つまたは複数の表面モデルのライブラリ２２２を生成する。
【0112】
６０４において、データ拡張モジュール３４０は、方法５００に従って、１つまたは複数の拡張された点群フレーム２３０を生成する。
【0113】
６０６において、訓練モジュール２３４は、拡張された点群フレーム２３０を用いて、機械学習モデル２２４を訓練する。
【0114】
段階６０４および６０６は、１回または複数回の訓練反復を実行するために、１回または複数回繰り返され得る。いくつかの実施形態において、複数の拡張された点群フレーム２３０が、それらが機械学習モデル２２４を訓練するために用いられる前に、生成される。
【0115】
機械学習モデル２２４は、点群フレームに対して予測タスクを実行するために教師あり学習などの機械学習技術を用いて訓練された人工ニューラルネットワークまたは別のモデルであってよい。予測タスクは、フレーム内の物体をオブジェクトクラス毎に認識するための、またはフレームをオブジェクトクラス毎にセグメント化するための任意の予測タスクであってよく、オブジェクト認識、セマンティックセグメンテーション、インスタンスセグメンテーションまたはパノラマセグメンテーションを含む。いくつかの実施形態において、拡張された点群フレーム２３０は、点群データセット２１０に追加され、訓練モジュール２３４は、点群データセット２１０を訓練データセットとして用いて、機械学習モデル２２４を訓練する。すなわち、機械学習モデル２２４は、点群フレーム２１２に対するオブジェクト認識またはセグメンテーションなどの予測タスクを点群フレーム２１２に対して実行するために、教師あり学習、および、点群データセット２１０に含まれる点群フレーム２１２および拡張された点群フレーム２３０を用いて訓練される。訓練された機械学習モデル２２４は、オブジェクト検出を実行してオブジェクトクラスラベルを予測するように訓練されてよく、または、セグメンテーションを実行して、各点群フレーム２１２内の点または領域の０またはそれよりも多くのサブセットまたはクラスタにアタッチするためのインスタンスラベルおよび／またはシーンタイプラベルを予測するように訓練されてよく、各ラベル付けされた点群オブジェクトインスタンス２１４に、または所与の点群フレーム２１２内の領域に関連付けられたラベルは、訓練のためのグラウンドトゥルースラベルとして用いられる。他の実施形態において、機械学習モデル２２４は、異なる訓練点群データセットを用いて訓練される。
【0116】
本開示では、方法およびプロセスを、特定の順序の段階と共に説明しているが、方法およびプロセスにおける１つまたは複数の段階は、適宜省略または変更されてよい。必要に応じて、１つまたは複数の段階が、説明されている以外の順序で行われてよい。
【0117】
本開示は、少なくとも部分的に方法に関して説明されているが、本開示は、説明されている方法の態様および特徴のうちの少なくともいくつかをハードウェアコンポーネント、ソフトウェア、またはそれら２つの任意の組み合わせにより実行するための様々なコンポーネントも対象としていることを、当業者であれば理解するであろう。したがって、本開示の技術的解決手段は、ソフトウェア製品の形態で具現化されてよい。適切なソフトウェア製品が、例えば、ＤＶＤ、ＣＤ－ＲＯＭ、ＵＳＢフラッシュディスク、リムーバブルハードディスク、または他の記憶媒体を含む、予め記録されたストレージデバイスまたは他の同様の不揮発性または非一時的コンピュータ可読媒体に記憶されてよい。ソフトウェア製品は、処理デバイス（例えば、パーソナルコンピュータ、サーバまたはネットワークデバイス）が、本明細書において開示されている方法の例を実行することを可能にする、有形的に記憶された命令を含む。
【0118】
本開示は、特許請求の範囲の主題から逸脱することなく、他の特定の形態で具現化されてよい。説明されている例示的な実施形態は、あらゆる点において、限定的なものではなく、単に例示的なものであるとみなされるべきである。上述の実施形態のうちの１つまたは複数から選択される特徴を組み合わせて、明示的に説明されていない代替的な実施形態を創出してよく、そのような組み合わせに適切な特徴は、本開示の範囲内にあると理解される。
【0119】
開示されている範囲内の全ての値およびサブ範囲も開示される。また、本明細書において開示および図示されているシステム、デバイスおよびプロセスは特定数の要素／コンポーネントを含み得るが、これらのシステム、デバイスおよびアセンブリは、そのような要素／コンポーネントをさらにまたはより少なく含むように修正され得る。例えば、開示されている要素／コンポーネントのいずれも単数として言及され得るが、本明細書において開示されている実施形態は、そのような要素／コンポーネントを複数含むように修正され得る。本明細書において説明されている主題は、技術における全ての適切な変更を網羅および包含することを意図している。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-10-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
点群オブジェクトインスタンスを取得する段階；および補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、表面モデルを生成する段階
を備える方法。
【請求項2】
前記点群オブジェクトインスタンスは、センサ位置に対する前記点群オブジェクトインスタンスの向きを示す向き情報
を含む；および
前記点群オブジェクトインスタンス内の複数の点の各々について、
点強度情報；および
点位置情報
を含む；および
前記表面モデルは、前記点群オブジェクトインスタンスの前記向き情報、点強度情報および点位置情報を含む、
請求項１に記載の方法。
【請求項3】
前記点群オブジェクトインスタンスは、複数の走査線を含み、各走査線は、前記複数の点のサブセットを含む；および前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、少なくとも１つの走査線に沿って複数の点を追加する段階を有する
請求項２に記載の方法。
【請求項4】
前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、前記複数の走査線のうちの少なくとも１対の走査線の間に複数の点を追加する段階をさらに有する、請求項３に記載の方法。
【請求項5】
線形補間を用いて点を追加する段階は、２つの既存の点の前記点位置情報の線形補間に基づいて、前記追加された点に点位置情報を割り当てる段階；および
前記２つの既存の点の前記点強度情報の線形補間に基づいて、前記追加された点に点強度情報を割り当てる段階
を含む、
請求項４に記載の方法。
【請求項6】
目標点群フレームを取得する段階；前記目標点群フレーム内のアンカー位置を決定する段階；
物体の表面モデルを取得する段階；
前記アンカー位置に基づいて前記表面モデルを変換して、変換された表面モデルを生成する段階；
前記変換された表面モデルの複数の走査線を生成する段階であって、各走査線は、前記目標点群フレームの複数の走査線と位置合わせされた複数の点を含む、生成する段階；および
前記変換された表面モデルの前記複数の走査線を前記目標点群フレームに追加して、拡張された点群フレームを生成する段階
を備える方法。
【請求項7】
前記表面モデルは、密な点群オブジェクトインスタンスを含む、請求項６に記載の方法。
【請求項8】
前記表面モデルを取得する段階は、点群オブジェクトインスタンスを取得する段階；および
補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、前記表面モデルを生成する段階
を有する、
請求項７に記載の方法。
【請求項9】
前記表面モデルは、コンピュータ支援設計（ＣＡＤ）モデルを含む、請求項６から８のいずれか一項に記載の方法。
【請求項10】
前記表面モデルは、完全な密な点群オブジェクト走査を含む、請求項６から８のいずれか一項に記載の方法。
【請求項11】
前記変換された表面モデルの影を決定する段階；前記影内に位置する前記目標点群フレームの１つまたは複数の隠された点を識別する段階；および
前記拡張された点群フレームから前記複数の隠された点を除去する段階
をさらに備える、請求項６から１０のいずれか一項に記載の方法。
【請求項12】
前記変換された表面モデルの前記複数の走査線を生成する段階は、２次元画素アレイを含む範囲画像を生成する段階、ここで、各画素は、前記目標点群フレームの点に対応する；
前記変換された表面モデルを前記範囲画像上へ投影する段階；および
前記範囲画像の各画素について、前記画素が前記変換された表面モデルの前記投影の少なくとも１つの点を含んでいるという判断に応答して、
前記画素の中心への前記変換された表面モデルの前記投影の最近傍点を識別する段階；および
前記最近傍点を前記走査線に追加する段階
を有する、
請求項７に記載の方法。
【請求項13】
前記表面モデルは、前記表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含む；前記目標点群フレームは、前記目標点群フレームの領域のシーンタイプを示すシーンタイプ情報を含む；および
前記アンカー位置を決定する段階は、前記表面モデルが前記領域内に位置しているはずであるという、前記領域の前記シーンタイプおよび前記表面モデルの前記オブジェクトクラスに基づく判断に応答して、前記アンカー位置を前記領域内に位置決めする段階を有する
請求項６から１２のいずれか一項に記載の方法。
【請求項14】
前記アンカー位置に基づいて前記表面モデルを変換する段階は、センサ位置に対する前記表面モデルの向きを維持しつつ、前記目標点群フレームの前記センサ位置により画定される軸を中心として前記表面モデルを表面モデル基準方向およびアンカーポイント方向の間で回転させる段階；および
前記表面モデルを基準距離およびアンカーポイント距離の間で変換する段階
を有する、
請求項６から１３のいずれか一項に記載の方法。
【請求項15】
前記拡張された点群フレームを用いて機械学習モデルを訓練する段階をさらに備える、請求項６から１４のいずれか一項に記載の方法。
【請求項16】
点群データを拡張するためのシステムであって、プロセッサデバイス；および
前記プロセッサデバイスにより実行された場合、請求項１から１４のいずれか一項に記載の方法を前記システムに実行させる機械実行可能命令を格納したメモリ
を備える、システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本願は、概して、機械学習のための点群データ拡張に関し、特に、モデル注入を用いた点群データ拡張のためのデバイス、システム、方法および媒体に関する。
【背景技術】
【0002】
光検出および測距（ＬＩＤＡＲ、本明細書において、「ＬＩＤＡＲ」または「ＬＩＤＡＲ」とも称される）センサは、ＬＩＤＡＲセンサにより走査される３次元（３Ｄ）環境（「シーン」とも呼ばれる）を表す点群データを生成する。ＬＩＤＡＲセンサの単一の走査パスは、ＬＩＤＡＲセンサが１回の走査パスを実行するのにかかる時間を表す期間内に、空間内の１つまたは複数の点から光が反射される複数の点のセットから成る点群データの「フレーム」（以下、「点群フレーム」と称される）を生成する。回転走査式ＬＩＤＡＲセンサなど、いくつかのＬＩＤＡＲセンサは、円弧の光を発するレーザアレイを含み、ＬＩＤＡＲセンサは、単一の位置を中心として回転して、点群フレームを生成する；ソリッドステートＬＩＤＡＲセンサなど、他のＬＩＤＡＲセンサは、１つまたは複数の位置から光を発し、かつ、各位置から検出される反射光を共に統合して点群フレームを形成するレーザアレイを含む。レーザアレイ内の各レーザは、走査パス毎に複数の点を生成するために用いられ、点群フレーム内の各点は、環境における空間内のある点においてレーザが発する光を反射する物体に対応する。各点は、典型的には、空間座標（Ｘ，Ｙ，Ｚ）のセット、および、強度（すなわち、レーザを反射する物体の反射率）などの値を示す他のデータとして格納される。いくつかの実装において、他のデータは、値のアレイとして表され得る。走査回転式ＬＩＤＡＲセンサにおいて、点群フレームのＺ軸は、典型的には、ほとんどの事例において各レーザの方位角方向におおよそ直交するＬＩＤＡＲセンサの回転軸により画定される（しかしながら、いくつかのＬＩＤＡＲセンサは、レーザのいくつかに、回転軸に直交する平面に対してわずかに上または下へ角度を付け得る）。
【0003】
点群データフレームも、高精細度レーダまたは深度カメラなど、他の走査技術により生成されてよく、理論上は、電磁または音波エネルギーなどのエネルギーの走査ビームを用いたあらゆる技術が、点群フレームを生成するために用いられ得る。ＬＩＤＡＲセンサを参照して例を本明細書において説明するが、点群フレームを生成する他のセンサ技術がいくつかの実施形態において用いられ得ることが理解されるであろう。
【0004】
ＬＩＤＡＲセンサは、自律走行車両を取り囲む環境（すなわち、シーン）を検知するために自律走行車両において用いられるプライマリセンサのうちの１つである。自律走行車両は概して、自動運転システム（ＡＤＳ）または先進運転支援システム（ＡＤＡＳ）を含む。ＡＤＳまたはＡＤＡＳは、点群フレームを処理して、自律走行車両の位置特定、自律走行車両の経路計画、自律走行車両の動き計画または自律走行車両の軌道生成のためにＡＤＳまたはＡＤＡＳに他のサブシステムにより使用可能な予測を生成する知覚サブモジュールを含む。しかしながら、疎であり、かつ、順序付けられていないという点群フレームの性質が原因で、点レベルでの点群フレームの収集およびラベル付けのコストは、時間がかかり、かつ、高価である。点群フレーム内の複数の点は、点群フレーム内の複数の点の集合がオブジェクトクラス（例えば、「歩行者」または「オートバイ」）またはオブジェクトクラス（例えば、「歩行者♯３」）のインスタンスでラベル付けされ得るように、（例えば、オブジェクト検出、セマンティックセグメンテーション、インスタンスセグメンテーションまたはパノラマセグメンテーションを用いて）クラスタ化、セグメント化またはグループ化されなければならず、これらのラベルは、オブジェクト検出または様々なタイプのセグメンテーションなど、点群フレームに対する予測タスクについてモデルを訓練するために機械学習において用いられる。この煩雑なラベル付けプロセスにより、機械学習を用いた点群フレームに対する予測タスクのために高精度モデルを訓練するのに必要である、様々な道路および交通シーンを表すラベル付けされた点群フレームの利用可能性が限定される結果となってきた。
【0005】
セグメンテーションおよびオブジェクト検出などの予測タスクについて機械学習を用いてモデルを訓練するために用いられる点群フレームを含むそのようなラベル付けされた点群データセットの例は、ＳｅｍａｎｔｉｃＫＩＴＴＩデータセット（Ｂｅｈｌｅｙ ｅｔ ａｌ．， "ＳｅｍａｎｔｉｃＫＩＴＴＩ： Ａ Ｄａｔａｓｅｔ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｃｅｎｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｏｆ ＬｉＤＡＲ Ｓｅｑｕｅｎｃｅｓ，" ２０１９ ＩＥＥＥ／ＣＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ）， Ｓｅｏｕｌ， Ｋｏｒｅａ （Ｓｏｕｔｈ）， ２０１９， ｐｐ． ９２９６－９３０６， ｄｏｉ： １０．１１０９／ＩＣＣＶ．２０１９．００９３９により説明されている）、ＫＩＴＴＩ３６０（Ｊ． Ｘｉｅ， Ｍ． Ｋｉｅｆｅｌ， Ｍ． Ｓｕｎ ａｎｄ Ａ． Ｇｅｉｇｅｒ， "Ｓｅｍａｎｔｉｃ Ｉｎｓｔａｎｃｅ Ａｎｎｏｔａｔｉｏｎ ｏｆ Ｓｔｒｅｅｔ Ｓｃｅｎｅｓ ｂｙ ３Ｄ ｔｏ ２Ｄ Ｌａｂｅｌ Ｔｒａｎｓｆｅｒ，" ２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｌａｓ Ｖｅｇａｓ， ＮＶ， ＵＳＡ， ２０１６， ｐｐ． ３６８８－３６９７， ｄｏｉ： １０．１１０９／ＣＶＰＲ．２０１６．４０１．により説明される）および Ｎｕｓｃｅｎｅｓ－ｌｉｄａｒｓｅｇ（Ｈ． Ｃａｅｓａｒ ｅｔ ａｌ．， "ｎｕＳｃｅｎｅｓ： Ａ Ｍｕｌｔｉｍｏｄａｌ Ｄａｔａｓｅｔ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ，" ２０２０ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｓｅａｔｔｌｅ， ＷＡ， ＵＳＡ， ２０２０， ｐｐ． １１６１８－１１６２８， ｄｏｉ： １０．１１０９／ＣＶＰＲ４２６００．２０２０．０１１６４．により説明されている）であり、セマンティック情報を含む唯一の利用可能な点群データセット、すなわち、セグメンテーションまたはオブジェクト検出など、点群フレームに対する予測タスクについてモデルを訓練するためのセマンティック情報でラベル付けされた点群フレームであってよい。
【0006】
しかしながら、これらの利用可能な点群データセットは概して、特定のオブジェクトクラスからの物体を含む十分な点群フレームを含んでおらず、そのような物体を含む点群フレームのセットは、そのような各オブジェクトクラス内の物体のインスタンス（「オブジェクトインスタンス」）の多様性が欠如していることを示す。点群データセット内に現れる、数が限られたオブジェクトクラスは、本明細書において、不利なクラスと称され得る。既存の点群データセット内の不利なクラスは、典型的には、歩行者、自転車、自転車乗用者、オートバイ、モーターサイクリスト、トラックおよび他のタイプの車両など、小さなより一般的ではないタイプの物体である。
【0007】
不利なクラスは、２つの問題のいずれかまたは両方を引き起こし得る。第１の問題は、環境またはコンテキストの多様性が欠如していることから生じる。不利なクラスのオブジェクトインスタンスが点群データセット内の少数の点群フレームのみに現れる場合において、不利なクラスのオブジェクトインスタンスが点群データセットに現れる点群フレームとは異なる環境にオブジェクトインスタンスが現れるときは、点群フレームに対する予測タスク（オブジェクト検出または様々なタイプのセグメンテーションなど）について訓練されたモデル（例えば、ディープニューラルネットワークモデル）は、不利なクラス（すなわち、不利なクラスの物体に対応する点群）のオブジェクトインスタンスの認識を学習しないことがある。例えば、点群データセット内の点群フレームが、駐車場に対応する点群フレーム内の「モーターサイクリスト」（すなわち、不利なクラス「モーターサイクリスト」）のオブジェクトインスタンスのみを含む場合、このモデルは、道路環境内のモーターサイクリストを識別できないことがある。第２の問題は、オブジェクトインスタンスの多様性が欠如していることから生じる。不利なクラスのオブジェクトインスタンスが点群データセット内に非常に少ない数で現れる場合、オブジェクトインスタンスの多様性自体を保証できない。例えば、点群データセット内の点群フレームが、スポーツバイクに乗っているモーターサイクリスト（すなわち、不利なクラス「モーターサイクリスト」）のオブジェクトインスタンスのみを含む場合、このモデルは、スクータに乗っているモーターサイクリストを識別できないことがある。
【0008】
従来、点群フレームに対する予測タスク（セグメンテーションおよびオブジェクト検出など）についてモデルを訓練するために不利なクラスがある疎な点群データセットを用いる問題は、データ拡張を通じて対処されている。データ拡張は、点群フレームに対する予測タスクについてのモデルの訓練の改善を支援できる任意の技術を用いて既存のラベル付けされた点群データセットから新しい訓練サンプル（例えば、新しい意味論的にラベル付けされた点群フレーム）を生成して、より高いモデル精度（すなわち、より良い予測を生成するモデル）を実現するためのプロセスとみなされ得る。上記で特定されている環境多様性問題は、典型的には、１つの点群フレームから物体を抽出し、抽出された物体を他の点群フレームへ注入して、不利なクラスのオブジェクトインスタンスを含む追加の点群フレームを生成することを伴う方法により対処され、この方法は、モデルをさらに訓練するために用いられ得る。オブジェクトインスタンスが注入される点群フレームは、異なる環境に対応し得るので、他の環境における不利なクラスのオブジェクトインスタンスの認識の学習においてモデルを支援し得る。そのような技術の例は、Ｙａｎ Ｙａｎ， Ｙｕｘｉｎｇ Ｍａｏ， Ｂｏ Ｌｉ， "ＳＥＣＯＮＤ： Ｓｐａｒｓｅｌｙ Ｅｍｂｅｄｄｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｔｅｃｔｉｏｎ"， Ｓｅｎｓｏｒｓ ２０１８， １８（１０）， ３３３７； ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．３３９０／ｓ１８１０３３３７； Ａｌｅｘ Ｈ． Ｌａｎｇ， Ｓｏｕｒａｂｈ Ｖｏｒａ， Ｈｏｌｇｅｒ Ｃａｅｓａｒ， Ｌｕｂｉｎｇ Ｚｈｏｕ， Ｊｉｏｎｇ Ｙａｎｇ， Ｏｓｃａｒ Ｂｅｉｊｂｏｍ， "ＰｏｉｎｔＰｉｌｌａｒｓ： Ｆａｓｔ Ｅｎｃｏｄｅｒｓ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄｓ"， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８１２．０５７８４； ａｎｄ Ｙｉｎ Ｚｈｏｕ， Ｏｎｃｅｌ Ｔｕｚｅｌ， "ＶｏｘｅｌＮｅｔ： Ｅｎｄ－ｔｏ－Ｅｎｄ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｂａｓｅｄ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ"， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７１１．０６３９６を含む。データ拡張に対するこれらの既存のアプローチは、典型的には、以下の方式で進む。つまり、まず、オブジェクトインスタンスの周囲の境界ボックスで注釈が付けされた点群フレームからクラスタ（すなわち、物体の点群）を抽出することにより、オブジェクトインスタンスのデータベースが生成される。２番目に、オブジェクトインスタンスは、データベースからランダムに選ばれ、選ばれたオブジェクトインスタンスは、他の点群フレーム内の同様の位置へ注入される。最終的に、物体位置の競合（例えば、オブジェクトインスタンスが注入される目標点群フレーム内の別の物体との空間内の重複）を回避するために、衝突試験が実装される。点群フレームから抽出されたオブジェクトインスタンスは通常、ＬＩＤＡＲセンサの指向性に起因して半分側である。したがって、ＬＩＤＡＲセンサに面する表面を複数の点が画定することなくオブジェクトインスタンスのこの側を回避すべく、オブジェクトインスタンスの注入中、オブジェクトインスタンスの元の位置および姿勢を著しく変更することはできない。これらの既存のアプローチにより、点群フレーム毎の不利なクラスのオブジェクトインスタンスの数が増えることがあり、異なる環境に存在するオブジェクトインスタンスがシミュレートされる。
【0009】
しかしながら、環境多様性問題の解決に対するこれらの既存のアプローチには、典型的には、３つの制限がある。まず、これらは、注入されたオブジェクトインスタンスの表面上に妥当な走査線を生成できず、現実的な物体影（すなわち、注入されたオブジェクトインスタンスの背後に位置するシーン内に他の物体のオクルージョン）を生成することもできない。２番目に、注入されたオブジェクトインスタンスの位置および姿勢は、２つの点群フレーム（すなわち、オブジェクトインスタンスが現れる元の点群フレーム、および、オブジェクトインスタンスが注入される目標点群フレーム）内で必ず同一またはほぼ同一である。３番目に、これらの既存のアプローチは、オブジェクトインスタンスが異なる環境に現れるコンテキストを無視する。例えば、人は通常、歩道に現れるが、このコンテキストは、環境多様性への対処についての既存のアプローチでは考慮されない。さらに、オブジェクトインスタンスが、典型的には、ＬＩＤＡＲセンサに対して同じ向きおよび位置で現れなければならないので、これらのアプローチは、コンテキストにおいて最も意味をなすであろう位置または向きでオブジェクトインスタンスが目標点群フレームへ注入されることを許容しない；例えば、目標点群フレームの全体が、ＬＩＤＡＲセンサから２０メートルだけ離れて延びる小さい駐車場を除いて歩道および建物から成っており、かつ、注入されているオブジェクトインスタンスが、元の点群フレーム内でＬＩＤＡＲセンサから５０メートル離れて位置するトラックである場合、コンテキストにおいて意味を成すであろう位置で目標点群フレームへオブジェクトインスタンスを注入することはできない。
【0010】
オブジェクトインスタンス多様性問題は、典型的には、２つの異なるアプローチを用いて対処されてきた。第１のアプローチは、点群フレーム内の空間位置へ物体のコンピュータ支援設計（ＣＡＤ）モデルを位置決めし、次に、物体のＣＡＤモデル、および目標点群フレームのＬＩＤＡＲパラメータ（例えば、ＬＩＤＡＲセンサの装着姿勢、およびＬＩＤＡＲセンサのレーザが発する各光線のピッチ角）を用いることにより各物体を表す複数の点を生成することを伴う。第１のアプローチの例は、Ｊｉｎ Ｆａｎｇ ， Ｆｅｉｌｏｎｇ Ｙａｎ， Ｔｏｎｇｔｏｎｇ Ｚｈａｏ， Ｆｅｉｈｕ Ｚｈａｎｇ， "Ｓｉｍｕｌａｔｉｎｇ ＬＩＤＡＲ Ｐｏｉｎｔ Ｃｌｏｕｄ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ ｕｓｉｎｇ Ｒｅａｌ－ｗｏｒｌｄ Ｓｃｅｎｅｓ ａｎｄ Ｔｒａｆｆｉｃ Ｆｌｏｗｓ"； ａｎｄ Ｓｉｖａｂａｌａｎ Ｍａｎｉｖａｓａｇａｍ， Ｓｈｅｎｌｏｎｇ Ｗａｎｇ， Ｋｅｌｖｉｎ Ｗｏｎｇ， Ｗｅｎｙｕａｎ Ｚｅｎｇ， Ｍｉｋｉｔａ Ｓａｚａｎｏｖｉｃｈ， Ｓｈｕｈａｎ Ｔａｎ， Ｂｉｎ Ｙａｎｇ， Ｗｅｉ－Ｃｈｉｕ Ｍａ， Ｒａｑｕｅｌ Ｕｒｔａｓｕｎ， "ＬｉＤＡＲｓｉｍ： Ｒｅａｌｉｓｔｉｃ ＬｉＤＡＲ Ｓｉｍｕｌａｔｉｏｎ ｂｙ Ｌｅｖｅｒａｇｉｎｇ ｔｈｅ Ｒｅａｌ Ｗｏｒｌｄ"を含む。
【0011】
第１のアプローチの例は、いかなる制限もなく、物体のＣＡＤモデルを回転させ変換し、妥当な走査線および影を生成することを可能にし得る。環境多様性に対処するための上述のオブジェクトインスタンス注入アプローチとは対照的に、位置および姿勢の制約なく、注入中、コンテキストが考慮され得る。しかしながら、ＣＡＤモデルベースのアプローチには、典型的には、３つの制限がある。まず、ＣＡＤモデルは通常、ＧＴＡＶ（Ｘｉａｎｇｙｕ Ｙｕｅ， Ｂｉｃｈｅｎ Ｗｕ， Ｓａｎｊｉｔ Ａ． Ｓｅｓｈｉａ， Ｋｕｒｔ Ｋｅｕｔｚｅｒ， Ａｌｂｅｒｔｏ Ｌ． Ｓａｎｇｉｏｖａｎｎｉ－Ｖｉｎｃｅｎｔｅｌｌｉ， Ａ ＬｉＤＡＲ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｇｅｎｅｒａｔｏｒ： ｆｒｏｍ ａ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ ｔｏ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ， ａｒＸｉｖ：１８０４．００１０３において説明されている）またはＣＡＲＬＡ（Ａｌｅｘｅｙ Ｄｏｓｏｖｉｔｓｋｉｙ， Ｇｅｒｍａｎ Ｒｏｓ， Ｆｅｌｉｐｅ Ｃｏｄｅｖｉｌｌａ， Ａｎｔｏｎｉｏ Ｌｏｐｅｚ， Ｖｌａｄｌｅｎ Ｋｏｌｔｕｎ， ＣＡＲＬＡ： Ａｎ Ｏｐｅｎ Ｕｒｂａｎ Ｄｒｉｖｉｎｇ Ｓｉｍｕｌａｔｏｒ， ａｒＸｉｖ：１７１１．０３９３８において説明されている）、など、ＬＩＤＡＲシミュレータから取得され、または、３Ｄモデルウェブサイトから購入される。これらの情報源から利用可能な物体のＣＡＤモデルの多様性は、典型的には、非常に制限されている。２番目に、物体の利用可能なＣＡＤモデルのスタイルは、それらがおそらくは対応する現実の物体とは異なり得る。例えば、ヨーロッパのトラックのＣＡＤモデルは、北米の道路環境に対応する点群フレームへ注入される場合、そのようなスタイルを有するトラックが、物体のＣＡＤモデルが認識およびナビゲートを訓練されている環境には実際に存在していないにもかかわらず、非常に現実的に見え得る。３番目に、物体のＣＡＤモデルは、注入されたオブジェクトインスタンスの正確な強度値を提供できない。物体の表面上の点の強度は、レーザが発する光線および光線を反射する表面の間の角度ならびに光線を反射する材料の反射率の関数である。しかしながら、物体の最も利用可能なＣＡＤモデルは、モデルの表面材料の反射率に関するいかなる情報も提供しない。
【0012】
オブジェクトインスタンス多様性問題への対処についての第２のアプローチは、ＷａｙｍｏＴＭ ａｔ ｈｔｔｐｓ：／／ｂｌｏｇ．ｗａｙｍｏ．ｃｏｍ／２０２０／０４／ｕｓｉｎｇ－ａｕｔｏｍａｔｅｄ－ｄａｔａ－ａｕｇｍｅｎｔａｔｉｏｎ－ｔｏ．ｈｔｍｌにより概説されている。物体のＣＡＤモデルを用いて新しいオブジェクトインスタンスを点群フレームへ注入する代わりに、物体の密で完全な点群走査が、新しいオブジェクトインスタンスを目標点群フレームへ注入するために用いられる。物体の密で完全な点群走査の利点は、物体のＣＡＤモデルのものと同様であり、これらのＣＡＤモデルは、注入中、いかなる制限もなく回転および変換でき、妥当な走査線および影を生成することもできる。物体の注入された点群走査の多様性は、グラウンドトゥルース拡張（すなわち、同じ物体の２つまたはそれよりも多くのオブジェクトインスタンスを共に追加すること）、ランダムフリップ（すなわち、例えば水平方向にオブジェクトインスタンスを反転させること）、ワールドスケーリング（すなわち、オブジェクトインスタンスのサイズをスケーリングすること）、グローバル変換ノイズ（すなわち、オブジェクトインスタンスを異なる位置へ変換すること）、円錐台ドロップアウト（すなわち、例えば部分的なオクルージョンをシミュレートするために、オブジェクトインスタンスの見える表面の領域を削除すること）、円錐台ノイズ（すなわち、例えばわずかに異なる表面をシミュレートするために、オブジェクトインスタンスの複数の点の位置をランダムに乱すこと）、ランダム回転（すなわち、軸を中心としたオブジェクトインスタンスの回転）およびランダムドロップポイント（すなわち、例えばより低い解像度での走査をシミュレートするために、オブジェクトインスタンスの複数の点のランダムに選択されたサブセットを削除すること）という８つの異なるデータ拡張方法を用いて上げられ得る。
【0013】
しかしながら、密な点群オブジェクト走査を用いて新しいオブジェクトインスタンスを目標点群フレームへ注入することにも、多数の制限がある。まず、物体の密で完全な点群走査は、このアプローチを実装する必要がある。対照的に、ＬＩＤＡＲにより生成される点群フレーム内のオブジェクトインスタンスは通常、疎かつ半分側である。したがって、このアプローチが実装され得る前に、慎重、密かつ完全に走査された物体の大きいデータセットがアセンブルされる必要があるだろう。２番目に、半分側走査に基づいて物体の完全な点群走査を生成するために、物体対称性が用いられることが多い。しかしながら、歩行者、モーターサイクリストおよび自転車乗用者など、道路環境または他の環境において遭遇する多くの小さい物体は、対称ではない。したがって、対称性に依存して、物体の密な半走査を有する点群フレームを含む既存の点群データセットから外挿することだけでは、物体の点群走査の大きいデータベースをアセンブルする必要性に対処できない。３番目に、物体の密な点群走査は通常、物体の完全な点群走査を撮像すべく異なる地点から撮像されるので、物体の密な点群走査の強度は、正確ではないことがある。例えば、物体の完全な密な走査を生成すべく、３Ｄスキャナが、少なくとも１つの方向において物体を中心として回転させられ得る；これが複数の方向からの同じ点の走査をもたらすことにより、その点の競合する強度測定値が生成され、異なる走査方向に対する、かつ、したがって、互いに一致しない異なる複数の点の強度測定値が生成される。
【0014】
したがって、上述の既存のアプローチの制限のうちの１つまたは複数を克服した点群データセットのためのデータ拡張技術の必要性が存在する。
【発明の概要】
【0015】
本開示は、セグメンテーションまたはオブジェクト検出など、点群フレームに対する予測タスクについて機械学習モデルを訓練することを目的とする、モデル注入を用いた点群データ拡張のためのデバイス、システム、方法および媒体を説明する。本明細書において説明される例示的なデバイス、システム、方法および媒体は、新しい点群オブジェクトインスタンスを目標点群フレーム内の任意の位置における目標点群フレームへ注入して新しい拡張された点群フレームを生成するために用いられ得る表面モデルのライブラリを生成し得る。次に、拡張された点群フレームは、点群フレームに対する予測タスクについて訓練された機械学習モデル（すなわち、機械学習アルゴリズムおよび元の点群データセットを用いて訓練された機械学習モデル）の精度を改善するための訓練データとして用いられ得る。
【0016】
本開示において、「ＬＩＤＡＲ」（「ＬｉＤＡＲ」または「Ｌｉｄａｒ」とも）という用語は、センサがレーザビームを発し、位置、および潜在的には、周囲環境において光を反射する物体からを他の特徴を収集する検知技術である、光検出および測距を指す。
【0017】
本開示において、「点群オブジェクトインスタンス」、または単に、「オブジェクトインスタンス」または「インスタンス」という用語は、単一の物体として定義され得る、自動車、家または歩行者など、単一の定義可能な物体の点群を指す。例えば、典型的には、道路は、オブジェクトインスタンスにはなり得ない；代わりに、道路は、フレームのシーンタイプまたは領域を定義するものとして点群フレーム内で定義され得る。
【0018】
本開示において、「注入」という用語は、点群オブジェクトインスタンスを点群フレームに追加するプロセスを指す。「フレーム」という用語は、別段の記載がない限り、点群フレームを指す；「元の」フレームは、「目標」フレームへの注入のために抽出され得るラベル付けされた点群オブジェクトインスタンスを含むフレームである；ひとたびオブジェクトインスタンスが目標フレームへ注入されると、目標フレームは、「拡張された」フレームと称されることがあり、拡張されたフレームが追加された点群データの任意のデータセットは、「拡張された点群データ」、または単に、「拡張されたデータ」と称されることがある。「注釈」および「ラベル」という用語は、点群フレームまたはそれらの領域にアタッチされたシーンタイプラベルまたは点群フレーム内のオブジェクトインスタンスにアタッチされたオブジェクトクラスラベルなど、点群データとのセマンティックデータの関連付けを示すように同じ意味で用いられている。
【0019】
本開示において、「完全な点群オブジェクト走査」は、物体の複数の表面が点群で表されるように、１つよりも多くの位置から走査された物体に対応する点群を指す。「密な」点群は、表面の面積単位毎の点の数が比較的多い、物体の１つまたは複数の表面に対応する点群を指す。「表面モデル」は、物体の１つまたは複数の表面の３次元モデルを指す；表面は、多角形、点、テクスチャマッピング、および／または３次元表面を表す任意の他の手段として表され得る。
【0020】
本明細書において説明される例示的なデバイス、システム、方法および媒体は、元の点群データセット（すなわち、ラベル付けされた点群フレームのデータセット）内の不利なクラスを強化し得る。表面モデルは、点レベルラベルを有する点群フレーム（例えば、意味論的にセグメント化された点群フレーム）から導出される。元の点群フレーム内のセマンティックラベルでラベル付けされたオブジェクトインスタンスは、不完全（半分側）かつ疎であってよい。しかしながら、本明細書において説明される方法およびシステムは、元の点群フレーム内の不完全で疎なオブジェクトインスタンスから、密な半分側点群オブジェクトインスタンスを導出し得る。これらの密な点群オブジェクトインスタンスは、新しい点群オブジェクトインスタンスを目標フレームへ注入するための表面モデルとして用いられ得る。
【0021】
本明細書において説明される例示的なデバイス、システム、方法および媒体は、オブジェクトインスタンス多様性問題への対処を試みる既存のアプローチでのように物体のＣＡＤモデルまたは物体の完全な密な点群走査を用いて新しい点群オブジェクトインスタンスを目標点群フレームへ注入するのではなく、ＬＩＤＡＲセンサにより生成される実際の点群フレームから導出される点群オブジェクトインスタンスを注入する；しかしながら、説明されている方法およびシステムを活用して、物体のＣＡＤモデルまたは密で完全な点群オブジェクト走査を用いて点群オブジェクトインスタンスを注入することもできる。注入された点群オブジェクトインスタンスは、目標点群フレームを生成するために用いられる異なるタイプのＬＩＤＡＲセンサから受信される点群フレームから取得され得る（例えば、元の点群フレームおよび目標点群フレームを生成するために用いられるＬＩＤＡＲセンサのレーザアレイの範囲および走査線構成は、同じである必要はない）。本明細書において説明される例示的な方法およびシステムを用いて生成される注入された点群オブジェクトインスタンスは、表面における妥当な走査線（例えば、現実の方向、密度および強度）、および現実の影を有する。概して、本明細書において説明される例示的な方法およびシステムを用いて生成される拡張された点群フレームは、ＬＩＤＡＲセンサにより生成される現実の点群フレームと非常に類似し得る。
【0022】
本明細書において説明される例示的な方法およびシステムは、コンテキストを用いて、生成済みの拡張された点群フレームの現実感および有用性をさらに改善するように構成され得る。注入された点群オブジェクトインスタンスのオブジェクトクラス、数、位置および分布は、パラメータを用いて完全に制御され得る。例えば、本明細書において説明される例示的な方法およびシステムが、５人を目標点群フレームへ注入するよう命令された場合、分布を用いて５つの点群オブジェクトインスタンスが注入され得る。各点群オブジェクトインスタンスには、歩道上に位置している確率が９０％あり、道路上に位置している確率が１０％ある。
【0023】
本明細書において説明される例示的な方法およびシステムは、以下の一連の動作を実行して、点群データフレームまたは点群データセットを拡張し得る。まず、ＬＩＤＡＲセンサにより生成され、かつ、点レベルラベルで注釈が付けられた既存の点群フレームを含む点群データセットを処理することにより、表面モデルのライブラリが生成される。ライブラリ生成プロセスは、元の点群フレームからオブジェクトインスタンスを抽出するためのオブジェクト抽出およびクラスタ化に続き、抽出された点群オブジェクトインスタンスから高密度点群オブジェクトインスタンスを導出するための方位角－仰角面に対する点群アップサンプリングを伴い得る。２番目に、ライブラリから選択される点群オブジェクトインスタンスは、拡張された点群フレームを生成するために、目標点群フレームへ注入される。注入プロセスは、点群オブジェクトインスタンスが注入され得る目標点群フレーム内の位置を決定するためのアンカーポイント選択、表面モデルを目標点群フレーム内に位置付けるためのオブジェクト注入、および、表面モデルをダウンサンプリングして目標点群フレーム内のアンカー位置におけるＬＩＤＡＲセンサの走査線をシミュレートし、目標点群フレーム内の他の点群オブジェクトを隠す影を生成するための走査線および影生成を伴い得る。
【0024】
本明細書において説明される方法およびシステムのいくつかの例は、既存のアプローチに対する利点を示し得る。表面モデルのライブラリは、ラベル付けされた点群フレームから直接取得され得るが、物体のＣＡＤモデルおよび密な点群オブジェクト走査を用いてポピュレートされてもよく、本明細書において説明される注入技術の利点を依然として利用してよい。目標点群フレームの表面モデルは、異なるタイプのＬＩＤＡＲセンサにより生成される点群フレームから取得され得る。例えば、３２ビームＬＩＤＡＲセンサにより生成される点群フレームから抽出される点群オブジェクトインスタンスは、６４ビームＬＩＤＡＲセンサにより生成される目標点群フレームへ挿入され得る。注入された点群オブジェクトインスタンスの走査線特性（密度、方向および強度を含む）、および注入された点群オブジェクトインスタンスが投げる影は、現実的にシミュレートされる。注入された点群オブジェクトインスタンスのタイプ、数および注入位置（すなわち、アンカー位置）は、パラメータにより制御され得る。点群フレームのラベル付け時間（すなわち、複数の点をラベル付けするための時間）は、実質的に低減され得る。なぜなら、元の点群フレーム内の対象オブジェクトのみが、高密度点群オブジェクトインスタンスのライブラリをポピュレートするために用いられ、目標点群フレームへ注入される前に、ラベル付けされる必要があるからである；元の点群フレーム内の全ての点をラベル付けする必要はないことがある。
【0025】
いくつかの態様において、本開示は、方法を説明する。点群オブジェクトインスタンスが取得される。点群オブジェクトインスタンスは、表面モデルを生成するために、補間を用いてアップサンプリングされる。
【0026】
いくつかの態様において、本開示は、点群データを拡張するためのシステムを説明する。システムは、プロセッサデバイスおよびメモリを備える。メモリは、点群オブジェクトインスタンス、目標点群フレームおよび機械実行可能命令を格納する。機械実行可能命令は、プロセッサデバイスにより実行された場合、多数の動作をシステムに実行させる。点群オブジェクトインスタンスは、表面モデルを生成するために、補間を用いてアップサンプリングされる。アンカー位置は、目標点群フレーム内で決定される。表面モデルは、変換された表面モデルを生成するために、アンカー位置に基づいて変換される。変換された表面モデルの複数の走査線が生成され、各走査線は、目標点群フレームの複数の走査線と位置合わせされた複数の点を含む。変換された表面モデルの複数の走査線は、拡張された点群フレームを生成するために、目標点群フレームに追加される。
【0027】
方法およびシステムのいくつかの例において、点群オブジェクトインスタンスは、センサ位置に対する点群オブジェクトインスタンスの向きを示す向き情報を含み得る。点群オブジェクトインスタンスは、点群オブジェクトインスタンス内の複数の点の各々について、点強度情報および点位置情報をさらに含む。表面モデルは、点群オブジェクトインスタンスの向き情報、点強度情報および点位置情報を含む。
【0028】
方法およびシステムのいくつかの例において、点群オブジェクトインスタンスは、複数の走査線を含んでよく、各走査線は、複数の点のサブセットを含む。点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、少なくとも１つの走査線に沿って複数の点を追加する段階を含み得る。
【0029】
方法およびシステムのいくつかの例において、点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、複数の走査線の少なくとも１対の走査線の間に複数の点を追加する段階をさらに含み得る。
【0030】
システムのいくつかの例において、線形補間を用いて点を追加する段階は、２つの既存の点の点位置情報の線形補間に基づいて、追加された点に点位置情報を割り当て、２つの既存の点の点強度情報の線形補間に基づいて、追加された点に点強度情報を割り当てる段階を含み得る。
【0031】
いくつかの態様において、本開示は、方法を説明する。目標点群フレームが取得される。目標点群フレーム内のアンカー位置が決定される。物体の表面モデルが取得される。表面モデルは、変換された表面モデルを生成するために、アンカー位置に基づいて変換される。変換された表面モデルの複数の走査線が生成され、各走査線は、目標点群フレームの複数の走査線と位置合わせされた複数の点を含む。変換された表面モデルの複数の走査線は、拡張された点群フレームを生成するために、目標点群フレームに追加される。
【0032】
方法およびシステムのいくつかの例において、表面モデルは、密な点群オブジェクトインスタンスを含み得る。
【0033】
方法およびシステムのいくつかの例において、表面モデルを取得する段階は、点群オブジェクトインスタンスを取得し、補間を用いて点群オブジェクトインスタンスをアップサンプリングして、表面モデルを生成する段階を含み得る。
【0034】
方法およびシステムのいくつかの例において、表面モデルは、コンピュータ支援設計（ＣＡＤ）モデルを含み得る。
【0035】
方法およびシステムのいくつかの例において、表面モデルは、完全な密な点群オブジェクト走査を含み得る。
【0036】
いくつかの例において、方法は、変換された表面モデルの影を決定する段階、影内に位置する目標点群フレームの１つまたは複数の隠された点を識別する段階、および拡張された点群フレームから複数の隠された点を除去する段階をさらに備え得る。
【0037】
方法およびシステムのいくつかの例において、変換された表面モデルの複数の走査線を生成する段階は、２次元画素アレイを含む範囲画像を生成する段階、ここで、各画素は、目標点群フレームの点に対応する、変換された表面モデルを範囲画像上へ投影する段階、および範囲画像の各画素について、画素が変換された表面モデルの投影の少なくとも１つの点を含んでいるという判断に応答して、画素の中心への変換された表面モデルの投影の最近傍点を識別する段階、および最近傍点を走査線に追加する段階を有し得る。
【0038】
方法およびシステムのいくつかの例において、表面モデルは、表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含み得る。目標点群フレームは、目標点群フレームの領域のシーンタイプを示すシーンタイプ情報を含む。アンカー位置を決定する段階は、表面モデルが領域内に位置しているはずであるという、領域のシーンタイプおよび表面モデルのオブジェクトクラスに基づく判断に応答して、アンカー位置を領域内に位置決めする段階を有する。
【0039】
方法およびシステムのいくつかの例において、アンカー位置に基づいて表面モデルを変換する段階は、センサ位置に対する表面モデルの向きを維持しつつ、目標点群フレームのセンサ位置により画定される軸を中心として表面モデルを表面モデル基準方向およびアンカーポイント方向の間で回転させる段階、および表面モデルを基準距離およびアンカーポイント距離の間で変換する段階を有し得る。
【0040】
いくつかの例において、方法は、拡張された点群フレームを用いて機械学習モデルを訓練する段階をさらに備え得る。
【0041】
いくつかの態様において、本開示は、上述の方法のうちの１つまたは複数により生成される表面モデルが格納された非一時的プロセッサ可読媒体を説明する。
【0042】
いくつかの態様において、本開示は、上述の方法のうちの１つまたは複数により生成される拡張された点群フレームが格納された非一時的プロセッサ可読媒体を説明する。
【0043】
いくつかの態様において、本開示は、デバイスのプロセッサデバイスにより実行された場合、上述の方法のうちの１つまたは複数の段階をデバイスに実行させる格納された機械実行可能命令を有する非一時的プロセッサ可読媒体を説明する。
【図面の簡単な説明】
【0044】
ここで、本願の例示的な実施形態を示す添付図面を例として参照する。
【0045】
【図1A】本明細書において説明される実施形態のための動作コンテキストを提供する例示的な簡略化された点群フレームの上方正面右側斜視図である。
【0046】
【図1B】本明細書において説明される実施形態による使用に適切な、「自転車乗用者」オブジェクトクラスでラベル付けされた例示的な点群オブジェクトインスタンスの上方正面右側斜視図である。
【0047】
【0048】
【0049】
【図2】本明細書において説明される例による、表面モデルおよび拡張された点群フレームを生成するための例示的なシステムのいくつかのコンポーネントを示すブロック図である。
【0050】
【0051】
【0052】
【0053】
【0054】
同様のコンポーネントを表すのに同様の参照番号が異なる図において用いられていることがある。
【発明を実施するための形態】
【0055】
本開示は、点群セグメンテーションおよび／またはオブジェクト検出を実行すべく機械学習モデルを訓練するための適応型シーン拡張用の例示的なデバイス、システム、方法および媒体を説明する。
【0056】
図１Ａは、複数の点がＸ、ＹおよびＺの３次元座標系１０２にマッピングされた、例示的な簡略化された点群フレーム１００を示す。Ｚ次元は、典型的には、点群フレーム１００を生成するＬＩＤＡＲセンサまたは他のパノラマセンサの回転軸により画定されるように、上方へ延びる。点群フレーム１００は、多数の点を含み、それらの各々は、この点に対応する物体の反射率を示す強度値など、他の値のベクトルに沿った点群フレーム１００内の一組の座標（ｘ，ｙ，ｚ）により表され得る。各点は、点座標に対応するＬＩＤＡＲセンサに対する空間内の点においてレーザが発する光の反射を表す。例示的な点群フレーム１００が箱形状または矩形のプリズムとして示されている一方で、パノラマＬＩＤＡＲセンサにより撮像される典型的な点群フレームは、典型的には、ＬＩＤＡＲセンサを取り囲む環境の３６０度パノラマビューであり、ＬＩＤＡＲセンサの検出範囲全体に延びていることが理解されるであろう。したがって、例示的な点群フレーム１００は、実際のＬＩＤＡＲにより生成される点群フレームの小さい部分においてより典型的であり、例示目的で用いられる。
【0057】
点群フレーム１００の複数の点が、ＬＩＤＡＲセンサのレーザが発する光が環境内の物体により反射される空間内でクラスタ化され、これにより、ＬＩＤＡＲセンサから見える物体の表面に対応する点のクラスタがもたらされる。第１の点群１１２は、自動車からの反射に対応している。例示的な点群フレーム１００において、第１の点群１１２は、境界ボックス１２２に囲まれており、オブジェクトクラスラベル（この事例では、「自動車」１３２というラベル）に関連付けられている。第２の点群１１４は、境界ボックス１２２に囲まれており、「自転車乗用者」１３４というオブジェクトクラスラベルに関連付けられており、第３の点群１１６は、境界ボックス１２２に囲まれており、「歩行者」１３６というオブジェクトクラスラベルに関連付けられている。したがって、点クラスタ１１２、１１４、１１６の各々は、オブジェクトインスタンス、つまり、「自動車」、「自転車乗用者」および「歩行者」というオブジェクトクラスのインスタンスにそれぞれ対応している。点群フレーム１００全体が「交差点」というシーンタイプラベル１４０に関連付けられており、これは、点群フレーム１００が全体として交差点の近くの環境に対応している（故に、自動車、歩行者および自転車乗用者は、互いに近接して存在している）ことを示す。
【0058】
いくつかの例において、単一の点群フレームは、異なるシーンタイプラベル１４０に各々が関連付けられ得る複数のシーンを含み得る。したがって、単一の点群フレームは、各領域がその独自のシーンタイプラベル１４０に関連付けられた複数の領域へセグメント化され得る。単一のシーンタイプのみに関連付けられた単一の点群フレームを参照して、例示的な実施形態を本明細書において概して説明する；しかしながら、いくつかの実施形態では、本明細書において説明されるデータ拡張方法およびシステムを用いた点群オブジェクトインスタンス注入について点群フレーム内の各領域を別々に考慮し得ることが理解されるであろう。
【0059】
各境界ボックス１２２は、サイズ設定されて位置付けられており、物体ラベル１３２、１３４、１３６の各々は、各点クラスタに関連付けられており、シーンラベルは、ラベル付けされた点群フレームを生成するための機械学習分野において既知であるデータラベル技術を用いて、点群フレーム１００に関連付けられている。上述のように、これらのラベル付け技術は概して、非常に時間がかかるものであり、かつ、リソース集中型である；本明細書において説明されるデータ拡張技術は、点群フレーム１００内のラベル付けされた点群オブジェクトインスタンスの数を増やすことにより、点群フレーム内の点群オブジェクトインスタンスを手動で識別およびラベル付けするために必要とされる時間およびリソースを低減するために、いくつかの例において用いられ得る。
【0060】
図１Ａに示される例示的な点群フレーム１００のラベルおよび境界ボックスは、オブジェクト検出のコンテキストにおいて適用されるラベルに対応しており、したがって、例示的な点群フレームは、点群フレーム上のオブジェクト検出用の機械学習モデルを訓練するために用いられる点群データセットに含まれ得る。しかしながら、本明細書において説明される方法およびシステムは、点群フレーム上のオブジェクト検出のモデルのみではなく、点群フレームのセマンティックセグメンテーション、インスタンスセグメンテーションまたはパノラマセグメンテーションを含む、点群フレーム上のセグメンテーションのモデルにも等しく適用可能である。
【0061】
【0062】
図２は、点群フレームを拡張する（または点群フレームを含む点群データセットを拡張する）ためのコンピューティングシステム２００（以下、システム２００と称される）のブロック図である。システム２００の例示的な実施形態が以下に示され説明されるが、示されるものとは異なるコンポーネントを含み得る、本明細書において開示される例を実装するために、他の実施形態が用いられ得る。図２はシステム２００の各コンポーネントの単一のインスタンスを示しているが、示されている各コンポーネントの複数のインスタンスが存在し得る。
【0063】
システム２００は、中央処理装置、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用論理回路、テンソル処理ユニット、ニューラル処理ユニット、専用人工知能処理ユニット、またはそれらの組み合わせなど、１つまたは複数のプロセッサ２０２を含む。１つまたは複数のプロセッサ２０２は、「プロセッサデバイス」または「プロセッサ２０２」と総称され得る。
【0064】
システム２００は、揮発性または不揮発性メモリ（例えば、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）および／またはリードオンリメモリ（ＲＯＭ））を含み得る１つまたは複数のメモリ２０８（「メモリ２０８」と総称される）を含む。非一時的メモリ２０８は、本開示において説明される例の実行など、プロセッサ２０２による実行のための機械実行可能命令を格納し得る。メモリ２０８に格納されている、ライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４を定義する機械実行可能命令２２０のセットが示されており、その各々は、プロセッサ２０２により、本明細書において説明される方法の段階を実行するために実行され得る。ライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４を定義する機械実行可能命令２２０のセットを実行する際のシステム２００の動作を、図３を参照して、以下で説明する。シーン拡張モジュール３００を定義する機械実行可能命令２２０は、それらの各サブモジュール３１２、３１４、３１６、３１８、３２０、３２２の機能を実行するために、プロセッサ２０２により実行可能である。メモリ２０８は、例えば、オペレーティングシステムおよび他のアプリケーションまたは機能を実装するために、他の機械実行可能命令を含み得る。
【0065】
メモリ２０８は、点群データセット２１０を含むデータセットを格納する。図１を参照して上述したように、点群データセット２１０は、複数の点群フレーム２１２および複数のラベル付けされた点群オブジェクトインスタンス２１４を含む。いくつかの実施形態において、ラベル付けされた点群オブジェクトインスタンス２１４のいくつかまたは全てが、点群フレーム２１２内に含まれ、および／または点群フレーム２１２から導出される。図１を参照して上述したように、例えば、各点群フレーム２１２は、０またはそれよりも多いラベル付けされた点群オブジェクトインスタンス２１４を含み得る。いくつかの実施形態において、ラベル付けされた点群オブジェクトインスタンス２１４のいくつかまたは全てが、点群フレーム２１２から別々に格納され、ラベル付けされた点群オブジェクトインスタンス２１４の各々は、点群フレーム２１２のうちの１つ内から生じてよく、またはそうでなくてよい。図３および図４を参照して以下で説明されるライブラリ生成モジュール３３０は、いくつかの実施形態における１つまたは複数の点群フレーム２１２から１つまたは複数のラベル付けされた点群オブジェクトインスタンス２１４を抽出するための動作を実行し得る。
【0066】
メモリ２０８は、機械学習モデル２２４、１つまたは複数の表面モデルを含む表面モデルライブラリ２２２、目標点群フレーム２２６、目標表面モデル２２８（表面モデルライブラリ２２２）から選択される）、変換された表面モデル２３２および拡張された点群フレーム２３０を含む、本明細書において説明される他のデータ、情報、ルール、ポリシーおよび機械実行可能命令も格納し得る。
【0067】
いくつかの例において、システム２００は、ソリッドステートドライブ、ハードディスクドライブ、磁気ディスクドライブおよび／または光ディスクドライブなど、１つまたは複数の電子ストレージユニット（不図示）も含み得る。いくつかの例において、１つまたは複数のデータセットおよび／またはモジュールが、外部メモリ（例えば、システム２００）との有線または無線通信における外部ドライブ）により提供されてよく、または一時的または非一時的コンピュータ可読媒体により提供されてよい。非一時的コンピュータ可読媒体の例は、ＲＡＭ、ＲＯＭ、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、ＣＤ－ＲＯＭまたは他のポータブルメモリストレージを含む。ストレージユニットおよび／または外部メモリは、システム２００のデータ格納、取得およびキャッシュ機能を実装するために、メモリ２０８と併せて用いられ得る。
【0068】
システム２００のコンポーネントは、例えばバスを介して互いに通信し得る。いくつかの実施形態において、システム２００は、クラウドコンピューティングプラットフォームなど、分散システムであり、ネットワークを介して互いに通信している複数のコンピューティングデバイス、および任意選択的に、１つまたは複数の追加のコンポーネントを含み得る。本明細書において説明される様々な動作は、いくつかの実施形態において、分散システムの異なるデバイスにより実行され得る。
【0069】
図３は、システム２００のプロセッサ２０２により実行される、例示的なライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４の動作を示す。図示される実施形態において、ライブラリ生成モジュール３３０は、いくつかの機能サブモジュールまたはサブモジュール（インスタンス抽出サブモジュール３１２およびアップサンプリングサブモジュール３１４）を含み、データ拡張モジュール３４０は、いくつかの機能サブモジュール（フレーム選択サブモジュール３１６、変換サブモジュール３１８、インスタンス注入サブモジュール３２０および表面モデル選択サブモジュール３２２）を含む。他の例において、サブモジュール３１２、３１４、３１６、３１８、３２０、３２２のうちの１つまたは複数が、組み合わされてよく、複数のサブモジュールへ分割されてよく、および／または、とりわけサブモジュールの間で再分配される機能または動作のうちの１つまたは複数を有してよい。いくつかの例において、ライブラリ生成モジュール３３０、データ拡張モジュール３４０および／または訓練モジュール２３４は、追加の動作またはサブモジュールを含んでよく、または図示されているサブモジュール３１２、３１４、３１６、３１８、３２０、３２２のうちの１つまたは複数を省略してよい。
【0070】
【0071】
図４は、表面モデルを生成する例示的な方法４００の段階を示すフローチャートである。説明したように、方法４００の段階は、図３に示されるライブラリ生成モジュール３３０の様々なサブモジュールにより実行される。しかしながら、方法４００は、任意の適切な情報処理技術により実行され得ることが理解されるであろう。
【0072】
方法４００は、段階４０２において開始する。４０２において、インスタンス抽出サブモジュール３１２は、点群データセット２１０から点群オブジェクトインスタンスを抽出することにより、抽出されたインスタンス３０６を生成する。
【0073】
図１Ｂは、ＬＩＤＡＲセンサ（または、上述の他の３Ｄセンサ）により生成される点群フレーム２１２内の例示的なラベル付けされた点群オブジェクトインスタンス１４８の詳細図を示す。図示されている点群オブジェクトインスタンス１４８（例えば、点群データセット２１０から選択されるラベル付けされた点群オブジェクトインスタンス２１４のうちの１つ）は、図１Ａの第２の点群１１４（すなわち、「自転車乗用者」の点群オブジェクトインスタンス）から成っており、複数の点１４２は、走査線１４４に沿って配置されている。したがって、ラベル付けされた点群オブジェクトインスタンス１４８は、複数の走査線１４４を含み、各走査線１４４は、ラベル付けされた点群オブジェクトインスタンス１４８の複数の点１４２のサブセットを含む。走査線１４４は、複数の測定値の中間の方位角方向に沿って動くＬＩＤＡＲセンサのレーザが発する光が物体（この事例では、自転車乗用者）により反射され、ＬＩＤＡＲセンサにより検出される複数の点に対応している。図示されている例において、走査線１４４の方向を画定する方位角方向は、おおよそ水平（すなわち、点群フレームの座標系１０２により画定されるＸ－Ｙ平面上）である。図１Ａを参照して上述したように、ラベル付けされた点群オブジェクトインスタンス１４８は、「自転車乗用者」オブジェクトクラスラベル１３４および複数の点を囲む境界ボックス１２２を含む。
【0074】
いくつかの実施形態において、オブジェクトクラスラベル１３４および境界ボックス１２２など、セマンティック情報が、インスタンス抽出段階４０２の一部として、インスタンス抽出サブモジュール３１２により、点群オブジェクト検出および／または点群フレームセグメンテーションについての既知の技術を用いて生成され得る。他の実施形態において、点群データセット２１０の点群フレーム２１２は、セマンティック情報のラベルおよび注釈を付けられているラベル付けされた点群オブジェクトインスタンス２１４を既に含んでいる。
【0075】
インスタンス抽出サブモジュール３１２は、（例えば、点群フレーム２１２から）点群フレームを取得し、点群フレーム内の所与のオブジェクトクラスラベル１３４でラベル付けされた複数の点を識別する。物体の複数のインスタンスが、オブジェクトクラスラベルのみで一様に注釈を付けられるように、かつ、個々のオブジェクトインスタンスへセグメント化されないように、セマンティックセグメンテーションを用いてフレームに注釈が付けられている場合、インスタンス抽出サブモジュール３１２は、オブジェクトクラスラベル１３４で注釈が付けられた複数の点をクラスタ化して、ラベル１３４により示されるオブジェクトクラスの個々のオブジェクトインスタンスを（例えば、パノラマ的またはインスタンスセグメンテーションを用いて、またはオブジェクト認識を用いて）生成し得る。
【0076】
ラベル付けされた点群オブジェクトインスタンス１４８、およびオブジェクト抽出プロセスにより生成される抽出されたインスタンス３０６は、センサ位置に対するラベル付けされた点群オブジェクトインスタンス１４８の向きを示す向き情報を含み得る。例えば、点群フレーム２１２内の複数の点１４２を生成するために用いられるＬＩＤＡＲセンサのレーザが発する光線の投影方向は、抽出されたインスタンス３０６の一部として記録され、例えば、座標系１０２を用いた方向ベクトルとして定義され得る。各点１４２は、座標系１０２内の（ｘ，ｙ，ｚ）座標のセットを含むフォーマットで記録され得る。したがって、点１４２の強度値は、物体表面からの光の反射地点における物体表面の反射率の関数として、ならびに、この点を生成するために用いられるＬＩＤＡＲセンサが発する光線を画定する方向ベクトルおよび点１４２の空間座標の間の関係、すなわち、抽出されたインスタンス３０６の向き情報として理解され得る。したがって、向き情報は、光線の方向ベクトルおよび空間内のその点における光を反射する物体の表面法線の間の関係を表すために用いられる。向き情報は、オクルージョンおよび強度値が正確に表されるように、目標点群フレーム（すなわち、点群オブジェクトインスタンスが注入されている点群フレーム）のセンサ位置に対する注入された点群オブジェクトインスタンスの向きを維持するために、注入プロセス（図５を参照して以下で説明される）中に用いられ得る。
【0077】
図１Ａを参照して上述したように、ラベル付けされた点群オブジェクトインスタンス１４８、およびオブジェクト抽出プロセスにより生成される抽出されたインスタンス３０６は、各点１４４について、点強度情報（例えば、強度値）および点位置情報（例えば、空間（ｘ，ｙ，ｚ）座標）ならびに、潜在的に、他のタイプの情報も含み得る。
【0078】
４０４において、アップサンプリングサブモジュール３１４が、抽出された点群オブジェクトインスタンス３０６をアップサンプリングして、図１Ｃに示される自転車乗用者表面モデル１５２など、表面モデルを生成する。
【0079】
図１Ｃは、図１Ｂに示される自転車乗用者オブジェクトインスタンス１４８の抽出された点群オブジェクトインスタンス３０６に基づいてアップサンプリングサブモジュール３１４により生成される自転車乗用者の例示的な表面モデル１５２を示す。アップサンプリングサブモジュール３１４は、抽出された点群オブジェクトインスタンス３０６の点群クラスタ（すなわち、自転車乗用者を表す第２の点群クラスタ１１４）を、線形補間を用いてアップサンプリングして、各走査線１４４に沿って、かつ、走査線１４４の間に、クラスタ内の点の数を増やす。回転走査式ＬＩＤＡＲセンサにより撮像される点群オブジェクトインスタンスは通常、垂直方向（例えば、Ｚ軸におおよそ平行な仰角方向）および水平方向（例えば、Ｘ－Ｙ平面におおよそ平行な方位角方向１５７）において非常に異なる点密度を有する。多角形メッシュを用いて表面を表す従来の表面生成方法、例えば、ｇｒｅｅｄｙ表面三角測量およびデローネイ三角測量アルゴリズムは、穴を有する多角形メッシュから成る表面を生じさせ、これにより、走査線および影生成（図５を参照して以下で説明される）中、穴と、表面の影エリアに現れる複数の点とに対応するエリア内の複数の点を欠いた複数の走査線がもたらされ得る。本明細書において説明される方法およびシステムの例では、対照的に、点群オブジェクトインスタンスは、回転走査式ＬＩＤＡＲセンサの特性を利用することにより直接アップサンプリングされ得る。まず、各走査線の複数の点１４２に対して線形補間が実行され、走査線１４４の既存の複数の点１４２の中間に新しい複数の点１５５を追加することにより、水平方向における各走査線１４４の点密度が上がる。２番目に、薄いスライディングウィンドウ１５６を用いて、複数の点１４２のセットが方位角１５７に沿って分離される（すなわち、ウィンドウ１５６により、垂直方向に互いにおおまかに位置合わせされた複数の走査線１４４上に位置する複数の点１４２が分離される）。線形補間を用いて走査線１４４の中間に新しい複数の点１５４を追加することにより、垂直方向における複数の点１４２の密度が上がる。したがって、走査線１４４に沿って複数の点１５５を追加すること、および複数対の走査線１４４の間に複数の点１５４を追加することにより（両方の事例において線形補間が用いられる）、点群オブジェクトインスタンス１４８がアップサンプリングされる。
【0080】
追加された複数の点１５５、１５４は、線形補間を用いて、追加された複数の点１５５、１５４に点位置情報および点強度情報の両方を割り当てる。このアップサンプリングは、方位角－仰角面、すなわち、方位角方向１５７に沿った、垂直方向に分離されたレーザの掃引により画定される平面に対して（例えば、センサ位置を中心として垂直方向に分離された円弧において）実行され得る。アップサンプリングサブモジュール３１４により生成される表面モデルの密度は、補間の間隔、例えば、ライブラリ生成モジュール３３０のユーザにより定義されるパラメータを定義することにより制御され得る。図５を参照して以下で説明するように、表面モデルが十分に密である場合において、複数の点が表面モデルにより隠されるはずであるときは、影生成は、点群フレーム内に残される複数の点を一切もたらさないはずである。
【0081】
アップサンプリングサブモジュール３１４は、表面モデルの生成において用いられる点群オブジェクトインスタンス１４８の向き情報、点強度情報および点位置情報など、表面モデルにおける他の情報を含む。表面モデルが操作され得る空間内の単一の点を示す基準点１５８も、表面モデルに含まれ得る。いくつかの実施形態において、基準点１５８は、境界ボックス１２２の水平次元内の中心位置における、境界ボックス１２２の底面上または底面の近くに位置し、［ｘｍｅａｎ、ｙｍｅａｎ、ｚｍｉｎ］として、すなわち、境界ボックスのＸ－Ｙ長方形の水平中心におけるｘおよびｙ値、および、境界ボックスの最も低いｚ値を用いて計算され得る。元のフレームのセンサ位置から、Ｘ－Ｙ平面上へ投影される基準点１５８までの距離ｄ（例えば、
として計算される）を示す距離情報も含まれ得る。
【数1】
【0082】
４０６において、アップサンプリングサブモジュール３１４が表面モデルライブラリ２２２に表面モデルを追加する。所与のオブジェクトクラスの全ての表面モデルが容易に取得され得るように、表面モデルライブラリ２２２に含まれる表面モデルは、それらのそれぞれのオブジェクトクラスラベル１３４に関連付けて（例えば、キーまたはインデックスを付けて）格納され得る。次に、表面モデルライブラリ２２２は、必要に応じて格納または分散されてよく、例えば、システム２００のメモリ２０８に格納され、システム２００によりアクセス可能な中心位置に格納され、および／または非一時的記憶媒体上に分散されてよい。格納された表面モデルライブラリ２２２は、訓練モジュール２３４による使用のために、システム２００によりアクセス可能であってよい。
【0083】
【0084】
図５は、目標点群フレームへ表面モデルを注入する例示的な方法５００の段階を示すフローチャートである。説明したように、方法５００の段階は、図３に示されるデータ拡張モジュール３４０の様々なサブモジュールにより実行される。しかしながら、方法５００は、任意の適切な情報処理技術により実行され得ることが理解されるであろう。
【0085】
この方法は、段階５０２において開始する。５０２において、例えば、ライブラリ生成モジュール３３０により実行される図４の表面モデル生成方法４００を用いることにより、表面モデルライブラリ２２２が生成される。いくつかの実施形態において、段階５０２は、省略されてよく、表面モデル注入方法５００の実行前に、１つまたは複数の予め生成された表面モデルが取得され得る。
【0086】
５０４において、データ拡張モジュール３４０により目標点群フレーム２２６が取得される。目標点群フレーム２２６は、フレーム選択サブモジュール３１６により、点群データセット２１０から選択され得る。いくつかの例において、点群データセット２１０の全ての点群フレーム２１２が、拡張のためにデータ拡張モジュール３４０へ提供されてよく、一方で、他の例では、点群フレーム２１２のサブセットのみが提供される。単一の選択された目標点群フレーム２２６を拡張するために、方法５００の１回の反復が用いられる。
【0087】
５０６において、目標点群フレーム２２６への注入のために、表面モデルが選択および準備される。インスタンス注入サブモジュール３２０は、目標点群フレーム２２６、およびいくつかの実施形態において、表面モデルの選択および表面モデルの目標点群フレーム２２６への注入を制御するために用いられる制御パラメータを受信し得る。
制御パラメータの例示的なフォーマットは、
｛人，２，［道路，歩道，駐車場］，［５％，９０％，５％］｝
であり、「人」オブジェクトクラスの２つのインスタンスが目標点群フレーム２２６へ注入されることを示す。各「人」オブジェクトインスタンスは、それぞれ５％、９０％および５％という確率で「道路」、「歩道」または「駐車場」というシーンタイプのシーンタイプラベル１４０でラベル付けされた目標点群フレーム２２６内の複数の領域へ注入され得る。そのような例では、方法５００の段階５０６および５１６は、（これら２つの点群オブジェクトインスタンスの各々について表面モデルを選択および注入するために）２回繰り返されるであろう。
制御パラメータの例示的なフォーマットは、
｛人，２，［道路，歩道，駐車場］，［５％，９０％，５％］｝
であり、「人」オブジェクトクラスの２つのインスタンスが目標点群フレーム２２６へ注入されることを示す。各「人」オブジェクトインスタンスは、それぞれ５％、９０％および５％という確率で「道路」、「歩道」または「駐車場」というシーンタイプのシーンタイプラベル１４０でラベル付けされた目標点群フレーム２２６内の複数の領域へ注入され得る。そのような例では、方法５００の段階５０６および５１６は、（これら２つの点群オブジェクトインスタンスの各々について表面モデルを選択および注入するために）２回繰り返されるであろう。
【0088】
段階５０６は、サブ段階５０８、５１０および５１２を含む。サブ段階５０８において、インスタンス注入サブモジュール３２０は、例えば、制御パラメータにより示されるシーンタイプ確率分布に基づいて、目標点群フレーム２２６内のアンカーポイントを決定する。サブ段階５１２を参照して以下で説明するように、アンカーポイントは、注入された点群オブジェクトインスタンスを目標点群フレーム２２６内に位置付けるために用いられる。
【0089】
いくつかの実施形態において、アンカーポイントは、３つの段階において生成され得る。まず、目標点群フレーム２２６のシーンタイプラベル１４０およびオブジェクトクラスラベルを用いて全ての可能なアンカーポイントが識別されることで、点群オブジェクトインスタンスが目標点群フレーム２２６へ現実的に（例えば、目標点群フレーム２２６内の他の物体との衝突制約に基づいて）注入され得る領域内の適切な領域および位置が識別される。２番目に、制御パラメータおよび任意の他の制約または要因に基づき、可能なアンカーポイントの各々の確率ｐが計算される。３番目に、計算された確率に基づき、アンカーポイントが選択される；例えば、最も高い計算された確率を有する潜在的なアンカーポイントがアンカーポイントとして選択され得る。
【0090】
各アンカーポイント候補の確率ｐは、ｐ＝ｐｐｏｓ・ｐｃｌａｓｓとして計算され得る。ｐｐｏｓは、グラウンドプレーン上でアンカーポイントを一様に選択するために用いられる確率係数である。回転走査式ＬＩＤＡＲセンサの場合、各点は、その点においてレーザが発する光線を反射する物体の異なるエリアに対応し、センサ位置に近い複数の点は、センサ位置から遠い複数の点のものよりも小さいエリアをカバーする。アンカーポイントは、典型的には、グラウンド面により反射される、目標点群フレーム２２６の複数の点から選択される。各点の選択確率は、そのカバーされるエリアに比例し得る；そうでなければ、アンカーポイントのうちのほとんどが、センサ位置の近くに生成される。したがって、ｐｐｏｓは、
として計算され得る。
【数2】
【0091】
ｐｃｌａｓｓの値は、制御パラメータ、すなわち、所与のシーンタイプラベル１４０でラベル付けされた領域内に位置しているアンカーポイントの確率により決定され得る。したがって、目標点群フレーム２２６は、目標点群フレーム２２６の１つまたは複数の領域のシーンタイプを示すシーンタイプ情報（例えば、シーンタイプラベル１４０）を含み、このシーンタイプ情報は、アンカーポイント候補からアンカーポイントを選択するために確率ｐの計算により用いられるｐｃｌａｓｓの値を決定するために用いられ得る。いくつかの実施形態において、確率ｐの計算により、表面モデルが所与の領域内に位置しているはずである、と、この領域のシーンタイプおよび表面モデルのオブジェクトクラスに基づき、本質的に判断される。サブ段階５１２において以下で説明するように、この領域内の複数のアンカーポイント候補からアンカーポイントがひとたび選択されると、このアンカーポイントが選択され、この領域内の目標点群フレーム２２６のグラウンド面上の対応する位置（アンカー位置と称される）が、表面モデルの位置決めおよび注入のための位置として用いられる。
【0092】
サブ段階５１０において、表面モデル選択サブモジュール３２２は、例えば、上述の制御パラメータにおいて識別されるオブジェクトクラスに関連付けられた表面モデルを表面モデルライブラリ２２２から選択することにより、目標表面モデル２２８を取得する。いくつかの例において、表面モデルライブラリ２２２は、上述の方法４００により生成されるものなど、密な点群オブジェクトインスタンスとして格納される表面モデルを含む。いくつかの例において、表面モデルライブラリ２２２は、コンピュータ支援設計（ＣＡＤ）モデルとして格納される表面モデルを含む。いくつかの例において、表面モデルライブラリ２２２は、完全な密な点群オブジェクト走査、すなわち、複数の見晴らしの良い地点から走査された物体を表す密な点群として格納される表面モデルを含む。本明細書において説明される例では、方法４００により生成されるものなど、密な点群オブジェクトインスタンスから成る表面モデルの使用を参照する。しかしながら、本明細書において説明される方法およびシステムは、ＣＡＤモデルおよび完全な密な点群オブジェクト走査など、他の表面モデルタイプにも適用可能である（方法４００により生成される密な点群オブジェクトインスタンスの使用により示され得る利点の全てをそれらの表面モデルタイプの使用が示し得ない場合でも）ことが理解されるであろう。
【0093】
表面モデルライブラリ２２２に格納される各表面モデルは、表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含み得る。表面モデル選択サブモジュール３２２は、上述の制御パラメータおよびアンカーポイント選択により規定される他の制約を満たす、ライブラリ２２２内の所与のオブジェクトクラスの全ての表面モデルのリストを取得し得る。例えば、表面モデル選択サブモジュール３２２は、距離制約｜ｒＲ｜≦｜ｒＡ｜を課し、これにより、センサ位置から目標点群フレーム２２６内のアンカーポイントまでの距離を示す、アンカーポイント範囲｜ｒＡ｜よりも小さいかまたはそれに等しい距離ｄ（基準範囲｜ｒＲ｜とも称される）を示す関連付けられた距離情報を選択された目標表面モデル２２８が有していることを要求し得る。制約（例えば、オブジェクトクラスおよび空間の制約）を満たすライブラリ２２２内に全ての表面モデルのリストがひとたび取得または生成されると、任意の適切な選択基準、例えばランダム選択を用いて、リストから表面モデルが選択され得る。
【0094】
サブ段階５１２において、選択された目標表面モデル２２８は、変換サブモジュール３１８により、アンカー位置に基づき変換され、変換された表面モデル２３２が生成される。表面モデル変換の一例が、図１Ｄに示される。
【0095】
図１Ｄは、変換された表面モデル２３２を生成するための目標表面モデル２２８の変換の上面図を示す。目標表面モデル２２８は、境界ボックス１２２を有する自転車表面モデル１５２、「自転車」オブジェクトクラスラベル１３４、基準点１５８、および、境界ボックス１２２の縁部およびセンサ位置１６６から基準点１５８まで延びる基準ベクトル１７２により示される基準方向の間の配向角１６８として示される向き情報として示されている。基準ベクトル１７２は、距離ｄ（すなわち、基準範囲｜ｒＲ｜）に等しい長さを有する。
【0096】
上記のサブ段階５０８において決定されるアンカーポイントは、センサ位置１６６からアンカーポイント方向を指すアンカーポイントベクトル１７０を画定する、目標点群フレーム２２６内のアンカー位置１６０に位置している。アンカーポイントベクトル１７０の長さは、アンカーポイント範囲｜ｒＡ｜である。
【0097】
変換サブモジュール３１８は、基準方向（すなわち、基準ベクトル１７２のもの）およびアンカーポイント方向（すなわち、アンカーポイントベクトル１７０のもの）の間の回転角θを計算する。次に、目標表面モデル２２８は、回転角θ（すなわち、基準ベクトル１７２により画定される表面モデル基準方向およびアンカーポイントベクトル１７０）により画定されるアンカーポイント方向の間のもの）の分だけ、センサ位置１６６に対する表面モデルの向きを維持（すなわち、同じ配向角１６８を維持）しつつ、目標点群フレーム２２６のセンサ位置１６６により画定される軸を中心として回転する。
【0098】
次に、表面モデルの範囲または距離は、変換、すなわち、直線移動を用いて調整される。変換サブモジュール３１８は、基準距離（すなわち、基準ベクトル１７２の長さにより画定される基準範囲｜ｒＲ｜）およびアンカーポイント距離（すなわち、アンカーポイントベクトル１７０の長さにより画定されるアンカーポイント範囲｜ｒＡ｜）の間の表面モデルを変換する。
【0099】
いくつかの例において、次に、表面モデルは、点群データへのオブジェクトインスタンス注入へより大きな多様性を導入することにより、機械学習モデルを訓練する目的でデータ拡張プロセスの有効性を潜在的に上げるべく、アンカー位置１６０に対して多少の量だけ、垂直方向および／または水平方向に適宜スケーリングされ得る。
【0100】
変換された表面モデル２３２は、目標表面モデル２２８に対して実行される上述の回転、変換およびスケーリング動作の最終結果である。いくつかの例において、インスタンス注入サブモジュール３２０により、変換された表面モデル２３２に対して衝突試験が実行され得る；変換された表面モデル２３２が目標点群フレーム２２６内の他の物体と競合（例えば、衝突または交差）する場合、方法４００は、段階５０６へ戻って、変換のために、新しいアンカーポイントを決定し、新しい表面モデルを選択してよく、このプロセスは、適切な変換された表面モデル２３２が生成されて目標フレーム２２６内に位置付けられるまで、繰り返されてよい。
【0101】
５１６において、インスタンス注入サブモジュール３２０は、表面モデルに基づき、点群オブジェクトインスタンスを目標点群フレーム２２６へ注入する。段階５１６は、サブ段階５１８および５２０を含む。
【0102】
段階５１６の前に、インスタンス注入サブモジュール３２０は、上述のように、フレーム選択サブモジュール３１６から目標点群フレーム２２６を、変換サブモジュール３１８から変換された表面モデル２３２を取得済みである。変換された表面モデル２３２は、目標点群フレーム２２６の座標系１０２内に位置付けられる。しかしながら、変換された表面モデル２３２は、その表面上に走査線１４４がなく、目標点群フレーム２２６内の他の点を隠す影を落とさない。
【0103】
サブ段階５１８において、インスタンス注入サブモジュール３２０は、変換された表面モデル２３２の表面上に走査線１４４を生成して、目標点群フレーム２２６へ注入される点群オブジェクトインスタンスを生成する。変換された表面モデル２３２の走査線１４４を目標点群フレーム２２６に追加することにより、変換された表面モデルの表面にマッピングされた走査線１４４の複数の点から成る注入された点群オブジェクトインスタンスを含む、拡張された点群フレーム２３０が生成される。
【0104】
変換された表面モデル２３２の各走査線１４４は、目標点群フレーム２２６の走査線と位置合わせされた複数の点１４２として生成される。いくつかの実施形態において、目標点群フレーム２２６の走査線は、目標点群フレーム２２６を生成するために用いられるＬＩＤＡＲセンサの解像度に対応する範囲画像上へ変換された表面モデル２３２を投影することにより、シミュレートされ得る。したがって、例えば、範囲画像は目標点群フレーム２２６内の全ての点のセットであり、各点の空間（ｘ，ｙ，ｚ）座標が（方位角，仰角，距離）座標へ変換され、次に、各点が（方位角，仰角）平面における２次元画素アレイの画素を画定するために用いられる、と考えられ得る。この２次元画素アレイは、範囲画像である。方位角座標は、センサ位置のＺ軸を中心とした角回転を示してよく、仰角座標は、Ｘ－Ｙ平面に対する仰角または凹みの角度を示してよい。変換された表面モデル２３２の複数の点を目標点群フレーム２２６の範囲画像上へ投影することにより、インスタンス注入サブモジュール３２０は、目標点群フレーム２２６を生成するために用いられるＬＩＤＡＲセンサにより実行される走査の光線の複数の点に対応するエリアに含まれる、変換された表面モデル２３２のそれらの点を識別し得る。変換された表面モデル２３２の投影の少なくとも１つの点を含む範囲画像の各画素について、各画素の中心に最も近い変換された表面モデル２３２のみが保持され、保持された点は、変換された表面モデル２３２の表面に走査線１４４をポピュレートするために用いられる。所与の走査線１４４の複数の点は、範囲画像の画素の行に対応する。保持された点は、範囲画像画素の中心の仰角と位置合わせするために、仰角方向に動かされる。これにより、その行内の画素によって生成される各点の全てが同じ仰角を有することで走査線１４４が正確に上がることが保証される。
【0105】
いくつかの実施形態において、範囲画像は、目標点群フレーム２２６の変換された複数の点の実際の（方位角，仰角）座標から導出される；しかしながら、他の実施形態では、目標点群フレーム２２６を生成するために用いられるＬＩＤＡＲセンサの解像度（目標点群フレーム２２６に関連付けられた情報として格納されてよく、または、目標点群フレーム２２６の２つまたはそれよりも多くの点から導出されてよい）を取得すること、および、範囲画像の画素を目標点群フレーム２２６の複数の点に１：１でマッピングしないで、対応する解像度の範囲画像を生成することにより、計算的負荷がより低い態様で範囲画像を生成し得る。いくつかの実施形態において、解像度に基づく範囲画像は、生成された後、フレームの１つまたは複数の点と位置合わせされ得る。
【0106】
拡張された点群フレーム２３０内で、変換された表面モデル２３２が破棄され、上述のように生成された走査線１４４のみが残る。しかしながら、これは、変換された表面モデル２３２の破棄の前に、サブ段階５２０において影を生成するために用いられ得る。インスタンス注入サブシステム３２０は、変換された表面モデル２３２が落とす影を決定し、影内に位置する目標点群フレーム２２６の１つまたは複数の隠された点を識別し、隠された点を拡張された点群フレーム２３０から除去する。範囲画像は、各画素のエリアに含まれる目標点群フレーム２２６の全ての既存の点を識別するために用いられる。サブ段階５１８において生成される走査線１４４の少なくとも１つの点を含む各画素は、影を落とすものとみなされる。画素に含まれる既存の複数の点の全て（すなわち、画素が落とす影内のもの）が、隠された点とみなされ、拡張された点群フレーム２３０から除去される。
【0107】
図４および図５の方法４００、５００は、１つまたは複数の利点を実現するために共に用いられ得る。まず、方法４００において実際のＬＩＤＡＲにより生成される点群フレーム（すなわち、ＬＩＤＡＲセンサにより生成された点群フレーム）から取得された表面モデルは通常、半分側である；方法５００における表面モデルの回転により、複数の点を有する側が常にセンサ位置１６６の方を向くことが保証される。２番目に、いくつかの実施形態において、上述のように、アンカーポイント範囲は、変換サブモジュール３１８により、基準範囲よりも大きくなるように制約される（すなわち、｜ｒＲ｜≦｜ｒＡ｜）；したがって、表面モデルの表面上に生成される走査線点の密度は、アップサンプリングプロセスの任意のアーティファクトを増大させるようには上がらない（抽出されたオブジェクトインスタンスの密度がアップサンプリングにより上がるが、これによっては、元の点群オブジェクトインスタンスに含まれる情報は増えない）。方法４００、５００の組み合わせの他の利点が、当業者には明らかになるであろう。
【0108】
ライブラリ生成方法４００およびデータ拡張方法５００はさらに、機械学習モデルを訓練するために、機械学習プロセスと組み合わされ得る。図６に示される例示的な方法６００を参照して、図３に示されるライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４の相互運用をここで説明する。
【0109】
図６は、予測タスクのための機械学習モデル２２４の訓練に用いられる点群データセットを拡張する例示的な方法６００の段階を示すフローチャートである。説明したように、方法６００の段階は、図３に示されるライブラリ生成モジュール３３０、データ拡張モジュール３４０および訓練モジュール２３４の様々なサブモジュールにより実行される。しかしながら、方法６００は、任意の適切な情報処理技術により実行され得ることが理解されるであろう。
【0110】
６０２において、ライブラリ生成モジュール３３０は、方法４００に従って、１つまたは複数の表面モデルのライブラリ２２２を生成する。
【0111】
６０４において、データ拡張モジュール３４０は、方法５００に従って、１つまたは複数の拡張された点群フレーム２３０を生成する。
【0112】
６０６において、訓練モジュール２３４は、拡張された点群フレーム２３０を用いて、機械学習モデル２２４を訓練する。
【0113】
段階６０４および６０６は、１回または複数回の訓練反復を実行するために、１回または複数回繰り返され得る。いくつかの実施形態において、複数の拡張された点群フレーム２３０が、それらが機械学習モデル２２４を訓練するために用いられる前に、生成される。
【0114】
機械学習モデル２２４は、点群フレームに対して予測タスクを実行するために教師あり学習などの機械学習技術を用いて訓練された人工ニューラルネットワークまたは別のモデルであってよい。予測タスクは、フレーム内の物体をオブジェクトクラス毎に認識するための、またはフレームをオブジェクトクラス毎にセグメント化するための任意の予測タスクであってよく、オブジェクト認識、セマンティックセグメンテーション、インスタンスセグメンテーションまたはパノラマセグメンテーションを含む。いくつかの実施形態において、拡張された点群フレーム２３０は、点群データセット２１０に追加され、訓練モジュール２３４は、点群データセット２１０を訓練データセットとして用いて、機械学習モデル２２４を訓練する。すなわち、機械学習モデル２２４は、点群フレーム２１２に対するオブジェクト認識またはセグメンテーションなどの予測タスクを点群フレーム２１２に対して実行するために、教師あり学習、および、点群データセット２１０に含まれる点群フレーム２１２および拡張された点群フレーム２３０を用いて訓練される。訓練された機械学習モデル２２４は、オブジェクト検出を実行してオブジェクトクラスラベルを予測するように訓練されてよく、または、セグメンテーションを実行して、各点群フレーム２１２内の点または領域の０またはそれよりも多くのサブセットまたはクラスタにアタッチするためのインスタンスラベルおよび／またはシーンタイプラベルを予測するように訓練されてよく、各ラベル付けされた点群オブジェクトインスタンス２１４に、または所与の点群フレーム２１２内の領域に関連付けられたラベルは、訓練のためのグラウンドトゥルースラベルとして用いられる。他の実施形態において、機械学習モデル２２４は、異なる訓練点群データセットを用いて訓練される。
【0115】
本開示では、方法およびプロセスを、特定の順序の段階と共に説明しているが、方法およびプロセスにおける１つまたは複数の段階は、適宜省略または変更されてよい。必要に応じて、１つまたは複数の段階が、説明されている以外の順序で行われてよい。
【0116】
本開示は、少なくとも部分的に方法に関して説明されているが、本開示は、説明されている方法の態様および特徴のうちの少なくともいくつかをハードウェアコンポーネント、ソフトウェア、またはそれら２つの任意の組み合わせにより実行するための様々なコンポーネントも対象としていることを、当業者であれば理解するであろう。したがって、本開示の技術的解決手段は、ソフトウェア製品の形態で具現化されてよい。適切なソフトウェア製品が、例えば、ＤＶＤ、ＣＤ－ＲＯＭ、ＵＳＢフラッシュディスク、リムーバブルハードディスク、または他の記憶媒体を含む、予め記録されたストレージデバイスまたは他の同様の不揮発性または非一時的コンピュータ可読媒体に記憶されてよい。ソフトウェア製品は、処理デバイス（例えば、パーソナルコンピュータ、サーバまたはネットワークデバイス）が、本明細書において開示されている方法の例を実行することを可能にする、有形的に記憶された命令を含む。
【0117】
本開示は、特許請求の範囲の主題から逸脱することなく、他の特定の形態で具現化されてよい。説明されている例示的な実施形態は、あらゆる点において、限定的なものではなく、単に例示的なものであるとみなされるべきである。上述の実施形態のうちの１つまたは複数から選択される特徴を組み合わせて、明示的に説明されていない代替的な実施形態を創出してよく、そのような組み合わせに適切な特徴は、本開示の範囲内にあると理解される。
【0118】
開示されている範囲内の全ての値およびサブ範囲も開示される。また、本明細書において開示および図示されているシステム、デバイスおよびプロセスは特定数の要素／コンポーネントを含み得るが、これらのシステム、デバイスおよびアセンブリは、そのような要素／コンポーネントをさらにまたはより少なく含むように修正され得る。例えば、開示されている要素／コンポーネントのいずれも単数として言及され得るが、本明細書において開示されている実施形態は、そのような要素／コンポーネントを複数含むように修正され得る。本明細書において説明されている主題は、技術における全ての適切な変更を網羅および包含することを意図している。
他の可能な項目
［項目１］
点群オブジェクトインスタンスを取得する段階；および
補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、表面モデルを生成する段階
を備える方法。
［項目２］
前記点群オブジェクトインスタンスは、
センサ位置に対する前記点群オブジェクトインスタンスの向きを示す向き情報
を含む；および
前記点群オブジェクトインスタンス内の複数の点の各々について、
点強度情報；および
点位置情報
を含む；および
前記表面モデルは、前記点群オブジェクトインスタンスの前記向き情報、点強度情報および点位置情報を含む、
項目１に記載の方法。
［項目３］
前記点群オブジェクトインスタンスは、複数の走査線を含み、各走査線は、前記複数の点のサブセットを含む；および
前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、少なくとも１つの走査線に沿って複数の点を追加する段階を有する
項目２に記載の方法。
［項目４］
前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、前記複数の走査線のうちの少なくとも１対の走査線の間に複数の点を追加する段階をさらに有する、項目３に記載の方法。
［項目５］
線形補間を用いて点を追加する段階は、
２つの既存の点の前記点位置情報の線形補間に基づいて、前記追加された点に点位置情報を割り当てる段階；および
前記２つの既存の点の前記点強度情報の線形補間に基づいて、前記追加された点に点強度情報を割り当てる段階
を含む、
項目４に記載の方法。
［項目６］
目標点群フレームを取得する段階；
前記目標点群フレーム内のアンカー位置を決定する段階；
物体の表面モデルを取得する段階；
前記アンカー位置に基づいて前記表面モデルを変換して、変換された表面モデルを生成する段階；
前記変換された表面モデルの複数の走査線を生成する段階であって、各走査線は、前記目標点群フレームの複数の走査線と位置合わせされた複数の点を含む、生成する段階；および
前記変換された表面モデルの前記複数の走査線を前記目標点群フレームに追加して、拡張された点群フレームを生成する段階
を備える方法。
［項目７］
前記表面モデルは、密な点群オブジェクトインスタンスを含む、項目６に記載の方法。
［項目８］
前記表面モデルを取得する段階は、
点群オブジェクトインスタンスを取得する段階；および
補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、前記表面モデルを生成する段階
を有する、
項目７に記載の方法。
［項目９］
前記表面モデルは、コンピュータ支援設計（ＣＡＤ）モデルを含む、項目６に記載の方法。
［項目１０］
前記表面モデルは、完全な密な点群オブジェクト走査を含む、項目６に記載の方法。
［項目１１］
前記変換された表面モデルの影を決定する段階；
前記影内に位置する前記目標点群フレームの１つまたは複数の隠された点を識別する段階；および
前記拡張された点群フレームから前記複数の隠された点を除去する段階
をさらに備える、項目６に記載の方法。
［項目１２］
前記変換された表面モデルの前記複数の走査線を生成する段階は、
２次元画素アレイを含む範囲画像を生成する段階、ここで、各画素は、前記目標点群フレームの点に対応する；
前記変換された表面モデルを前記範囲画像上へ投影する段階；および
前記範囲画像の各画素について、前記画素が前記変換された表面モデルの前記投影の少なくとも１つの点を含んでいるという判断に応答して、
前記画素の中心への前記変換された表面モデルの前記投影の最近傍点を識別する段階；および
前記最近傍点を前記走査線に追加する段階
を有する、
項目７に記載の方法。
［項目１３］
前記表面モデルは、前記表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含む；
前記目標点群フレームは、前記目標点群フレームの領域のシーンタイプを示すシーンタイプ情報を含む；および
前記アンカー位置を決定する段階は、前記表面モデルが前記領域内に位置しているはずであるという、前記領域の前記シーンタイプおよび前記表面モデルの前記オブジェクトクラスに基づく判断に応答して、前記アンカー位置を前記領域内に位置決めする段階を有する
項目６に記載の方法。
［項目１４］
前記アンカー位置に基づいて前記表面モデルを変換する段階は、
センサ位置に対する前記表面モデルの向きを維持しつつ、前記目標点群フレームの前記センサ位置により画定される軸を中心として前記表面モデルを表面モデル基準方向およびアンカーポイント方向の間で回転させる段階；および
前記表面モデルを基準距離およびアンカーポイント距離の間で変換する段階
を有する、
項目６に記載の方法。
［項目１５］
前記拡張された点群フレームを用いて機械学習モデルを訓練する段階をさらに備える、項目６に記載の方法。
［項目１６］
点群データを拡張するためのシステムであって、
プロセッサデバイス；および
前記プロセッサデバイスにより実行された場合、項目１から１４のいずれか一項に記載の方法を前記システムに実行させる機械実行可能命令を格納したメモリ
を備える、システム。
［項目１７］
コンピューティングシステムのプロセッサデバイスにより実行された場合、項目１から１４いずれか一項に記載の方法を前記コンピューティングシステムに実行させる機械実行可能命令を備えるコンピュータ可読媒体。
［項目１８］
コンピューティングシステムのプロセッサデバイスにより実行された場合、項目１から１４のいずれか一項に記載の方法を前記コンピューティングシステムに実行させる機械実行可能命令を備えるコンピュータプログラム。
他の可能な項目
［項目１］
点群オブジェクトインスタンスを取得する段階；および
補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、表面モデルを生成する段階
を備える方法。
［項目２］
前記点群オブジェクトインスタンスは、
センサ位置に対する前記点群オブジェクトインスタンスの向きを示す向き情報
を含む；および
前記点群オブジェクトインスタンス内の複数の点の各々について、
点強度情報；および
点位置情報
を含む；および
前記表面モデルは、前記点群オブジェクトインスタンスの前記向き情報、点強度情報および点位置情報を含む、
項目１に記載の方法。
［項目３］
前記点群オブジェクトインスタンスは、複数の走査線を含み、各走査線は、前記複数の点のサブセットを含む；および
前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、少なくとも１つの走査線に沿って複数の点を追加する段階を有する
項目２に記載の方法。
［項目４］
前記点群オブジェクトインスタンスをアップサンプリングする段階は、線形補間を用いて、前記複数の走査線のうちの少なくとも１対の走査線の間に複数の点を追加する段階をさらに有する、項目３に記載の方法。
［項目５］
線形補間を用いて点を追加する段階は、
２つの既存の点の前記点位置情報の線形補間に基づいて、前記追加された点に点位置情報を割り当てる段階；および
前記２つの既存の点の前記点強度情報の線形補間に基づいて、前記追加された点に点強度情報を割り当てる段階
を含む、
項目４に記載の方法。
［項目６］
目標点群フレームを取得する段階；
前記目標点群フレーム内のアンカー位置を決定する段階；
物体の表面モデルを取得する段階；
前記アンカー位置に基づいて前記表面モデルを変換して、変換された表面モデルを生成する段階；
前記変換された表面モデルの複数の走査線を生成する段階であって、各走査線は、前記目標点群フレームの複数の走査線と位置合わせされた複数の点を含む、生成する段階；および
前記変換された表面モデルの前記複数の走査線を前記目標点群フレームに追加して、拡張された点群フレームを生成する段階
を備える方法。
［項目７］
前記表面モデルは、密な点群オブジェクトインスタンスを含む、項目６に記載の方法。
［項目８］
前記表面モデルを取得する段階は、
点群オブジェクトインスタンスを取得する段階；および
補間を用いて前記点群オブジェクトインスタンスをアップサンプリングして、前記表面モデルを生成する段階
を有する、
項目７に記載の方法。
［項目９］
前記表面モデルは、コンピュータ支援設計（ＣＡＤ）モデルを含む、項目６に記載の方法。
［項目１０］
前記表面モデルは、完全な密な点群オブジェクト走査を含む、項目６に記載の方法。
［項目１１］
前記変換された表面モデルの影を決定する段階；
前記影内に位置する前記目標点群フレームの１つまたは複数の隠された点を識別する段階；および
前記拡張された点群フレームから前記複数の隠された点を除去する段階
をさらに備える、項目６に記載の方法。
［項目１２］
前記変換された表面モデルの前記複数の走査線を生成する段階は、
２次元画素アレイを含む範囲画像を生成する段階、ここで、各画素は、前記目標点群フレームの点に対応する；
前記変換された表面モデルを前記範囲画像上へ投影する段階；および
前記範囲画像の各画素について、前記画素が前記変換された表面モデルの前記投影の少なくとも１つの点を含んでいるという判断に応答して、
前記画素の中心への前記変換された表面モデルの前記投影の最近傍点を識別する段階；および
前記最近傍点を前記走査線に追加する段階
を有する、
項目７に記載の方法。
［項目１３］
前記表面モデルは、前記表面モデルのオブジェクトクラスを示すオブジェクトクラス情報を含む；
前記目標点群フレームは、前記目標点群フレームの領域のシーンタイプを示すシーンタイプ情報を含む；および
前記アンカー位置を決定する段階は、前記表面モデルが前記領域内に位置しているはずであるという、前記領域の前記シーンタイプおよび前記表面モデルの前記オブジェクトクラスに基づく判断に応答して、前記アンカー位置を前記領域内に位置決めする段階を有する
項目６に記載の方法。
［項目１４］
前記アンカー位置に基づいて前記表面モデルを変換する段階は、
センサ位置に対する前記表面モデルの向きを維持しつつ、前記目標点群フレームの前記センサ位置により画定される軸を中心として前記表面モデルを表面モデル基準方向およびアンカーポイント方向の間で回転させる段階；および
前記表面モデルを基準距離およびアンカーポイント距離の間で変換する段階
を有する、
項目６に記載の方法。
［項目１５］
前記拡張された点群フレームを用いて機械学習モデルを訓練する段階をさらに備える、項目６に記載の方法。
［項目１６］
点群データを拡張するためのシステムであって、
プロセッサデバイス；および
前記プロセッサデバイスにより実行された場合、項目１から１４のいずれか一項に記載の方法を前記システムに実行させる機械実行可能命令を格納したメモリ
を備える、システム。
［項目１７］
コンピューティングシステムのプロセッサデバイスにより実行された場合、項目１から１４いずれか一項に記載の方法を前記コンピューティングシステムに実行させる機械実行可能命令を備えるコンピュータ可読媒体。
［項目１８］
コンピューティングシステムのプロセッサデバイスにより実行された場合、項目１から１４のいずれか一項に記載の方法を前記コンピューティングシステムに実行させる機械実行可能命令を備えるコンピュータプログラム。
【国際調査報告】