特開 2024-14785 ターゲットオブジェクトの予測方法、コンピュータ機器および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014785

(43)【公開日】2024-02-01

(54)【発明の名称】ターゲットオブジェクトの予測方法、コンピュータ機器および記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240125BHJP

   G06T 7/60 20170101ALI20240125BHJP

   G06T 7/70 20170101ALI20240125BHJP

【ＦＩ】

G06T7/00 350

G06T7/60 180B

G06T7/70 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023116236

(22)【出願日】2023-07-14

(31)【優先権主張番号】202210853238.3

(32)【優先日】2022-07-20

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】範略

(72)【発明者】

【氏名】王峰

(72)【発明者】

【氏名】王乃岩

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA04

5L096CA04

5L096EA03

5L096EA33

5L096EA39

5L096FA16

5L096FA62

5L096FA66

5L096FA69

5L096GA12

5L096GA19

5L096HA11

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】ポイントクラウドデータを対象としたターゲットオブジェクトの予測効率を向上させる方法、コンピュータ機器および記憶媒体を提供する。
【解決手段】ターゲットオブジェクトの予測方法は、ポイントクラウドデータに対してボクセル化処理を行って複数のボクセルを得て、そのうち、上記複数のボクセルは、上記ポイントクラウドデータにおける複数のポイントに対応するとともに、その少なくとも一部がボクセルセットを形成するステップと、上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して、複数のボクセル特徴を得るステップと、上記複数のボクセル特徴を上記複数のボクセルに含まれる複数のポイントにそれぞれマッピングして、上記複数のポイントの複数のポイント特徴を得るステップと、上記複数のポイント特徴に基づいて、上記ターゲットオブジェクトを予測するステップと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

ターゲットオブジェクトの予測方法であって、
ポイントクラウドデータに対してボクセル化処理を行って複数のボクセルを得るステップであって、そのうち、前記複数のボクセルは、前記ポイントクラウドデータにおける複数のポイントに対応するとともにその少なくとも一部がボクセルセットを形成するステップと、
前記ボクセルセットにおけるボクセルから複数のボクセル特徴を抽出するステップと、
前記複数のボクセル特徴を前記複数のボクセルに含まれる複数のポイントにそれぞれマッピングして、前記複数のポイントの複数のポイント特徴を得るステップと、
前記複数のポイント特徴に基づいて、前記ターゲットオブジェクトを予測するステップと、を含む、
ことを特徴とするターゲットオブジェクトの予測方法。

【請求項2】

前記ポイントクラウドデータに対してボクセル化処理を行って前記複数のボクセルを得るステップが、
前記ポイントクラウドデータの空間座標範囲に基づいて、前記ポイントクラウドデータを所定の解像度で前記複数のボクセルに分割させるステップと、
前記ポイントクラウドデータに基づいて、前記複数のボクセルの初期ボクセル特徴を抽出するステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記ボクセルセットにおけるボクセルから前記複数のボクセル特徴を抽出するステップが、
前記初期ボクセル特徴を予め設定されたスパースボクセルエンコーダに入力してボクセル特徴を抽出するステップを含む、
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記複数のボクセル特徴を前記複数のボクセルに含まれる複数のポイントにそれぞれマッピングして、前記複数のポイントの前記複数のポイント特徴を得るステップが、
前記ボクセルセットにおけるボクセルの前記ボクセル特徴を前記ボクセル特徴に対応するボクセルに含まれるポイントにマッピングして、初期ポイント特徴を得るステップと、
前記ポイントと前記ポイントに対応する前記ボクセルの中心との間の幾何学的特徴を算出するステップと、
前記初期ポイント特徴と前記幾何学的特徴に基づいて、前記ポイントの前記ポイント特徴を生成するステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記複数のポイント特徴に基づいて前記ターゲットオブジェクトを予測するステップが、
前記複数のポイント特徴に基づいて、前記ターゲットオブジェクトのフォアグラウンドに属する複数のポイントを予測して、複数のフォアグラウンドポイントを得るステップと、
前記複数のフォアグラウンドポイントに対してクラスタリング処理を行って、前記ターゲットオブジェクトに属する第１の予測ポイントセットを得るステップであって、そのうち、前記第１の予測ポイントセットには、前記ターゲットオブジェクトに対応する複数のポイントが含まれるステップと、
前記第１の予測ポイントセットにおける前記複数のポイントにおけるポイント特徴を抽出して、第１の予測ポイントセット特徴を得るステップと、
前記第１の予測ポイントセット特徴に基づいて、前記ターゲットオブジェクトを予測するステップと、を含む、
ことを特徴とする請求項１に記載の方法。

【請求項6】

前記複数のポイント特徴に基づいて、前記ターゲットオブジェクトのフォアグラウンドに属する前記複数のポイントを予測して、前記複数のフォアグラウンドポイントを得るステップが、
前記複数のポイント特徴に基づいて、前記複数のポイントに対応するターゲットオブジェクトのタイプを予測するステップと、
前記ターゲットオブジェクトの前記タイプに基づいて、前記複数のフォアグラウンドポイントを確定するステップと、を含む、
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記複数のフォアグラウンドポイントに対してクラスタリング処理を行って、前記ターゲットオブジェクトに属する前記第１の予測ポイントセットを得るステップが、
前記ターゲットオブジェクトを表す複数の中心ポイントを確定するステップであって、そのうち、前記中心ポイントは、前記フォアグラウンドポイントが予測した、所属のターゲットオブジェクトの中心を表すステップと、
前記複数の中心ポイント同士の距離をそれぞれ算出するステップと、
条件を満す前記複数のフォアグラウンドポイントのうちの少なくとも１つを前記第１の予測ポイントセットに加えるステップであって、そのうち、前記条件は、前記距離が予め設定された距離以下であるステップと、を含む、
ことを特徴とする請求項５に記載の方法。

【請求項8】

前記第１の予測ポイントセットにおける前記複数のポイントのポイント特徴を抽出して、前記第１の予測ポイントセット特徴を得るステップが、
第１の重み係数に基づいて、前記第１の予測ポイントセットにおける前記ポイントの第１のインスタンス特徴を算出するステップと、
前記第１の予測ポイントセットにおける前記ポイントの前記ポイント特徴と前記第１のインスタンス特徴との関係に基づいて、第１のターゲット特徴を得るステップであって、そのうち、前記第１のターゲット特徴は、前記第１の予測ポイントセット特徴とするステップと、を含む、
ことを特徴とする請求項５に記載の方法。

【請求項9】

第２の重み係数に基づいて、前記第１の予測ポイントセットにおける前記ポイントの重み付け座標を算出するステップと、
前記第１の予測ポイントセットにおける前記ポイントの座標と前記重み付け座標との間の差異を確定して、第２のターゲット特徴を得るステップと、
前記第１のターゲット特徴と前記第２のターゲット特徴とを融合して、第３のターゲット特徴を得るステップであって、そのうち、前記第３のターゲット特徴は、前記第１の予測ポイントセット特徴とするステップと、をさらに含む、
ことを特徴とする請求項８に記載の方法。

【請求項10】

前記第１の予測ポイントセット特徴に基づいて、前記ターゲットオブジェクトであると予測されることを表す予測ボックスを生成するステップであって、そのうち、前記予測ボックス内に位置する前記複数のフォアグラウンドポイントのうちの少なくとも１つは、第２の予測ポイントセットとするステップと、
第３の重み係数を用いて、前記第２の予測ポイントセットにおける前記ポイントの第２のインスタンス特徴を算出するステップと、
前記第２の予測ポイントセットにおける前記ポイントの前記ポイント特徴と前記第２のインスタンス特徴との間の差異に基づいて、第４のターゲット特徴を得るステップと、
前記第４のターゲット特徴に基づいて、予測される前記ターゲットオブジェクトを調整するステップと、をさらに含む、
ことを特徴とする請求項５に記載の方法。

【請求項11】

コンピュータプログラムが記憶されるメモリと、プロセッサとを含むコンピュータ機器であって、
前記プロセッサが前記コンピュータプログラムを実行する場合に請求項１～１０のいずれか１項に記載の方法を実現する、
ことを特徴とするコンピュータ機器。

【請求項12】

プロセッサによって実行される場合に請求項１～１０のいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されている、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書における実施形態は、画像処理分野に関し、具体的に、ターゲットオブジェクトの予測方法、コンピュータ機器および記憶媒体に関する。

【背景技術】

【0002】

現在、レーザーレーダーは、非接触レーザー測距技術を採用する走査型センサーであり、その作動原理として、一般的なレーダーシステムと類似し、レーザービームを発射することによってターゲットを検知し、かつ反射されてきたビームを収集することによってポイントクラウドデータを形成し、これらのポイントクラウドデータに対して一定の処理を行うことによってターゲットオブジェクトの空間範囲を感知することができ、インテリジェント運転分野において広く適用されている。

【0003】

従来技術では、主にポイントクラウドデータを緻密なボクセルデータに変換した後、緻密なボクセルのボクセル特徴を抽出し、かつ緻密なボクセル特徴マップで計算するようになっている。このような計算方式は、広い空間範囲のデータに対して大量の演算コストを必要とし、遠距離のターゲットオブジェクトに対する迅速な感知に不利である。

【発明の概要】

【0004】

本明細書における複数の実施形態は、ターゲットオブジェクトの予測効率を向上させる方法を提供するために、ターゲットオブジェクトの予測方法、装置、コンピュータ機器および記憶媒体を提供する。

【0005】

本明細書の一実施形態によれば、ポイントクラウドデータに対してボクセル化処理を行って複数のボクセルを得るステップであって、上記複数のボクセルは、上記ポイントクラウドデータにおける複数のポイントデータに対応するとともに、その少なくとも一部がボクセルセットを形成するステップと、上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して、複数のボクセル特徴を得るステップと、上記複数のボクセル特徴を前記複数のボクセルに含まれる複数のポイントデータにそれぞれマッピングして、上記複数のポイントデータの複数のポイントデータ特徴を得るステップと、上記複数のポイントデータ特徴に基づいて、上記ターゲットオブジェクトを予測するステップと、を含むターゲットオブジェクトの予測方法を提供する。

【0006】

本明細書の一実施形態によれば、上記ポイントクラウドデータに対してボクセル化処理を行って複数のボクセルを得るためのものであって、上記複数のボクセルは、上記ポイントクラウドデータにおける複数のポイントデータに対応するとともに、その少なくとも一部がボクセルセットを形成するポイントクラウドデータボクセル化処理モジュールと、上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して、複数のボクセル特徴を得るためのボクセル特徴抽出モジュールと、上記複数のボクセル特徴を上記複数のボクセルに含まれる複数のポイントデータにそれぞれマッピングして、上記複数のポイントデータの複数のポイントデータ特徴を得るためのボクセル特徴マッピングモジュールと、上記複数のポイントデータ特徴に基づいて、上記ターゲットオブジェクトを予測するためのターゲットオブジェクト予測モジュールと、を含むターゲットオブジェクトの予測装置を提供する。

【0007】

本明細書の一実施形態によれば、コンピュータプログラムが記憶されるメモリと、プロセッサとを含むコンピュータ機器であって、上記プロセッサが上記コンピュータプログラムを実行する場合に上記実施形態のいずれか１項に記載の方法を実現する、ことを特徴とするコンピュータ機器を提供する。

【0008】

本明細書の一実施形態によれば、プロセッサによって実行される場合に上記実施形態のいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されている、コンピュータ読み取り可能な記憶媒体を提供する。

【0009】

本明細書で提供される複数の実施形態によれば、ポイントクラウドデータに対してボクセル処理を行ってボクセルデータに変換し、その後、ボクセルのボクセル特徴を抽出し、かつボクセル特徴を当該ボクセル特徴と対応するボクセルに含まれるポイントクラウドデータにマッピングして、複数のポイントデータ特徴を得て、ポイントデータ特徴に基づいてターゲットオブジェクトを予測することにより、ターゲットオブジェクトの予測効率を向上させる。

【図面の簡単な説明】

【0010】

【図1】本明細書における一実施形態に係るレーザーレーダーによって取得されるポイントクラウドデータを示す図である。

【図2】本明細書における一実施形態に係るターゲットオブジェクト予測方法を示すフローチャートである。

【図3】本明細書における一実施形態に係るターゲットオブジェクト予測システムを示す図である。

【図4】本明細書における一実施形態に係るターゲットオブジェクトの予測方法を示すフローチャートである。

【図5】本明細書における一実施形態に係る第１の予測ポイントデータセット特徴を示す図である。

【図6】本明細書における一実施形態に係るターゲットオブジェクトの予測装置を示す図である。

【図7】本明細書における一実施形態に係るコンピュータ機器を示す図である。

【発明を実施するための形態】

【0011】

以下、本明細書の実施形態における技術案について、本明細書の実施形態における図面を参照しながら明確かつ完全に説明するが、無論、以下に説明する実施形態は本明細書の一部の実施形態に過ぎず、すべての実施形態ではない。当業者が本明細書における実施形態に基づいて創造的な工夫をせずに得られた他の実施形態のすべては、本明細書の保護範囲に属する。
概要

【0012】

関連技術において、スパースポイントクラウドを緻密なボクセルに変換することは、１種のよく使われるポイントクラウド処理方法であり、検出器が効率的な畳み込み操作を利用しやすく、スパース特徴による物体の検出への困難を克服することができる。この種の方法は、現在の自動運転シーンにおけるポイントクラウドに基づく３Ｄ物体の検出の主流なパラダイムである。緻密な特徴マップで計算する必要があるため、このようなパラダイムは、広範囲のポイントクラウドに対して極めて高い計算コストを必要とし、自動運転システムにおける効率的な遠距離感知に不利である。このような検出器における緻密な特徴マップを直接除去すると、物体の中心特徴が欠落するという問題が生じる。ポイント表示に基づくスパース３Ｄ物体の検出器は、直接的にポイント表示において特徴の抽出と予測を行う。このような方式は、複数回の２次複雑性のフィールドポイントの探索に関し、かつ、通常はポイントクラウドの数量を比較的に小さい一定の数量にダウンサンプリングする必要がある。これは、検出器の効率および感度を損ない、実際のシステムに直接適用することが困難となる。

【0013】

したがって、スパースなポイントクラウドに対して処理を行うことができ、スパースなポイントクラウドを緻密なボクセルに変換する必要がなく、直接的にポイントの表示において特徴の抽出および予測を行う必要もないターゲットオブジェクトの予測方法であって、ポイントクラウドデータに対してボクセル化処理を行って複数のボクセルを得ることができ、そのうち、上記複数のボクセルは、上記ポイントクラウドデータにおける複数のポイントデータに対応するとともに、その少なくとも一部がボクセルセットを形成し、上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して、複数のボクセル特徴を得て、上記複数のボクセル特徴を上記複数のボクセルに含まれる複数のポイントデータにそれぞれマッピングして、上記複数のポイントデータの複数のポイントデータ特徴を得て、上記複数のポイントデータ特徴に基づいて上記ターゲットオブジェクトを予測することにより、ターゲットオブジェクトの予測効率が低い、という技術問題の解決を実現できるターゲットオブジェクトの予測方法を提供する必要がある。
シーン例

【0014】

本明細書では、ターゲットオブジェクト予測システムの適用シーンの例示を提供する。車両の走行中に、車両に取り付けられる車載用レーザーレーダーは、一定の時間間隔で車両の周囲環境のポイントクラウドデータを取得することができる。無論、車両の走行中に、一定の距離ごとに車両の周囲環境のポイントクラウドデータを取得してもよい。図１を参照して、車載用レーザーレーダーは、ポイントクラウドデータを取得した後、ネットワークを介してポイントクラウドデータをサーバに送信することができる。サーバは、ポイントクラウドデータを取得した後、ポイントクラウドデータを空間範囲に応じて

複数の格子に分割することができる。そのうち、１つの格子は、１つのボクセルであるとしてもよい。その後、図２におけるポイントクラウドデータの入力ステップからスパースボクセル特徴の抽出ステップまでを参照して、各ボクセルに対してポイントクラウドデータに基づいて深層学習モデル、例えばＰｏｉｎｔＮｅｔポイントクラウド特徴抽出器を使用してポイントクラウド特徴を抽出することにより、初期ボクセル特徴を有するボクセルセットを得ることができる。

【0015】

図２を参照して、初期ボクセル特徴を有するボクセルセットを得た後、初期ボクセル特徴をスパース畳み込みに基づくネットワークに入力して、ボクセル特徴を得ることができる。ボクセル特徴を得た後、ボクセル特徴を当該ボクセル特徴に対応するボクセルに含まれるポイントクラウドにマッピングして、当該ポイントクラウドデータを当該ポイントクラウドデータが属するボクセルの中心の幾何学的特徴と組み合わせて、ポイントデータ特徴を形成することができる。

【0016】

図２におけるスパースボクセル特徴の抽出ステップからポイントクラウド分類および中心予測のステップまでを参照することができる。ポイントデータ特徴を取得した後、サーバは、ポイントデータ特徴を多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ、ＭＬＰ）に入力してポイントデータを分類することによって、複数のフォアグラウンドポイントデータを得て、かつ、複数のフォアグラウンドポイントデータに対してクラスタリングアルゴリズムを用いてクラスタリング処理を行うことによって、上記ターゲットオブジェクトに属する第１の予測ポイントデータセットを得ることができ、そのうち、上記第１の予測ポイントデータセットには、上記ターゲットオブジェクトに対応する複数のポイントデータが含まれる。具体的には、クラスタリングによって複数のフォアグラウンドポイントデータをグループ化することによって、インスタンスのグループを得ることができ、例えば、第１のターゲットオブジェクトに属する予測ポイントデータセットＧ１、第２のターゲットオブジェクトに属する予測ポイントデータセットＧ２、または他の予測ポイントデータセットを得ることができる。予測ポイントデータセットＧ１には、第１のターゲットオブジェクトに対応する複数のポイントデータＤ１が含まれ、予測ポイントデータセットＧ２には、第２のターゲットオブジェクトに対応する複数のポイントデータＤ２が含まれる。

【0017】

その後、スパースインスタンス識別モデルによってインスタンス特徴を抽出してインスタンス予測を行うことができる。具体的には、複数のポイントデータに対して動的プーリングおよび動的放送のアルゴリズムを用いてインスタンス特徴を抽出することができる。そのうち、動的プーリングの方法は、第１の予測ポイントデータセットＧ１におけるポイントデータ特徴を重み付け加算して第１のインスタンス特徴を得た後、第１のインスタンス特徴を第１の予測ポイントデータセットにおけるポイントデータ特徴に付与し、かつ第１のインスタンス特徴とポイントデータ特徴との差異性に基づいて第１のターゲット特徴を得ることであってもよく、このように上記の動的プーリングと動的放送とを複数回交互に繰り返して得た第１のターゲット特徴を第１の予測ポイントデータセット特徴とする。例えば、複数のポイントデータＤ１に対して、上記の動的プーリングおよび動的放送のアルゴリズムを用いて第１のインスタンスＩＮ１のインスタンス特徴を抽出し、かつ第１のインスタンスＩＮ１のインスタンス予測を行ってもよい。また、複数のポイントデータＤ２に対して、上記の動的プーリングおよび動的放送のアルゴリズムを用いて第２のインスタンスＩＮ２のインスタンス特徴を抽出し、かつ第２のインスタンスＩＮ２のインスタンス予測を行ってもよい。

【0018】

第１の予測ポイントデータセット特徴の抽出方法は、ポイントデータの（ｘ、ｙ、ｚ）座標ベクトルに対して上記の動的プーリングおよび動的放送の過程を複数回繰り返して第２のターゲット特徴を得て、第１のターゲット特徴と第２のターゲット特徴とを融合して得た第３のターゲット特徴を第１の予測ポイントデータセット特徴とすることを含んでもよい。第１の予測ポイントデータセット特徴に基づいて、ターゲットオブジェクトの候補予測枠を選択する。具体的には、図２は、予測ポイントデータセットＧ１を示す予測ポイントデータセット特徴に基づいて第１のターゲットオブジェクト（第１のインスタンスＩＮ１）を選択する候補予測枠Ｆ１、および予測ポイントデータセットＧ２を示す予測ポイントデータセット特徴に基づいて第２のターゲットオブジェクト（第２のインスタンスＩＮ２）を選択する候補予測枠Ｆ２を示している。候補予測枠Ｆ１および候補予測枠Ｆ２の範囲外のデータポイントは、対応するターゲットオブジェクトから除外され、候補予測枠Ｆ１および候補予測枠Ｆ２の範囲内のデータポイントは、対応するターゲットオブジェクトに組み込まれる。

【0019】

ターゲットオブジェクトの予測枠を得た後、サーバは、当該候補予測枠（例えば、候補予測枠Ｆ１および候補予測枠Ｆ２）に含まれるフォアグラウンドポイントデータ（例えば、当該候補予測枠外に位置して除外されたフォアグラウンドポイントデータ、および当該候補予測枠内に位置して組み込まれるフォアグラウンドポイントデータ）に対して、上記の動的プーリングと動的放送とを再度交互に複数回繰り返すことによって、候補予測枠を補正して、補正されたインスタンス（第１のインスタンスＩＮ１'および第２のインスタンスＩＮ２'）を得る。補正されたインスタンスに基づいて、より正確な候補予測枠を得て、さらにターゲットオブジェクト（例えば、ターゲットオブジェクトO１およびターゲットオブジェクトO２）に対する予測枠を得て、ターゲットオブジェクトを予測することができる。上記の実施形態によれば、背景雑音の干渉を排除して、ターゲットオブジェクトに対する予測の正確性を向上させることができる。最後に、サーバは、車両がブレーキやクラクション鳴らしなどを行う必要があるかを適時に判断できるように、予測枠をインテリジェント運転中の車両の制御システムに送信することができる。
システムアーキテクチャー

【0020】

図３を参照する。本明細書の実施形態は、ターゲットオブジェクト予測システムを提供する。上記ターゲットオブジェクト予測システムは、データ収集装置１１０とサーバ１２０とを含んでもよい。上記データ収集装置１１０は、ネットワークアクセス能力を有するとともに、インテリジェント運転が可能な車両に取り付けられるレーザーレーダーであってもよい。具体的には、例えば、データ収集装置１１０は、走査によってポイントクラウドデータを得るレーザーレーダーなどの走査装置であってもよい。そのうち、レーザーレーダーは、車載用レーザーレーダー、機上用レーザーレーダー、衛星搭載レーザーレーダー、ガントリー型レーザーレーダー、移動型レーザーレーダーなどであってもよい。サーバ１２０は、一定の演算処理能力を有する電子機器であってもよい。ネットワーク通信モジュール、プロセッサおよびメモリなどを有してもよい。無論、上記サーバは、上記電子デバイス内で動作するソフトウェアを指してもよい。上記サーバ１２０は、分散サーバであってもよく、協同で動作する複数のプロセッサ、メモリ、ネットワーク通信モジュールなどを有するシステムであってもよい。あるいは、サーバ１２０は、若干のサーバで形成されたサーバクラスタであってもよい。あるいは、科学技術の発展に伴い、サーバ１２０は、明細書の実施形態における対応する機能を実現できる新しい技術手段であってもよい。例えば、量子コンピューティングによる新たな形態の「サーバ」であってもよい。
例示的な方法

【0021】

図４を参照する。本明細書の一実施形態は、ターゲットオブジェクトの予測方法を提供する。上記ターゲットオブジェクトの予測方法は、サーバに適用することができる。上記ターゲットオブジェクトの予測方法は、以下のステップを含み得る。

【0022】

ステップＳ２１０：ポイントクラウドデータに対してボクセル化処理を行って複数のボクセルを得て、そのうち、上記複数のボクセルは、上記ポイントクラウドデータにおける複数のポイントデータに対応するとともに、その少なくとも一部がボクセルセットを形成する。

【0023】

いくつかの場合では、ポイントクラウドデータを用いてターゲットオブジェクトを識別する過程において、ポイントクラウドデータを一定のサイズを有する格子データに変換する必要がある。そのため、まず、ポイントクラウドデータを、物体の範囲を表すことが可能なバルクデータに変換することができる。

【0024】

上記ポイントクラウドデータは、３次元座標系における１組のベクトルのセットであってもよい。ポイントクラウドデータを取得する方法は、レーザーレーダーによって走査して得られたものであってもよく、走査によって得られた走査データは、ポイントの形式で記録され、各ポイントに３次元座標が含まれる。無論、ポイントクラウドデータは、色彩、反射率、強度などの走査オブジェクトの属性を示すための情報をさらに含んでもよい。無論、ポイントクラウドデータは、２次元座標系における１組のベクトルのセットであってもよい。

【0025】

上記ボクセル化処理の方法として、ポイントクラウドデータを空間範囲に応じてグリッドに分割することにより、ポイントクラウドデータをメモリに規則正しく記憶することができ、ランダムなメモリへのアクセスの減少やデータ演算効率の向上に有利である。ポイントクラウドデータをボクセル化してボクセルを得た後、ボクセルに対して空間畳み込み操作を効率よく行うことができるため、マルチスケールやマルチ階層の局所特徴の抽出に有利である。一方、ボクセル化処理の後、ポイントクラウドデータに対して効果的にダウンサンプリング処理を行うことができるため、オーダーの大きいポイントクラウドデータの処理に適する。

【0026】

上記ボクセルは、３次元空間の画素であってもよい。具体的には、ボクセルのサイズは、事前に設定されてもよく、例えば、５ｃｍ＊５ｃｍ＊５ｃｍの立方体であってもよく、３０ｃｍ＊３０ｃｍ＊３０ｃｍの立方体であってもよく、辺長が５ｃｍ～３０ｃｍである任意の立方体または他のサイズの立方体であってもよい。すなわち、１つのボクセルは、若干の原始のポイントクラウドデータにおけるデータポイントを含み得る。

【0027】

上記ボクセルセットには、複数のボクセルが含まれる。そのうち、上記ボクセルセットにおけるボクセルの空間範囲内には、ポイントクラウドデータが含まれ、具体的に、例えば、あるボクセルの座標範囲が（０，０，０）～（１，１，１）の間にあり、そのうちの１つのポイントクラウドデータの座標ベクトルが（０．５，０．５，０．５）である場合、当該ボクセルは、ボクセルセットに属する。（０，０，０）～（１，１，１）の空間範囲内にポイントクラウドデータが存在しない場合、当該ボクセルは、ボクセルセットに属さない。

【0028】

ステップＳ２２０：上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して、複数のボクセル特徴を得る。

【0029】

いくつかの場合では、ボクセル特徴は、ボクセルの分類またはターゲットオブジェクトの分割に使用することができる。そのため、ポイントクラウドデータによってターゲットオブジェクトを予測するために、まずボクセル特徴を抽出することができる。

【0030】

上記ボクセル特徴は、各ボクセルグリッド内のポイントクラウドデータに対して畳み込みおよびプーリングを行うことにより得られるものであってもよい。具体的には、例えば、ボクセル特徴を抽出する方法として、まずＰｏｉｎｔＮｅｔなどの常用のポイントクラウド特徴抽出器を用いて特徴の抽出を行って初期ボクセル特徴を得た後、初期ボクセル特徴を常用のスパースボクセルエンコーダ（例えば、スパース畳み込みに基づくネットワーク、スパースアテンションネットワークなど）などに入力してボクセル特徴の抽出を行うことができる。

【0031】

ステップＳ２３０：上記複数のボクセル特徴を上記複数のボクセルに含まれる複数のポイントデータにそれぞれマッピングして、上記複数のポイントデータの複数のポイントデータ特徴を得る。

【0032】

いくつかの場合では、ポイントクラウドデータに対して直接的に特徴の抽出を行うと、抽出して得られたポイントクラウドデータの特徴が比較的に乏しい可能性があるため、ポイントクラウドデータの分類またはポイントクラウドデータの分割の結果に対して直接的に影響を与えることがある。ボクセルセットに含まれるポイントクラウドデータは、ボクセル特徴に近い。そのため、ボクセル化処理後に得られたボクセルのボクセル特徴を、当該ボクセルに含まれるポイントクラウドデータにマッピングすることができる。

【0033】

上記ポイントデータは、初期のポイントクラウドデータであってもよい。上記ポイントデータは、現在分割されているボクセルからより小さいボクセルにさらに分割されたものであってもよい。より小さいボクセルが示す空間範囲が比較的に小さいため、当該より小さいボクセルを１つのポイントデータとして扱うことができ、より小さいボクセルの中心ベクトル（質量中心点）と当該ボクセルに含まれるポイントクラウドデータのベクトルとの差異性が小さい。

【0034】

上記ポイントデータ特徴は、ボクセル特徴を当該ボクセル特徴に対応するボクセルに含まれるポイントクラウドにマッピングして得られたものである。具体的には、例えば、１つのボクセルに４つのポイントデータが含まれる場合、当該４つのポイントデータは、当該ボクセルのボクセル特徴と同様なポイントデータ特徴を有する。無論、これら４つのポイントデータを区別するために、これら４つのポイントデータが属するボクセルの中心に対するこれら４つのポイントデータの相対座標をポイントデータ特徴に加えてもよい。

【0035】

無論、ポイントデータ特徴は、例えば逆距離加重補間アルゴリズム、線形補間法、双線形補間法、クリギング補間法などの一定の補間アルゴリズムによって得ることがさらにできる。具体的には、例えば、逆距離加重補間法（Ｉｎｖｅｒｓｅ Ｄｉｓｔａｎｃｅ Ｗｅｉｇｈｔｅｄ）を用いてポイントデータ特徴を求めるステップは、当該ポイントデータが使用する必要がある参照画素（すなわち、ボクセル）を確定し、当該ポイントデータのベクトルと当該ボクセルの中心ベクトルとの間の距離を算出した後、下記の式を使用することであってもよい。

【0036】

【0037】

ステップＳ２４０：上記複数のポイントデータ特徴に基づいて、上記ターゲットオブジェクトを予測する。

【0038】

いくつかの場合では、直接的にポイントの検出器によってポイントクラウドデータに対して特徴の抽出および予測を行うと、ポイントクラウドのデータ量を比較的に小さい数量にダウンサンプリングする必要があるため、検出器の効率および柔軟性がある程度損なわれる。そのため、ボクセル特徴をポイントデータ特徴に付与してポイントデータ特徴とすることができ、ポイントクラウドの特徴をある程度豊富にすることができ、ターゲットオブジェクトの予測の正確性をある程度向上させることができる。

【0039】

ポイントクラウドデータに対してボクセル化処理を行って、上記ポイントクラウドデータにおける複数のポイントデータに対応するとともに、その少なくとも一部がボクセルセットを形成する複数のボクセルを得て、上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して、複数のボクセル特徴を得て、上記複数のボクセル特徴を上記複数のボクセルに含まれる複数のポイントデータにそれぞれマッピングして、上記複数のポイントデータの複数のポイントデータ特徴を得て、上記複数のポイントデータ特徴に基づいて上記ターゲットオブジェクトを予測することにより、ターゲットオブジェクトの予測効率が低いという技術問題の解決を実現する。

【0040】

いくつかの実施形態では、上記ポイントクラウドデータに対してボクセル化処理を行って上記複数のボクセルを得るステップは、上記ポイントクラウドデータの空間座標範囲に基づいて、上記ポイントクラウドデータを所定の解像度で上記複数のボクセルに分割するステップと、上記ポイントクラウドデータに基づいて、上記複数のボクセルの初期ボクセル特徴を抽出するステップと、を含んでもよい。

【0041】

いくつかの場合では、ポイントクラウドデータは、不規則でデータ量が大きい形式である可能性があり、ポイントクラウドデータに対して直接的に特徴の抽出を行うことには一定の困難が存在する。したがって、ポイントクラウドデータを規則的かつデータ量が小さいデータに変化させるために、ポイントクラウドデータに対してボクセル化処理を行うことができ、ある程度でマルチスケールやマルチ階層の局所特徴情報の抽出にも有利である。

【0042】

上記ポイントクラウドデータに対してボクセル化処理を行う方法として、すべてのポイントクラウドデータのＸ、Ｙ、Ｚの３つの座標方向における最小値と最大値に基づいてすべてのポイントクラウドデータを含む最小直方体を確定し、上記最小直方体のサイズおよび解像度要求に基づいてボクセルのサイズを設定し、かつ上記ボクセルのサイズに基づいて上記最小直方体を若干のボクセルに分割し、ポイントクラウドデータにおける各ポイントに対してその所在するボクセルを確定し、ポイントクラウドデータのすべてのポイントをトラバースした後、ポイントクラウドデータが含まれるボクセルのみを表示することであってもよい。

【0043】

上記初期ボクセル特徴は、常用のポイントクラウド特徴抽出器を用いて抽出されたものであってもよい。具体的には、例えば、ＰｏｉｎｔＮｅｔを用いて初期ポイントクラウド特徴を抽出することができる。ＰｏｉｎｔＮｅｔは、ポイントクラウドデータをエンドツーエンドで処理可能なニューラルネットワークアーキテクチャであり、ＰｏｉｎｔＮｅｔは、入力データに対するアライメント（ｉｎｐｕｔ ｔｒａｎｓｆｏｒｍ）および特徴に対するアライメント（ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）を行う２つのアライメントネットワークＴ－Ｎｅｔを有する。Ｔ－Ｎｅｔ－１およびＴ－Ｎｅｔ－２と表記する。Ｔ－Ｎｅｔ－１の出力は、３×３の変換行列であり、入力（ｘｙｚ）を変換するために用いられる。Ｔ－Ｎｅｔ－２の出力は、６４×６４の行列であり、特徴空間の変換行列Ａができるだけ直交行列に近づくように、特徴空間に対してアライメントを行うために用いられる。無論、本明細書の実施形態では、初期ボクセル特徴の抽出方法を限定せず、ＶｏｘｅｌＮｅｔ、ＦａＦＮｅｔ、ＰｏｉｎｔＮｅｔ＋＋、ＶｏｔｅＮｅｔ、ＰｏｉｎｔＴｒａｃｋＮｅｔなどであってもよい。

【0044】

いくつかの実施形態では、上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して上記複数のボクセル特徴を得るステップは、上記初期ボクセル特徴を予め設定されたスパースボクセルエンコーダに入力してボクセル特徴を抽出するステップを含んでもよい。

【0045】

いくつかの場合では、抽出される特徴をより豊かにするために、スパースボクセルエンコーダを用いてボクセル特徴を抽出することができる。

【0046】

上記初期ボクセル特徴を予め設定されたスパースボクセルエンコーダに入力してボクセル特徴を抽出する方法は、常用のスパースボクセルエンコーダを用いて得ることであってもよい。具体的には、例えば、まずボクセルセットに含まれるボクセルをスパース行列の形式で表した後、スパース行列を３Ｄ畳み込みネットワーク、例えばスパース畳み込みに基づくネットワークに入力して、特徴の抽出を行う。

【0047】

いくつかの実施形態では、上記複数のボクセル特徴を上記複数のボクセルに含まれる複数のポイントデータにそれぞれマッピングして、上記複数のポイントデータの上記複数のポイントデータ特徴を得るステップは、上記ボクセルセットにおけるボクセルの上記ボクセル特徴を上記ボクセル特徴に対応するボクセルに含まれるポイントデータにマッピングして、初期ポイントデータ特徴を得るステップと、上記ポイントデータと上記ポイントデータに対応する上記ボクセルの中心との間の幾何学的特徴を算出するステップと、上記初期ポイントデータ特徴および上記幾何学的特徴に基づいて上記ポイントデータの上記ポイントデータ特徴を生成するステップと、を含んでもよい。

【0048】

いくつかの場合では、ボクセルセットにおける１つのボクセルが複数のポイントクラウドデータを含む可能性があるため、ボクセル特徴を当該ボクセルに含まれるポイントクラウドデータに直接的にマッピングすると、得られるポイントデータ特徴が重複するおそれがある。そのため、１つのボクセルに含まれるポイントクラウドデータを区別するために、ポイントデータの幾何学的次元を増加することにより、取得されたポイントデータの特徴を区別できるようにしてもよい。

【0049】

上記初期ポイントデータ特徴は、ボクセル特徴をポイントクラウドデータに直接的にマッピングして得られたものであってもよい。上記幾何学的特徴は、ポイントクラウドデータとポイントクラウドデータが属するボクセルとの間の関係特徴であってもよい。具体的には、例えば、ポイントクラウドデータの座標ベクトルとポイントクラウドデータが属するボクセルの中心の座標ベクトルとの差異性に基づいて、ポイントクラウドデータとボクセルデータとの間の距離関係を得ることができる。無論、幾何学的特徴は、ポイントクラウドデータとボクセルの中心とを結ぶ直線と、水平方向または鉛直方向またはある特定の方向とがなす角を含んでもよい。

【0050】

いくつかの実施形態では、上記複数のポイントデータ特徴に基づいて上記ターゲットオブジェクトを予測するステップは、上記複数のポイントデータ特徴に基づいて上記ターゲットオブジェクトのフォアグラウンドに属する複数のポイントデータを予測して、複数のフォアグラウンドポイントデータを得るステップと、上記複数のフォアグラウンドポイントデータに対してクラスタリング処理を行って、上記ターゲットオブジェクトに属する第１の予測ポイントデータセットを得るステップであって、そのうち、上記第１の予測ポイントデータセットには、上記ターゲットオブジェクトに対応する複数のポイントデータが含まれるステップと、上記第１の予測ポイントデータセットにおける上記複数のポイントデータにおけるポイントデータ特徴を抽出して、第１の予測ポイントデータセット特徴を得るステップと、上記第１の予測ポイントデータセット特徴に基づいて、上記ターゲットオブジェクトを予測するステップと、を含む。

【0051】

いくつかの場合では、ターゲットオブジェクトの予測を実現するために、通常はエッジに基づく方法、領域分割に基づく方法、属性に基づく方法、モデルに基づく方法のうちの１種または複数種を直接的に採用して予測を行う。しかしながら、このような直接的なポイントクラウドに基づく分割方法は、ターゲットオブジェクトの予測方法に対して抽出しやすい特徴が比較的に乏しく、特徴の抽出に直接的に適用することができない。そのため、ボクセル特徴をポイントクラウドにマッピングしてポイントデータ特徴を得た後、ポイントデータ特徴に基づいて予測を行うことができる。

【0052】

上記フォアグラウンドポイントデータは、ターゲットオブジェクトを示すポイントクラウドデータである。具体的には、例えば、車載用レーザーレーダーで走査して得られたポイントクラウドデータは、建物、樹木、地面、歩行者、障害物などを含み、車両が走行中に障害物、歩行者などの影響を受けるため、クラクションを鳴らして知らせるまたは回避する必要がある。無論、いくつかの場合では、地面データをフォアグラウンドポイントクラウドデータとして、車線を識別することにより、走行中に即時にレーンを変更する必要があることを車両に注意させるようにしてもよい。

【0053】

上記クラスタリング処理の方法は、フォアグラウンドポイントクラウドを分類する過程であって、同一のターゲットオブジェクトを示すポイントクラウドデータをクラスタリング処理することであってもよい。具体的には、例えば、予めポイントクラウドデータをｎ個のカテゴリに分けると、ｎ個のオブジェクトを初期のクラスタ中心としてランダムに選択した後、各オブジェクトと各クラスタ中心との間の距離を算出し、各オブジェクトをそれに最も近いクラスタ中心に割り当てる。クラスタ中心およびそれらに割り当てられたオブジェクトは、１つのクラスタを代表する。

【0054】

クラスタのクラスタ中心は、１つのサンプルが割り当てられる度にクラスタにおける既存のオブジェクトに基づいて再度算出される。この過程は、ある終止条件が満たされるまで繰り返される。終止条件は、異なるクラスタに新たに割り当てられるオブジェクトがなくなる（または、最小数となる）こと、クラスタ中心が再度変化したものがなくなる（または、最小数となる）こと、および誤差平方和が局所的に最小となることであってもよい。無論、クラスタリング処理の方法は、階層ベースのクラスタリング方法、グリッドベースのクラスタリング方法、最大最小距離ベースのクラスタリング方法、グラフ理論クラスタリング方法などであってもよい。

【0055】

上記第１の予測ポイントデータセットは、同一のターゲットオブジェクトを示すポイントクラウドデータのセットである。具体的には、例えば、フォアグラウンドポイントデータに対してクラスタリング処理を行った後、歩行者Ａ、歩行者Ｂ、車両Ａ、車両Ｂ、障害物Ａ、障害物Ｂの６つのカテゴリを得る場合、第１の予測ポイントデータセットは、歩行者Ａ、歩行者Ｂ、車両Ａ、車両Ｂ、障害物Ａ、障害物Ｂのうちの１つであってもよい。上記第１の予測ポイントデータセット特徴は、同一のターゲットオブジェクトの特徴である。具体的には、例えば、１つの障害物が複数のポイントクラウドデータ特徴を含む場合、当該障害物の特徴は、当該障害物を表すポイントクラウドデータの特徴から一定のアルゴリズム（例えば、平均値を求める）などで得られた新たなポイントの特徴を第１の予測ポイントデータセット特徴としてもよい。

【0056】

いくつかの実施形態では、上記複数のポイントデータ特徴に基づいて上記ターゲットオブジェクトのフォアグラウンドに属する上記複数のポイントデータを予測して、上記複数のフォアグラウンドポイントデータを得るステップは、上記複数のポイントデータ特徴を用いて上記複数のポイントデータに対応するターゲットオブジェクトのタイプを予測するステップと、上記ターゲットオブジェクトの上記タイプに基づいて上記複数のフォアグラウンドポイントデータを確定するステップと、を含んでもよい。

【0057】

いくつかの場合では、二項分類の方法を直接採用してポイントクラウドデータをフォアグラウンドポイントとバックグラウンドポイントに分けると、ポイントクラウドの性質上の差異によって分類エラーを引き起こす可能性がある。そのため、ポイントデータを複数のカテゴリに分類することができ、各カテゴリがそれぞれ異なるターゲットオブジェクトを表す。

【0058】

上記ターゲットオブジェクトのタイプは、障害物、歩行者、樹木、車線、建物などであってもよい。

【0059】

いくつかの実施形態では、上記複数のフォアグラウンドポイントデータに対してクラスタリング処理を行って、上記ターゲットオブジェクトに属する上記第１の予測ポイントデータセットを得るステップは、上記ターゲットオブジェクトを表す複数のセンターポイントデータ（例えば、図２における第１のターゲットオブジェクトを表す複数のセンターポイントデータＣ１および第２のターゲットオブジェクトを表す複数のセンターポイントデータＣ２）を確定するステップであって、そのうち、上記センターポイントデータは上記フォアグラウンドポイントデータが予測した、所属のターゲットオブジェクトの中心を表すステップと、上記複数のセンターポイントデータ同士の距離をそれぞれ算出するステップと、条件を満たす上記複数のフォアグラウンドポイントデータの少なくとも１つを上記第１の予測ポイントデータセットに加えるステップであって、そのうち、上記条件は、上記距離が予め設定された距離以下であるステップと、を含んでもよい。具体的には、図２において、複数のセンターポイントデータＣ１同士の距離が予め設定された距離以下であるため、これらのセンターポイントデータＣ１に対応する複数のフォアグラウンドポイントデータ（複数のポイントデータＤ１）が第１の予測ポイントデータセットＧ１に加えられる。複数のセンターポイントデータＣ２同士の距離が予め設定された距離以下であるため、これらのセンターポイントデータＣ２に対応する複数のフォアグラウンドポイントデータ（複数のポイントデータＤ２）が第２の予測ポイントデータセットＧ２に加えられる。また、センターポイントデータＣ１とセンターポイントデータＣ２との間の距離が予め設定された距離よりも大きいため、センターポイントデータＣ１に対応するフォアグラウンドポイントデータは第２の予測ポイントデータセットＧ２に加えられず、かつセンターポイントデータＣ２に対応するフォアグラウンドポイントデータは第１の予測ポイントデータセットＧ１に加えられない。

【0060】

いくつかの場合では、ポイントクラウドをクラスタリングする過程において、すべてのフォアグラウンドポイントから予測された中心をノードとし、ポイント同士の距離をエッジの重みとして、１つのグラフ構造を構成することができる。２つのポイント同士の距離が一定の閾値よりも小さい場合、この２つのポイントが連通されていると考えられる。グラフ理論における接続ドメインアルゴリズムを用いて、グラフにおけるすべての接続ドメインを探す。探し出された接続ドメインのそれぞれは、１つのインスタンスとして見なされる。このようにして、各フォアグラウンドポイントは、ユニークなインスタンス識別子を有し、当該識別子は、当該ポイントがそのインスタンスに属することを指示する。

【0061】

図５を参照する。いくつかの実施形態では、上記第１の予測ポイントデータセットにおける上記複数のポイントデータのポイントデータ特徴を抽出して、上記第１の予測ポイントデータセット特徴を得るステップは、第１の重み係数に基づいて、上記第１の予測ポイントデータセットにおける上記ポイントデータの第１のインスタンス特徴を算出するステップと、上記第１の予測ポイントデータセットにおける上記ポイントデータの上記ポイントデータ特徴と上記第１のインスタンス特徴との関係に基づいて、第１のターゲット特徴を得るステップであって、そのうち、上記第１のターゲット特徴は、上記第１の予測ポイントデータセット特徴であるステップと、を含んでもよい。

【0062】

いくつかの場合では、各データポイントのインスタンス識別子を得た後、第１の予測ポイントデータセット特徴を得るために、予め設定された重み係数にしたがってポイントデータ特徴を融合処理してインスタンス特徴を得た後、インスタンス特徴とポイントデータ特徴との間の差異性に基づいて第１の予測ポイントデータセット特徴を求めることができる。

【0063】

上記第１のインスタンス特徴は、第１の予測ポイントデータセットにおけるポイントデータのポイントデータ特徴を融合して得られたものである。具体的には、例えば、１つのインスタンスが１０００個のポイントデータを含む場合、この１０００個のポイントデータ特徴の平均値を求めることで平均特徴を得た後、当該平均特徴をインスタンス特徴とすることができる。無論、インスタンス特徴の取得方式として、この１０００個のポイントデータ特徴から一定の重み係数でインスタンス特徴を得るようにしてもよい。

【0064】

上記第１のターゲット特徴は、インスタンス特徴とポイントデータ特徴との差異であってもよい。具体的には、例えば、インスタンス特徴を放送の方式によってこの１０００個のポイントデータ特徴に付与する。その後、この１０００個のポイントデータ特徴とインスタンス特徴との差異性をそれぞれ算出して第１のターゲット特徴を得るようにしてもよい。無論、インスタンス特徴および第１のターゲット特徴は、複数回の繰り返しを行うことができ、すなわち、第１のターゲット特徴を新たなポイントデータ特徴とし、その後、新たなポイントデータ特徴に基づいて上記の動的プーリングおよび動的放送の過程を繰り返し、最終的に第１のターゲット特徴データを得ることができる。具体的には、例えば、図５において、上記実施形態に記載の方法によってインスタンス１（座標ベクトルがＣ１である）とインスタンス２（座標ベクトルがＣ２である）を抽出した後、インスタンス１におけるデータポイントの平均座標ベクトルを算出してＣ１－Ａを得るとともに、インスタンス２におけるデータポイントの平均座標ベクトルを算出してＣ２－Ａを得て、その後、Ｃ１－Ａをインスタンス１におけるデータポイントに付与するとともに、Ｃ２－Ａをインスタンス２におけるデータポイントに付与し、その後、Ｃ１とＣ１－Ａとの差異性を算出して新たなポイントデータの座標特徴を得る。これと同時に、抽出したインスタンス１（インスタンス１に含まれるポイントデータ特徴がＦ１である）およびインスタンス２（インスタンス２に含まれるポイントデータ特徴がＦ２である）におけるポイントデータの特徴に対して平均値を求めることでＦ１－ＡおよびＦ２－Ａを得た後、Ｆ１－ＡおよびＦ２－Ａをインスタンス１およびインスタンス２におけるポイントデータにそれぞれ付与してＦ１－ＢおよびＦ２－Ｂを得て、その後、Ｆ１－ＢとＦ１に対してマッチング演算を行うとともに、Ｆ２－ＢとＦ２に対してマッチング演算を行って、新たなポイントデータ特徴を得る。上記ポイントデータ座標の座標特徴の抽出とポイントデータ特徴の抽出の過程を複数回繰り返し、最終的に新たなポイントデータ座標特徴とポイントデータ特徴を融合して、インスタンス１およびインスタンス２の第１の予測ポイントデータセット特徴を得る。

【0065】

いくつかの実施形態では、第２の重み係数に基づいて上記第１の予測ポイントデータセットにおける上記ポイントデータの重み付け座標を算出し、上記第１の予測ポイントデータセットにおける上記ポイントデータの座標と上記重み付け座標との差異を確定して第２のターゲット特徴を得て、上記第１のターゲット特徴と上記第２のターゲット特徴とを融合して、第３のターゲット特徴を得て、そのうち、上記第３のターゲット特徴は、上記第１の予測ポイントデータセット特徴である。

【0066】

いくつかの場合では、ポイントデータ特徴に対して演算を行うのみによって得られた第１の予測ポイントデータセット特徴は、まだ豊富ではない可能性がある。そのため、座標次元の特徴を第１の予測ポイントデータセット特徴の取得過程に加えてもよい。

【0067】

上記第２のターゲット特徴は、インスタンスにおけるポイントデータの座標ベクトルの平均値であってもよい。具体的には、例えば、５つのポイントの座標ベクトルがそれぞれ（１，１，１）、（２，２，２）、（３，３，３）、（４，４，４）、（５，５，５）である場合、第２のターゲット特徴は、（３，３，３）であってもよい。

【0068】

上記第３のターゲット特徴は、第１のターゲット特徴と第２のターゲット特徴とを融合して得られた結果である。具体的には、例えば、第１のターゲット特徴が１２８次元のベクトルであり、第２のターゲット特徴が３次元のベクトルである場合、第３のターゲット特徴は、第１のターゲット特徴と第２のターゲット特徴とを接合して得られた１３１次元のベクトルであってもよい。

【0069】

いくつかの実施形態では、ターゲットオブジェクトの予測方法は、上記第１の予測ポイントデータセット特徴に基づいて、上記ターゲットオブジェクトであると予測されることを示す予測枠を生成するステップであって、そのうち、上記予測枠内にある上記複数のフォアグラウンドポイントデータのうちの少なくとも１つを第２の予測ポイントデータセットとするステップと、第３の重み係数を用いて上記第２の予測ポイントデータセットにおける上記ポイントデータの第２のインスタンス特徴を算出するステップと、上記第２の予測ポイントデータセットにおける上記ポイントデータの上記ポイントデータ特徴と上記第２のインスタンス特徴との差異に基づいて第４のターゲット特徴を得るステップと、上記第４のターゲット特徴に基づいて、予測される上記ターゲットオブジェクトを調整するステップと、をさらに含んでもよい。

【0070】

いくつかの場合では、１回のターゲットオブジェクトの識別結果が十分に正確ではない可能性がある。そのため、１回目のターゲットオブジェクトの識別によってターゲットオブジェクトの空間範囲を選択し、その後、この空間範囲内にあるフォアグラウンドポイントデータに対して再び上記動的プーリングおよび動的放送の過程を用いて予測枠を補正または調整することができる。いくつかの実施例では、上記補正または調整の過程は複数回行われてもよい。

【0071】

上記第２の予測ポイントデータセットは、予測枠内に含まれるフォアグラウンドポイントデータである。具体的には、例えば、クラスタリングの過程において、ポイントＡ１はカテゴリＡから除外されて演算されるが、ポイントＡ２はカテゴリＡに含まれる。しかし、得られた予測枠は、ポイントＡ１を含むが、ポイントＡ２を含まない。そのため、第２の予測ポイントデータは、ポイントＡ１を組み込み、ポイントＡ２を除外する必要がある。

【0072】

上記第２のインスタンス特徴は、予測枠内に含まれるフォアグラウンドポイントデータの特徴を重み係数にしたがって処理して得られたものである。除外第４のターゲット特徴は、第２のインスタンス特徴と第２の予測ポイントデータセットにおけるポイントデータ特徴との間の差異によって得られたものである。
例示的な装置、電子機器、記憶媒体およびソフトウェア

【0073】

図６を参照する。本明細書の一実施形態は、ターゲットオブジェクトの予測装置６００をさらに提供する。上記ターゲットオブジェクトの予測装置６００は、ポイントクラウドデータボクセル化処理モジュール６１０と、ボクセル特徴抽出モジュール６２０と、ボクセル特徴マッピングモジュール６３０と、ターゲットオブジェクト予測モジュール６４０とを含み得る。

【0074】

ポイントクラウドデータボクセル化処理モジュール６１０は、上記ポイントクラウドデータに対してボクセル化処理を行って、複数のボクセルを得るためのものであり、そのうち、上記複数のボクセルは、上記ポイントクラウドデータにおける複数のポイントデータに対応するとともに、その少なくとも一部がボクセルセットを形成する。

【0075】

ボクセル特徴抽出モジュール６２０は、上記ボクセルセットにおけるボクセルのボクセル特徴を抽出して、複数のボクセル特徴を得るためのものである。

【0076】

ボクセル特徴マッピングモジュール６３０は、上記複数のボクセル特徴を上記複数のボクセルに含まれる複数のポイントデータにそれぞれマッピングして、上記複数のポイントデータの複数のポイントデータ特徴を得るためのものである。

【0077】

ターゲットオブジェクト予測モジュール６４０は、上記複数のポイントデータ特徴に基づいて、上記ターゲットオブジェクトを予測するためのものである。

【0078】

ターゲットオブジェクトの予測装置の具体的な限定については、以上のターゲットオブジェクトの予測方法に対する限定を参照することができるため、ここでは説明を省略する。上記ターゲットオブジェクトの予測装置における各モジュールの全部または一部は、ソフトウェア、ハードウェアおよびその組み合わせによって実現されてもよい。上記各モジュールは、ハードウェア形式でコンピュータ機器におけるプロセッサに埋め込まれてもよく、またはコンピュータ機器におけるプロセッサと独立してもよく、プロセッサが上記各モジュールに対応する操作を呼び出して実行するように、ソフトウェア形式でコンピュータ機器におけるメモリに記憶されてもよい。

【0079】

図７を参照する。本明細書の実施形態は、コンピュータプログラム７１２が記憶されるメモリ７１０と、プロセッサ７２０とを含むコンピュータ機器７００であって、上記プロセッサ７２０が上記コンピュータプログラム７１２を実行する場合に上記実施形態におけるターゲットオブジェクトの予測方法を実現する、ことを特徴とするコンピュータ機器７００をさらに提供する。

【0080】

本明細書の実施形態は、コンピュータによって実行される場合に上記実施形態のいずれか１つにおけるターゲットオブジェクトの予測方法を当該コンピュータに実行させるコンピュータプログラムが記憶されている、コンピュータ読み取り可能な記憶媒体をさらに提供する。

【0081】

本明細書の実施形態は、コンピュータによって実行される場合に上記実施形態のいずれか１つにおけるターゲットオブジェクトの予測方法をコンピュータに実行させる命令を含む、コンピュータプログラム製品をさらに提供する。

【0082】

本明細書における具体例は、当業者が本明細書の実施形態をよりよく理解するためのものに過ぎず、本発明の範囲を限定するものではないと理解されよう。

【0083】

本明細書における様々な実施形態では、各過程の順序番号の大きさは、その実行順序の前後を意味するものではなく、各過程の実行順序は、その機能および内部論理によって決定されるべきであり、本明細書の実施形態の実施過程に対して何らか限定を加えないと理解されよう。

【0084】

本明細書で説明した様々な実施形態は、単独で実施されてもよく、組み合わせて実施されてもよく、本明細書の実施形態ではこれを限定しないと理解されよう。

【0085】

特に説明しない限り、本明細書の実施形態で使用されるすべての技術的および科学的用語は、本明細書の技術分野の当業者が通常理解できる意味と同じである。本明細書で使用される用語は、具体的な実施形態を説明する目的でのみ使用され、本明細書の範囲を限定することを意図しない。本明細書で使用される用語「および/または」は、関連する１つまたは複数の項目の任意およびすべての組み合わせを含む。本明細書の実施形態および添付の特許請求の範囲において使用される単数形態の「１種」、「上記」および「当該」も、文脈で他の意味を明確に示さない限り、複数の形式を含むことを意図する。

【0086】

本明細書の実施形態におけるプロセッサは、信号処理能力を有する集積回路チップであり得ると理解されよう。実現過程において、上記方法の実施形態の各ステップは、プロセッサにおけるハードウェアの集積論理回路またはソフトウェア形式の指令によって完成することができる。上記プロセッサは、汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよい。本明細書の実施形態に開示された各方法、ステップおよび論理ブロック図を実現または実行することができる。汎用プロセッサは、マイクロプロセッサであってもよく、または、当該プロセッサは、任意の通常のプロセッサなどであってもよい。本明細書の実施形態に開示される方法のステップは、ハードウェア復号化プロセッサによって直接実行されるか、または復号化プロセッサ内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行される。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、リードオンリーメモリ、プログラマブルリードオンリーメモリ、または電気的消去可能プログラマブルメモリ、レジスタなどの当該分野で成熟した記憶媒体に位置してもよい。当該記憶媒体は、メモリに位置し、プロセッサは、メモリにおける情報を読み取って、そのハードウェアと組み合わせて上記方法のステップを完成する。

【0087】

本明細書の実施形態におけるメモリは、揮発性メモリまたは不揮発性メモリであってもよく、若しくは揮発性メモリおよび不揮発性メモリの両方を含んでもよいと理解されよう。そのうち、不揮発性メモリは、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）またはフラッシュメモリであってよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）であってもよい。なお、本明細書に記載のシステムおよび方法のメモリは、これらおよび他の任意の適切なタイプのメモリを含むが、これらに限定されない。

【0088】

当業者は、本明細書に開示される実施形態について説明した各例のユニットおよびアルゴリズムステップが、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実現され得ることを認識し得る。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術案の特定の応用および設計の制約条件に依存する。専門技術者は、各特定の応用に対して異なる方法を用いて説明した機能を実現することができるが、このような実現は、本明細書の範囲を超えないと考えられるべきである。

【0089】

当業者が明らかに理解できるように、説明の便利および簡潔のために、以上で説明したシステム、装置およびユニットの具体的な作動過程は、上記方法の実施形態における対応する過程を参照することができるため、ここでは説明を省略する。

【0090】

本明細書が提供するいくつかの実施形態に開示されるシステム、装置および方法は、他の方式で実現されてもよいと理解されよう。例えば、以上で説明した装置の実施形態は、あくまでも例示的なものに過ぎず、例えば、上記ユニットの区分について、論理機能の区分に過ぎず、実際の実施にあっては、別の方式で区分してもよい。例えば、複数のユニットまたはアセンブリを結合したり、または他のシステムに組み込まれてもよく、あるいはそのうちの一部の特徴を省略し、または実行しなくてもよい。また、表示または検討される同士の結合または直接的結合または通信接続は、いくつかのインタフェース、装置またはユニットを介する間接的結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。

【0091】

分離部材として説明された上記ユニットは、物理的に分離されまたはされていなくてもよく、ユニットとして表示される部材は、物理的ユニットであってもでなくてもよく、１箇所にあってもよく、あるいは複数のネットワークユニットに分布してもよい。実際のニーズに応じてその中の一部または全部のユニットを選択して本実施形態の解決手段の目的を実現することができる。

【0092】

また、本明細書の各実施形態における各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットが単独で物理的に存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。

【0093】

上記機能は、ソフトウェア機能ユニットの形態で実現され、かつ独立した製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。これに基づいて、本明細書の技術手段は本質的または従来技術に貢献する部分または上記技術手段の一部をソフトウェア製品として具現化することができ、上記コンピュータソフトウェア製品は、記憶媒体に記憶されており、１つのコンピュータ機器（パーソナルコンピュータ、サーバまたはネットワーク装置などであってもよい）に本明細書の各実施形態に記載される方法の全部または一部のステップを実行させるための若干の指令を含む。前述した記憶媒体は、ＵＳＢフラッシュドライブ、ハードディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能な各種の媒体を含む。

【0094】

以上は、本明細書の具体的な実施形態に過ぎず、本発明の保護範囲は、これに限定されず、当業者が本明細書により開示される技術範囲内で容易に想到できるいかなる変化または置換も、本明細書の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲による保護範囲を基準とすべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】