特表 2022-520522 物体認識方法及び装置、記憶媒体並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-31

(54)【発明の名称】物体認識方法及び装置、記憶媒体並びにコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220324BHJP

   G06T 7/521 20170101ALI20220324BHJP

【ＦＩ】

G06T7/00 350C

G06T7/521

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021541127

(86)(22)【出願日】2020-11-04

(85)【翻訳文提出日】2021-07-15

(86)【国際出願番号】 CN2020126485

(87)【国際公開番号】W WO2021143297

(87)【国際公開日】2021-07-22

(31)【優先権主張番号】202010043515.5

(32)【優先日】2020-01-15

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520291939

【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１－１１１７，１１ｔｈ Ｆｌｏｏｒ Ｎｏ．５８ Ｎｏｒｔｈｗｅｓｔ ４ｔｈ Ｒｉｎｇ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】祝 新革

(72)【発明者】

【氏名】王 泰

(72)【発明者】

【氏名】▲許▼ ▲ヤン▼

(72)【発明者】

【氏名】石 建萍

(72)【発明者】

【氏名】林 ▲達▼▲華▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA04

5L096BA08

5L096DA02

5L096HA09

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

本発明は、物体認識方法及び装置、記憶媒体並びにコンピュータプログラムを提供する。前記方法は、認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップと、前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するステップと、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するステップとを含む。前記認識結果は、少なくとも前記目標種別を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体認識方法であって、
認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するステップと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するステップと、を含み、
前記認識結果は、少なくとも前記目標種別を含むことを特徴とする物体認識方法。

【請求項2】

前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを含み、
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含むことを特徴とする請求項１に記載の物体認識方法。

【請求項3】

異なる種別に属する物体は、異なる頭部形状を有し、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定するステップは、
前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を含むことを特徴とする請求項１又は２に記載の物体認識方法。

【請求項4】

前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
前記認識すべき物体の認識結果を取得する前に、前記物体認識方法は、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップと、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得するステップと、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップと、を更に含み、
前記複数の目標平面のうちの２つずつの平面は、互いに垂直であることを特徴とする請求項１から３の何れか一項に記載の物体認識方法。

【請求項5】

前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得することと、
前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を含むことを特徴とする請求項４に記載の物体認識方法。

【請求項6】

前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得することは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得することを含むことを特徴とする請求項５に記載の物体認識方法。

【請求項7】

前記複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを含むことを特徴とする請求項４に記載の物体認識方法。

【請求項8】

前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含むことを特徴とする請求項１から７の何れか一項に記載の物体認識方法。

【請求項9】

物体認識装置であって、
認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するための第１特定モジュールと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するための第２特定モジュールと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するための認識モジュールと、を備え、
前記認識結果は、少なくとも前記目標種別を含むことを特徴とする物体認識装置。

【請求項10】

前記第１特定モジュールは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得し、
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含むことを特徴とする請求項９に記載の物体認識装置。

【請求項11】

異なる種別に属する物体は、異なる頭部形状を有し、
前記認識モジュールは、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することを特徴とする請求項９又は１０に記載の物体認識装置。

【請求項12】

前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
前記物体認識装置は、トレーニングモジュールを更に備え、
前記トレーニングモジュールは、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得し、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得し、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得し、
前記複数の目標平面のうちの２つずつの平面は、互いに垂直であることを特徴とする請求項９から１１の何れか一項に記載の物体認識装置。

【請求項13】

前記トレーニングモジュールは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定し、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得し、
前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することを特徴とする請求項１２に記載の物体認識装置。

【請求項14】

前記トレーニングモジュールは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得することを特徴とする請求項１３に記載の物体認識装置。

【請求項15】

前記トレーニングモジュールは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを特徴とする請求項１２に記載の物体認識装置。

【請求項16】

前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含むことを特徴とする請求項９から１５の何れか一項に記載の物体認識装置。

【請求項17】

物体認識装置であって、
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサで運転され得るコンピュータプログラムと、を含み、
前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに請求項１から８の何れか一項に記載の物体認識方法を実施させることを特徴とする物体認識装置。

【請求項18】

コンピュータプログラムが記憶される記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から８の何れか一項に記載の物体認識方法を実施させることを特徴とする記憶媒体。

【請求項19】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から８の何れか一項に記載の物体認識方法を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互引用＞
本発明は、２０２０年１月１５日に提出された、出願番号が２０２０１００４３５１５．５であり、発明名称が「物体認識方法及び装置、記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本発明に組み入れられる。
本発明は、コンピュータビジョン技術分野に関し、具体的に物体認識方法及び装置、記憶媒体並びにコンピュータプログラムに関する。

【背景技術】

【0002】

現在の物体認識方法は、単一種別の物体の認識に着目することがほとんどであり、複数種別の物体の認識に対する探索が少なく、特にポイントクラウドデータに関する探索が少ない。ポイントクラウドデータが幾つかの独特の特徴及び制限を有し、例えばテクスチャ及び色がないため、複数種別の物体の認識を困難にしている。

【発明の概要】

【0003】

第１態様において、本発明の実施例は、物体認識方法を提供する。

【0004】

前記方法は、
処理すべきポイントクラウドデータを取得し、認識すべき物体のポイントクラウドデータを含む前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するステップと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するステップと、を含む。前記認識結果は、少なくとも前記目標種別を含む。

【0005】

好ましくは、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを含み、
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。

【0006】

好ましくは、異なる種別に属する物体は、異なる頭部形状を有し、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定するステップは、
前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を含む。

【0007】

好ましくは、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
前記認識すべき物体の認識結果を取得する前に、前記方法は、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップと、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得するステップと、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップと、を更に含み、前記複数の目標平面のうちの２つずつの平面は、互いに垂直である。

【0008】

好ましくは、前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得することと、
前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を含む。

【0009】

好ましくは、前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得することは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得することを含む。

【0010】

好ましくは、複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを含む。

【0011】

好ましくは、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。

【0012】

第２態様において、本発明の実施例は、物体認識装置を提供する。前記装置は、
処理すべきポイントクラウドデータを取得し、認識すべき物体のポイントクラウドデータを含む前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するための第１特定モジュールと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するための第２特定モジュールと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するための認識モジュールと、を備え、前記認識結果は、少なくとも前記目標種別を含む。

【0013】

好ましくは、前記第１特定モジュールは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得し、
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。

【0014】

好ましくは、異なる種別に属する物体は、異なる頭部形状を有し、
前記認識モジュールは、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定する。

【0015】

好ましくは、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
前記装置は、トレーニングモジュールを更に備え、
トレーニングモジュールは、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得し、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得し、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得する。前記複数の目標平面のうちの２つずつの平面は、互いに垂直である。

【0016】

好ましくは、前記トレーニングモジュールは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定し、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得し、
前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定する。

【0017】

好ましくは、前記トレーニングモジュールは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得する。

【0018】

好ましくは、前記トレーニングモジュールは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得する。

【0019】

好ましくは、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。

【0020】

第３態様において、本発明の実施例は、物体認識装置を提供する。前記装置は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転され得るコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに本発明の実施例に記載の物体認識方法を実施させる。

【0021】

第４態様において、本発明の実施例は、記憶媒体を提供する。前記記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに本発明の実施例に記載の物体認識方法を実施させる。

【0022】

第５態様において、本発明の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに本発明の実施例に記載の物体認識方法を実施させる。

【発明の効果】

【0023】

本発明に係る実施例では、処理すべきポイントクラウドデータを認識する前に、先に処理すべきポイントクラウドデータを処理して目標ポイントクラウドデータを取得することにより、認識過程におけるポイントクラウドのスパース性及びポイントクラウドにおけるノイズによる影響を低減する。また、認識すべき物体の目標特徴と組み合わせて、認識すべき物体の属する種別を判別することにより、認識すべき物体が複数の種別のうちのどの種別に属するかを特定可能である。即ち、複数の種別の物体を認識することにより、認識すべき物体の属する種別を特定することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施例に係る物体認識方法の実施フローの模式図である。

【図2】本発明の実施例に係る形状表現（ｓｈａｐｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の抽出過程の模式図である。

【図3】本発明の実施例に係るポイントクラウドデータに基づく物体認識ニューラルネットワークのアーキテクチャの模式図である。

【図4】本発明の実施例に係る物体認識装置の構成の構造模式図である。

【発明を実施するための形態】

【0025】

本発明の実施例がより良好に当業者に理解されるように、以下では、図面を組み合わせて本発明の実施例を明瞭に記述する。明らかに、記述される実施例は、単に本発明の一部の実施例に過ぎず、全部の実施例ではない。

【0026】

本発明における用語「第１」、「第２」及び「第３」等は、類似する対象を区分するために用いられ、特定の順番や前後順を記述するとは限らない。また、用語「含む」と「備える」及びそれらの如何なる変形も、非排他的な含有、例えば、一連のステップ若しくは手段をカバーすることを意図する。方法、システム、製品若しくは機器は、それらのステップや手段を明確に挙げるとは限らず、明確に挙げられていないもの、或いはこれらの方法、システム、製品若しくは機器固有の他のステップや手段を含んでもよい。

【0027】

本発明の実施例は、物体認識方法を提供する。この物体認識方法は、端末機器、サーバ又は他の電子機器に適用可能である。端末機器は、ユーザ機器（ＵＥ、Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、携帯電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルド機器、計算機器、車載機器、ウェアラブル機器等であってもよい。幾つかの可能な実現方式において、当該方法は、プロセッサがメモリに記憶されたコンピュータ可読指令を呼び出すことによって実施され得る。図１に示すように、前記方法は、主に以下のステップを含む。

【0028】

ステップＳ１１では、処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得する。前記処理すべきポイントクラウドデータは、認識すべき物体のポイントクラウドデータを含む。

【0029】

ステップＳ１２では、前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定する。

【0030】

ステップＳ１３では、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得する。前記認識結果は、少なくとも前記目標種別を含む。

【0031】

本実施例において、前記処理すべきポイントクラウドデータは、収集された物体の外観表面の少なくとも一部の点のデータセットである。

【0032】

本実施例において、処理すべきポイントクラウドデータの取得方式について限定しない。例えば、処理すべきポイントクラウドデータは、レーダを介して収集され得る。更に例えば、処理すべきポイントクラウドデータは、測定機器を介して収集され得る。

【0033】

本実施例において、認識すべき物体の種類について限定しない。例えば、前記認識すべき物体は、車両を含む。前記車両は、具体的にトラック、バス、乗用車、バイク、自転車等であってもよい。前記認識すべき物体は、建物、例えば、ビルを更に含んでもよく、前記認識すべき物体は、通行人を更に含んでもよい。

【0034】

本実施例において、前記目標特徴は、少なくとも高レベル特徴を含む。例えば、前記高レベル特徴は、種別情報を少なくとも含有する語義特徴を含む。本実施例において、前記目標特徴は、低レベル特徴を更に含んでもよく、例えば、前記低レベル特徴は、形状特徴及び／又はテクスチャ特徴を含む。

【0035】

本実施例において、前記目標種別は、物体の実の種別であってもよい。例えば、認識すべき物体がトラックである場合に、対応する目標種別は、トラックとなる。認識すべき物体が乗用車である場合に、対応する目標種別は、乗用車となる。認識すべき物体が貨物車である場合に、対応する目標種別は、貨物車となる。無論、前記目標種別は、ユーザ（例えば、データ保守員）にカスタマイズされた種別であってもよい。例えば、目標種別は、大型車両、中型車両及び小型車両を含む。認識すべき物体がトラックである場合に、当該トラックに対応する目標種別は、大型車両となる。認識すべき物体が乗用車である場合に、当該乗用車に対応する目標種別は、小型車両となる。認識すべき物体が貨物車である場合に、当該貨物車に対応する目標種別は、中型車両となる。

【0036】

本発明の実施例は、各種の物体検出タスクに適用可能である。検出場面について限定しない。例えば、検出場面は、環境感知場面、補助運転場面、追跡場面等を含む。

【0037】

本発明に係る実施例では、処理すべきポイントクラウドデータを認識する前に、先に処理すべきポイントクラウドデータを処理して目標ポイントクラウドデータを取得することにより、認識過程におけるポイントクラウドのスパース性（ｓｐａｒｓｉｔｙ）及びポイントクラウドにおけるノイズによる影響を低減する。また、認識すべき物体の目標特徴と組み合わせて、認識すべき物体の属する種別を判別することにより、認識すべき物体が複数の種別のうちのどの種別に属するかを特定可能である。即ち、複数の種別の物体を認識することにより、認識すべき物体の属する種別を特定することができる。

【0038】

収集されたポイントクラウドデータが単に幾つかの独立する離散点であり、これらの離散点が一般的に三次元空間座標で示され、その際のポイントクラウドデータが構造化情報（例えば、相対的な位置情報）を含有しないため、本発明では、取得された処理すべきポイントクラウドデータを認識する前に、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得し、前記目標ポイントクラウドデータが構造化情報を含有する。幾つかの実施形態において、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得することは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを含んでもよい。

【0039】

前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。

【0040】

本実施例では、目標幾何体の種別について限定しない。例えば、前記目標幾何体は、円柱体、直方体、長方体又は球体等であってもよい。

【0041】

本実施例では、目標幾何体の大きさについて限定しない。前記大きさは、需要、例えば、時間需要又は精度需要に応じて設定や調整されてもよい。

【0042】

本実施例において、前記目標ステップ幅は、例えば時間需要又は精度需要に応じて設定や調整されてもよい。

【0043】

幾つかの実施形態において、目標幾何体の前記処理すべきポイントクラウドデータ上の移動の方式によって前記処理すべきポイントクラウドデータに対する走査を完了し、且つ前記目標幾何体の移動中に、前記目標幾何体のカバーするポイントクラウドデータを重複せずに抽出し、抽出された前記目標幾何体のカバーするポイントクラウドデータに基づいて、位置情報を含む目標ポイントクラウドデータを取得する。

【0044】

処理すべきポイントクラウドデータがＭ個の点を含み、各点の座標が（Ｘ、Ｙ、Ｚ）であると仮定する。目標ポイントクラウドデータにおける点の表現は、Ｗ×Ｈ×Ｎ×（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）の形態となり、Ｎは、各目標幾何体にＮ個の点があることを示し、Ｗ×Ｈは、予め設定されたポイントクラウドの範囲を示し、Ｎは、一般的に需要、例えば精度需要に応じて設定や調整されてもよい。例示的に、予め設定されたポイントクラウドの範囲が１００メートル×１００メートルであり、Ｎ＝１６、目標幾何体の大きさが０．５メートル×０．５メートルである場合に、目標ポイントクラウドデータにおける点の表現は、１００メートル×１００メートル×１６×（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）の形態となる。１００メートル／０．５メートル＝２００であるため、目標幾何体で当該予め設定されたポイントクラウドの範囲を走査した後、得られた目標ポイントクラウドデータにおける点の個数は、２００×２００×１６となり、目標ポイントクラウドデータにおける点が位置情報を有することができ、引き続き目標特徴を特定するのに便利になる。目標幾何体に含まれる点の個数が固定であり、処理すべきポイントクラウドデータから目標ポイントクラウドデータを特定する過程において点の数を減少可能であるため、引き続き目標特徴を特定する速度を向上させることに有利になる。

【0045】

これにより、処理すべきポイントクラウドデータにおける独立する離散点に対して、本発明では、目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることで、位置情報を含む目標ポイントクラウドデータを取得し、構造情報を有さない処理すべきポイントクラウドデータを、構造情報を含む目標ポイントクラウドデータとして表すことができ、より正確な語義特徴の取得に有利になり、物体認識の正確率が更に向上する。

【0046】

車両認識場面を例とすると、異なる車種の車両が異なる頭部形状を有するため、物体の頭部を認識することにより、物体の属する種別を特定することができる。したがって、幾つかの実施例において、異なる種別に属する物体は、異なる頭部形状を有し、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することは、
前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を含んでもよい。

【0047】

このように、認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を照合する方式で、認識すべき物体の属する種別を特定することは、認識すべき物体の全ての特徴を分析して認識すべき物体の属する種別を特定することよりも、認識効率を向上させることができる。

【0048】

以下では、本発明の物体認識の方案で用いられるニューラルネットワークのトレーニング方法について詳細に記述する。

【0049】

物体認識結果がより正確になるように、ニューラルネットワーク学習及びトレーニング過程において物体の形状特徴を考慮する。幾つかの実施例において、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、前記認識すべき物体の認識結果を取得する前に、前記方法は、

【0050】

前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップと、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得するステップと、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップと、を更に含み、前記複数の目標平面のうちの２つずつの平面は、互いに垂直である。

【0051】

本実施例において、前記目標平面は、二次元平面である。例えば、前記二次元平面は、認識すべき物体の正面図の所在する平面を含み、認識すべき物体の側面図の所在する平面を更に含んでもよく、認識すべき物体の平面図の所在する平面を更に含んでもよい。

【0052】

このように、複数の目標平面にマッピングされた目標サンプルポイントクラウドデータに対応する形状情報により、認識すべき物体を示し、認識すべき物体の１種の形状表現が与えられ、当該複数の形状情報及びトレーニングサンプルにおける形状マーク結果によってニューラルネットワークのトレーニングを監視することに寄与するため、トレーニング済のニューラルネットワークは、複数種類の物体を認識可能であり、且つ認識結果はより正確になる。

【0053】

説明すべきことは、実際の応用過程において、同一の物体の異なる面から見られる形状が異なる可能性がある。例えば、物体の前面から後面へ投写して得られた図は、正面図と呼称され、当該正面図は、物体の前面形状を反映可能である。物体の左面から右面へ投写して得られた図は、左側面図（側面図）と呼称され、当該左側面図は、物体の左面形状を反映可能である。物体の上面から下面へ投写して得られた図は、平面図と呼称され、当該平面図は、物体の上面形状を反映可能である。物体の形状をより全面的且つ完全に示すために、３つの目標平面を選択して点のマッピングを行うことは、一般的である。例えば、これら３つの目標平面は、それぞれ正面図の所在する平面、側面図の所在する平面及び平面図の所在する平面であってもよい。

【0054】

認識過程におけるポイントクラウドのスパース性及びポイントクラウドにおけるノイズによる影響を低減するために、ポイントクラウドデータを補完する必要がある。１種の実現方式として、前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得することは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得することと、
前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を含んでもよい。

【0055】

このように、ポイントクラウドデータに対して補完処理を行うことにより、収集された同一の物体に係るポイントクラウドデータが少ない、又は不完全であるという問題を補い、より多くのポイントクラウドデータを取得可能であるため、物体形状についてより正確に表すことに有利になり、更にトレーニングすべきニューラルネットワークの汎化能力の促進に寄与する。

【0056】

物体が一般的に中心対称性を有することに鑑みて、１種の実施形態として、前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得することは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得することを含んでもよい。

【0057】

幾つかの例において、前記認識すべき物体に対応する形状の中心を座標原点に位置合わせするとともに、前記認識すべき物体を回転し、前記認識すべき物体の進行方向をｙ軸とし、垂直方向をｘ軸として、前記認識すべき物体の１つの点（例えば、Ｑ点）の座標（ｘ１、ｙ１、ｚ１）を特定し、認識すべき物体自身の中心を原点とする座標系を基に、中心対称を採用して第１ポイントクラウドデータにおけるＱ点を補完し、Ｑ点の対称点Ｑ’の座標（ｘ１’、ｙ１’、ｚ１’）を取得する。即ち、第１ポイントクラウドデータは、Ｑ点（ｘ１,ｙ１,ｚ１）を含み、第２ポイントクラウドデータは、Ｑ点（ｘ１,ｙ１,ｚ１）及びその対称点Ｑ’（ｘ１’,ｙ１’,ｚ１’）を含む。

【0058】

このように、レーダが物体表面の点を収集するときに多くとも３つの面までしか走査できないため、ここで、中心対称で点を補完することにより、サンプルポイントクラウドデータに対して補完処理を快速に実施可能であるとともに、サンプルポイントクラウドデータのスパース問題を補うことができる。

【0059】

理解できるように、各認識すべき物体は、対応する１つの中心を有する。認識すべき物体同士は、互いに独立する。つまり、各認識すべき物体は、独立であり、自身の中心を原点とする座標系へそれぞれ変換される。

【0060】

このように、サンプルポイントクラウドデータを、認識すべき物体自身の中心を原点とする座標系へ変換可能であり、後段のデータ処理を便利にさせる。

【0061】

物体の形状情報を効果的且つ簡潔に示すために、一実施形態において、前記複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得することは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを含んでもよい。

【0062】

幾つかの例において、各目標平面における点の分布状況に応じて、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）で各目標平面における外周点を枠に入れ、物体の形状の表現を得る。更に、凸包をより良好に表すために、角－半径関数を導入し、角－半径関数を用いて凸包を表す。具体的には、物体枠の中心を原点とし、目標ステップ幅で複数本の半直線を発することと、原点と半直線及び凸包の交点との間の距離を半径とし、角－半径関数を得ることとを含む。ここで、上記物体枠は、サンプルポイントクラウドデータに基づいてマークされた物体のボックスである。目標ステップ幅は、例えば、１°であってもよい。即ち、隣接する２本の半直線の間の角度が１°である。そうすると、３６０本の半直線は、発される。無論、理解できるように、目標ステップ幅が需要例えば精度需要に応じて設定や調整されてもよいため、半直線の数も調整可能である。例えば、目標ステップ幅が２°であり、即ち、隣接する２本の半直線の間の角度が２°である場合に、１８０本の半直線は、発される。更に例えば、目標ステップ幅が４°であり、即ち、隣接する２本の半直線の間の角度が４°である場合に、９０本の半直線は、発される。

【0063】

上記得られた形状の表現に対して効果的且つ簡潔的に圧縮するために、幾つかの例において、前記角－半径関数に基づいてチェビシェフフィッティング関数を確立し、前記チェビシェフフィッティング関数の先頭３つの係数を特定し、前記先頭３つの係数を目標平面の形状表現に代入して各物体の形状表現を取得する。このように、効果的且つ簡潔的な形状表現は取得可能であり、認識効率の向上に有利になる。

【0064】

物体の形状をより良好に認識するために、幾つかの実施例において、形状に関する教師信号を導入し、トレーニング前に、トレーニングサンプルにおけるサンプルポイントクラウドデータの形状表現を抽出する。

【0065】

幾つかの実施例において、図２に示すように、前記サンプルポイントクラウドデータの形状表現を抽出する。図２は、１つの認識すべき物体を例とし、即ち、１つの認識すべき物体に対応する物体枠を例として、全実施過程について説明する。具体的な実施過程は、以下のステップを含んでもよい。

【0066】

ステップＡでは、サンプルポイントクラウドデータに基づいて前記サンプルポイントクラウドデータに含まれる複数の物体枠を特定し、前記複数の物体枠のうちの各物体枠における点を座標系にマッピングし、各物体枠の第１座標を取得する。

【0067】

前記複数の物体枠のうちの各物体枠における点を座標系にマッピングし、各物体枠の第１座標を取得することは、
物体枠の中心を座標原点に位置合わせするとともに、物体を回転して、物体の進行方向をｙ軸とし、垂直方向をｘ軸とすることを含んでもよい。

【0068】

ここで、物体枠は、トレーニング前に予めマークされたものである。

【0069】

ここで、前記座標原点は、前記物体枠の中心である。

【0070】

理解できるように、各物体枠は、対応する１つの中心を有する。物体同士は、互いに独立する。つまり、各物体は、独立であり、自身の中心を原点とする座標系へそれぞれ変換される。

【0071】

このように、ワールド座標系のポイントクラウドデータを、物体枠自身の中心を原点とする座標系へ変換可能であり、後段のデータ処理を便利にさせる。

【0072】

ステップＢでは、前記第１座標に対応する第１ポイントクラウドデータに対して対称処理を行い、第２座標に対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータは、前記第１ポイントクラウドデータを含む。

【0073】

前記第１座標に対応する第１ポイントクラウドデータに対して対称処理を行い、第２座標に対応する第２ポイントクラウドデータを取得することは、
各物体枠の中心を対称中心とし、前記第１座標に対応する第１ポイントクラウドデータに対して対称処理を行い、前記第１座標に対応する第２座標の第２ポイントクラウドデータを取得することを含んでもよい。

【0074】

このように、中心対称の処理方式を用いて点を補完し、ポイントクラウドのスパース問題を補う。

【0075】

ステップＣでは、前記第２ポイントクラウドデータ、即ち、目標サンプルポイントクラウドデータを三面図に投影し、三面図の表現を得る。前記三面図は、正面図、平面図及び側面図を含んでもよい。

【0076】

本実施例において、ステップＣにより、三次元空間における目標サンプルポイントクラウドデータを三面図にマッピング可能であるため、３つの二次元図の表現を得る。

【0077】

ステップＤでは、凸包によって各物体枠の三面図の形状を抽出し、各物体枠の形状表現を得る。

【0078】

本実施例において、ステップＤの前に取得されたのが離散点であり、且つポイントクラウドの内部にスパースや空洞が存在することが多く、ステップＤにおいて凸包を導入して各ビューにおける形状を抽出して離散点の外周を枠に入れることにより、内部スパースの問題を補うとともに、後段の特徴表しにも有利になる。

【0079】

本実施例において、凸包をより良好に表すために、角－半径関数を導入する。

【0080】

ステップＥでは、各物体枠の中心を座標原点とし、３６０本の半直線を発し、１度ずつ１本の半直線を発し、座標原点と半直線及び凸包の交点との間の距離を半径として、角－半径関数を得る。

【0081】

無論、理解できるように、半直線の本数は、需要例えば精度需要に応じて設定や調整されてもよい。例えば、１８０本の半直線を発してもよく、隣接する２本の半直線の間の角度が２°である。更に例えば、９０本の半直線を発してもよく、隣接する２本の半直線の間の角度が４°である。

【0082】

ステップＦでは、前記角－半径関数に基づいてチェビシェフフィッティング関数を確立し、前記チェビシェフフィッティング関数の先頭３つの係数を特定し、前記先頭３つの係数を前記三面図の表現に代入し、各物体枠の形状表現を得る。前記形状表現は、三面図のうちの正面図の３つの形状表現、三面図のうちの平面図の３つの形状表現、及び三面図のうちの側面図の３つの形状表現を含む。

【0083】

本実施例において、チェビシェフフィッティング関数から無限個の係数が得られるため、上記ステップＥにおいて得られた形状表現に対して効果的且つ簡潔的な圧縮を行うために、本発明では、先頭３つの係数のみを選択し、最終的に１つの９次元の形状表現を取得する。

【0084】

チェビシェフフィッティングの定義は、下記のようになる。

【数1】

【0085】

ｘは、引数であり、Ｔは、チェビシェフ数式を示す。

【0086】

チェビシェフフィッティングの定義を基に、１つの汎用的な数式として定義する。

【0087】

【数2】

【0088】

最後に、本発明で算出されるチェビシェフフィッティングの係数は、下記のようになる。

【0089】

【数3】

【0090】

幾つかの実施形態において、角度をチェビシェフ中のｘとし、半径をチェビシェフ中のＴとし、チェビシェフ関数を確立し、数式（５）に基づいて係数α_０を取得し、数式（６）に基づいて係数α_１及びα_２を取得し、α_０、α_１及びα_２を三面図における各ビューの表現とし、最終的に合計で１つの９次元の形状表現を取得する。

【0091】

上記Ａ～Ｆの６つのステップにより、１つのロバスト且つ効果的な形状表現は、取得することができる。

【0092】

図３は、本発明の実施例に係るポイントクラウドデータに基づく物体認識ニューラルネットワークのアーキテクチャの模式図である。図３に示すように、全アーキテクチャは、以下の４つの部分に区分される。

【0093】

第１部分では、収集されたオリジナルポイントクラウドデータを処理することにより、ポイントクラウドデータの構造化表現を取得する。即ち、オリジナルポイントクラウドデータには、ポイントクラウドデータにおける複数の点の間の相対位置関係が追加される。換言すれば、処理すべきポイントクラウドデータを目標ポイントクラウドデータに変換する。

【0094】

第２部分では、前記構造化表現に基づいて、前記ポイントクラウドデータの高レベル特徴及び低レベル特徴を特定する。前記高レベル特徴は、種別情報を少なくとも含有する語義特徴を含み、前記低レベル特徴は、形状特徴及び／又はテクスチャ特徴を含む。即ち、前記目標ポイントクラウドデータに基づいて目標特徴を特定する。前記第２部分は、畳み込みニューラルネットワークにて実現され得る。

【0095】

第３部分では、前記高レベル特徴及び前記低レベル特徴に基づいて物体認識を行い、前記ポイントクラウドデータに含まれる各物体の認識結果を取得する。前記認識結果は、形状、位置及び種別を含む。即ち、前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得する。例えば、認識すべき物体の頭部形状と複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定する。前記第３部分は、形状クラスタリングに基づく多分岐物体識別器にて実現されてもよく、前記多分岐物体識別器は、異なる形状の物体を異なるブランチに送り込んでもよく、各ブランチが１つの種別に対応する。

【0096】

第４部分は、物体認識ニューラルネットワークの教師信号であり、当該教師信号は、合計で物体の種別、位置及び形状表現という３種の教師信号を含み、物体認識ニューラルネットワークのロス関数は、種別ロスと位置ロスと形状ロスとの合計を含む。

【0097】

本実施例において、上記形状表現とは、物体の形状表現を指す。理解できるように、異なる種別の物体は、対応する形状が異なり、更に対応する形状表現も異なる。例えば、通行人と自動車との形状表現は、異なる。更に例えば、トラックと乗用車との形状表現は、異なる。

【0098】

本実施例において、上記位置とは、物体の所在する位置を指す。理解できるように、前記位置は、空間座標（Ｘ、Ｙ、Ｚ）で表されてもよい。例えば、物体１の位置は、（Ｘ１、Ｙ１、Ｚ１）であり、物体２の位置は、（Ｘ２、Ｙ２、Ｚ２）であり、物体ｎの位置は、（Ｘｎ、Ｙｎ、Ｚｎ）である。

【0099】

本実施例において、上記種別とは、物体の種別を指す。理解できるように、前記種別は、複数の大種別を含み、各大種別は、複数の小種別を含んでもよい。例示的に、前記種別は、通行人、車両、建物等を含み、前記車両は、乗用車、トラック等の小種別に大別される。説明すべきことは、種別を具体的に如何に区分及び細分するかは、需要、例えば、精度要求、時間要求等に応じて設定や調整されてもよい。

【0100】

本発明の実施例は、各種の物体検出タスクに適用可能であり、検出場面について限定しない。例えば、検出場面は、環境感知場面、補助運転場面、追跡場面等を含む。

【0101】

最後に、ロス関数に基づいて、第１部分、第２部分及び第３部分という３つのネットワーク構成部分のパラメータを調節することにより、種別ロスと位置ロスと形状ロスとの合計を最小にする。

【0102】

本実施例において、物体認識ニューラルネットワークの学習及びトレーニングの時に異なる種別の物体の形状が明らかな相違を有することを考慮し、形状情報をネットワークの教師信号に組み込んで、物体認識ニューラルネットワークの学習及びトレーニングを指導し、トレーニングされたニューラルネットワークが複数種の物体を認識する能力を持たせ、より良好な検出効果を得る。図３に示す物体認識ニューラルネットワークのアーキテクチャが単に例示であり、当業者が図３の例に基づいて種々な自明な変更及び／又は置換を行うことが可能であり、得られた実施例が依然として本発明の実施例の開示範囲に含まれ得ることは、理解されるべきである。

【0103】

上記物体認識方法に対応し、本発明の実施例は、物体認識装置を提供する。図４に示すように、前記装置であって、
認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するための第１特定モジュール１０と、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するための第２特定モジュール２０と、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するための認識モジュール３０と、を備え、前記認識結果は、少なくとも前記目標種別を含む。

【0104】

好ましくは、前記第１特定モジュール１０は、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得する。

【0105】

前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。

【0106】

好ましくは、異なる種別に属する物体は、異なる頭部形状を有し、前記認識モジュール３０は、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得し、取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定する。

【0107】

好ましくは、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、前記装置は、トレーニングモジュール４０を更に備える。

【0108】

トレーニングモジュール４０は、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得し、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得し、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得する。前記複数の目標平面のうちの２つずつの平面は、互いに垂直である。

【0109】

好ましくは、前記トレーニングモジュール４０は、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定し、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得し、
前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定する。

【0110】

好ましくは、前記トレーニングモジュール４０は、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得する。

【0111】

好ましくは、前記トレーニングモジュール４０は、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得する。

【0112】

好ましくは、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。

【0113】

図４に示す物体認識装置における各処理モジュールの実現機能は、上記物体認識方法の関連記述を参照して理解され得ることは、当業者に理解されるべきである。図４に示す物体認識装置における各処理モジュールの機能がプロセッサで運転されるプログラムにて実現されてもよく、具体的な論理回路にて実現されてもよいことは、当業者に理解されるべきである。

【0114】

実際の応用において、上記第１特定モジュール１０、第２特定モジュール２０、認識モジュール３０及びトレーニングモジュール４０は、何れもプロセッサに対応可能である。前記プロセッサは、中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ（ＭＣＵ、Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）或いはプログラマブルロジックデバイス（ＰＬＣ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）等の処理機能を有する電子デバイス又は電子デバイスの集合であってもよい。前記プロセッサは、実行可能コードを含み、前記実行可能コードは、記憶媒体に記憶され、前記プロセッサは、バス等の通信インターフェースを介して前記記憶媒体に接続され、具体的な各モジュールの対応する機能を実行するときに、前記実行可能コードを前記記憶媒体から読み取って運転してもよい。前記記憶媒体の前記実行可能コードを記憶するための部分は、非一時的記憶媒体であることが好ましい。

【0115】

本発明の実施例に係る物体認識装置は、複数種類の物体を認識可能であり、且つ物体認識結果がより正確であり、適用分野がより広くなる。

【0116】

本発明の実施例は、物体認識装置を更に提供する。前記装置は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転され得るコンピュータプログラムとを含み、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに上記何れか１つの実施例に供される物体認識方法を実施させる。

【0117】

１種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに、
処理すべきポイントクラウドデータを取得し、認識すべき物体のポイントクラウドデータを含む前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得することと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定することと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得することと、を実施させる。前記認識結果は、少なくとも前記目標種別を含む。

【0118】

１種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを前記プロセッサに実施させる。

【0119】

前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含む。

【0120】

１種の実施形態として、異なる種別に属する物体は、異なる頭部形状を有し、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を前記プロセッサに実施させる。

【0121】

１種の実施形態として、前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記認識すべき物体の認識結果を取得する前に、前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得することと、前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得することと、複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得することと、を前記プロセッサに実施させる。前記複数の目標平面のうちの２つずつの平面は、互いに垂直である。

【0122】

１種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得することと、前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を前記プロセッサに実施させる。

【0123】

１種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得することを前記プロセッサに実施させる。

【0124】

１種の実施形態として、前記コンピュータプログラムが前記プロセッサによって実行されたときに、複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを前記プロセッサに実施させる。

【0125】

１種の実施形態として、前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含む。

【0126】

本発明の実施例に係る物体認識装置は、複数種類の物体を認識可能であり、且つ物体認識結果がより正確であり、適用分野がより広くなる。

【0127】

本発明の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体には、コンピュータ実行可能指令／コンピュータプログラムが記憶され、前記コンピュータ実行可能指令は、上記各実施例に記載の物体認識方法を実行するために用いられる。つまり、前記コンピュータ実行可能指令がプロセッサによって実行されたときに、前記プロセッサに上記何れか１つの実施例に供される物体認識方法を実施させ得る。

【0128】

本発明の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに上記何れか１つの実施例に供される物体認識方法を実施させる。

【0129】

本発明の実施例のコンピュータプログラムの機能が上記各実施例に記載の物体認識方法の関連記述を参照して理解され得ることは、当業者に理解されるべきである。

【0130】

当業者であれば理解できるように、上記方法実施例を実施する全部又は一部のステップは、プログラム指令に関連するハードウェアにて実施され得る。上記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。当該プログラムが実行されたときに、上記方法実施例のステップは実施される。上記記憶媒体は、モバイル記憶機器、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な各種の媒体を含む。

【0131】

又は、本発明の実施例は、ソフトウェア機能モジュールの形態で実施され且つ独立の製品として販売や使用されるときに、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解を基に、本発明の実施例の技術案は、本質上又は従来技術に対して貢献に値する部分が、ソフトウェア製品の形態で体現されてもよい。当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パソコン、サーバ又はネットワーク機器等であってもよい）が本発明の各実施例に記載方法の全部又は一部を実行するために用いられる幾つかの指令を含む。上記記憶媒体は、モバイル記憶機器、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な各種の媒体を含む。

【0132】

上述したのは、単に本発明の具体的な実施形態に過ぎない。しかし、本発明の保護範囲は、これに限定されない。本技術分野に精通している如何なる技術者も本発明に開示された技術範囲内で簡単に想到する変化や置換は、何れも本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、添付する請求項の保護範囲に準じるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図】

【図】

【図】

【図】

【手続補正書】

【提出日】2021-07-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

物体認識方法であって、
認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するステップと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するステップと、を含み、
前記認識結果は、少なくとも前記目標種別を含むことを特徴とする物体認識方法。

【請求項2】

前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するステップは、
目標幾何体を介して、前記処理すべきポイントクラウドデータを目標ステップ幅でトラバースすることにより、前記目標ポイントクラウドデータを取得することを含み、
前記目標幾何体の次元と前記処理すべきポイントクラウドデータの次元とは、同じであり、前記目標幾何体は、規則的な形状の幾何体を含むことを特徴とする請求項１に記載の物体認識方法。

【請求項3】

異なる種別に属する物体は、異なる頭部形状を有し、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定するステップは、
前記目標特徴に基づいて、前記認識すべき物体の頭部形状と前記複数の種別のうちの各種別に対応する頭部形状との間の類似度を特定することにより、複数の類似度を取得することと、
取得された複数の類似度のうちの最高の類似度に対応する種別を前記目標種別として特定することと、を含むことを特徴とする請求項１又は２に記載の物体認識方法。

【請求項4】

前記処理すべきポイントクラウドデータがサンプルポイントクラウドデータを含む場合に、前記認識結果は、前記認識すべき物体の形状特徴を更に含み、
前記認識すべき物体の認識結果を取得する前に、前記物体認識方法は、
前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップと、
前記目標サンプルポイントクラウドデータにおける各ポイントを複数の目標平面にマッピングすることにより、前記複数の目標平面のうちの各平面における前記目標サンプルポイントクラウドデータに対応する形状情報を取得するステップと、
複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップと、を更に含み、
前記複数の目標平面のうちの２つずつの平面は、互いに垂直であることを特徴とする請求項１から３の何れか一項に記載の物体認識方法。

【請求項5】

前記サンプルポイントクラウドデータから前記認識すべき物体を認識することにより、前記認識すべき物体に対応する目標サンプルポイントクラウドデータを取得するステップは、
前記サンプルポイントクラウドデータに基づいて、前記認識すべき物体に対応する形状を特定することと、
前記認識すべき物体に対応する形状に基づいて、前記サンプルポイントクラウドデータから、前記認識すべき物体に対応する第１ポイントクラウドデータを取得することと、
前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得し、前記第２ポイントクラウドデータを前記目標サンプルポイントクラウドデータとして特定することと、を含むことを特徴とする請求項４に記載の物体認識方法。

【請求項6】

前記第１ポイントクラウドデータを補完することで前記第１ポイントクラウドデータに対応する第２ポイントクラウドデータを取得することは、
前記認識すべき物体に対応する形状の中心を特定し、前記中心を対称中心とし、中心対称を採用して前記第１ポイントクラウドデータを補完することで前記第２ポイントクラウドデータを取得することを含むことを特徴とする請求項５に記載の物体認識方法。

【請求項7】

前記複数の前記形状情報に基づいて、前記認識すべき物体の形状特徴を取得するステップは、
複数の前記形状情報をフィッティングし、前記認識すべき物体の形状特徴を取得することを含むことを特徴とする請求項４に記載の物体認識方法。

【請求項8】

前記目標ポイントクラウドデータは、各ポイントの位置情報を含み、前記認識結果は、前記認識すべき物体の位置情報を更に含むことを特徴とする請求項１から７の何れか一項に記載の物体認識方法。

【請求項9】

物体認識装置であって、
認識すべき物体のポイントクラウドデータを含む処理すべきポイントクラウドデータを取得し、前記処理すべきポイントクラウドデータを処理し、目標ポイントクラウドデータを取得するための第１特定モジュールと、
前記目標ポイントクラウドデータから前記認識すべき物体を認識し、前記認識すべき物体の目標特徴を特定するための第２特定モジュールと、
前記目標特徴に基づいて、複数の種別のうち、前記認識すべき物体の属する目標種別を特定することにより、前記認識すべき物体の認識結果を取得するための認識モジュールと、を備え、
前記認識結果は、少なくとも前記目標種別を含むことを特徴とする物体認識装置。

【請求項10】

物体認識装置であって、
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサで運転され得るコンピュータプログラムと、を含み、
前記コンピュータプログラムが前記プロセッサによって実行されたときに、前記プロセッサに請求項１から８の何れか一項に記載の物体認識方法を実施させることを特徴とする物体認識装置。

【請求項11】

コンピュータプログラムが記憶される記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から８の何れか一項に記載の物体認識方法を実施させることを特徴とする記憶媒体。

【請求項12】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から８の何れか一項に記載の物体認識方法を実行させることを特徴とするコンピュータプログラム。

【誤訳訂正書】

【提出日】2021-07-21

【誤訳訂正1】

【訂正対象書類名】図面

【訂正対象項目名】全図

【訂正方法】変更

【訂正の内容】

【図1】

【図2】

【図3】

【図4】

【国際調査報告】