特許 6364049 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6364049

(24)【登録日】2018年7月6日

(45)【発行日】2018年7月25日

(54)【発明の名称】点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180712BHJP

   G01S 17/89 20060101ALI20180712BHJP

   G01B 11/24 20060101ALI20180712BHJP

   G08G 1/16 20060101ALN20180712BHJP

【ＦＩ】

   G06T7/00 350C

   G01S17/89

   G01B11/24 A

   !G08G1/16 C

【請求項の数】26

【全頁数】27

(21)【出願番号】特願2016-162606(P2016-162606)

(22)【出願日】2016年8月23日

(65)【公開番号】特開2017-134814(P2017-134814A)

(43)【公開日】2017年8月3日

【審査請求日】2016年8月23日

(31)【優先権主張番号】201610057306.X

(32)【優先日】2016年1月27日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】110000796

【氏名又は名称】特許業務法人三枝国際特許事務所

(72)【発明者】

【氏名】リー ボウ

(72)【発明者】

【氏名】チャン ティエンレイ

(72)【発明者】

【氏名】シア ティエン

(72)【発明者】

【氏名】タオ ジー

(72)【発明者】

【氏名】リン ヤンチン

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２００９−２７６９１０（ＪＰ，Ａ）

【文献】 特開２０１３−２０５９８３（ＪＰ，Ａ）

【文献】 特開２０１４−１６４６０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ １／００

Ｇ０１Ｂ １１／００ −１１／３０

Ｇ０１Ｓ １７／８９

(57)【特許請求の範囲】

【請求項1】

被訓練点群データを取得するステップと、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示するステップと、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップと、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップと、を含むことを特徴とする
点群データに基づく車両輪郭検出方法。

【請求項2】

前記被訓練点群データを取得するステップは、
点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であるステップを含むことを特徴とする
請求項１に記載の方法。

【請求項3】

各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、

【数1】

θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
請求項２に記載の方法。

【請求項4】

前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成するステップは、
前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、
前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含むことを特徴とする
請求項３に記載の方法。

【請求項5】

前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）の回転ベクトル（ｘ’_ｐ，ｙ’_ｐ，ｚ’_ｐ）は

【数2】

であり、
式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の回転行列であり、かつ、

【数3】

であることを特徴とする
請求項３に記載の方法。

【請求項6】

前記被訓練点群データおよび前記被訓練点群データに対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップは、
前記全畳み込みニューラルネットワークのパラメータを初期化するステップと、
現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整するステップと、
前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、
そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含むことを特徴とする
請求項１〜５のいずれかに記載の方法。

【請求項7】

前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、
前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であるステップと、
前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の予測結果を取得し、前記予測結果は被検出点が車両輪郭に属する確率を含むステップと、
前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するステップと、を含むことを特徴とする
請求項５に記載の方法。

【請求項8】

前記予測結果は、前記被検出点の位置情報をさらに含み、
前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、
前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、
前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含むことを特徴とする
請求項７に記載の方法。

【請求項9】

被訓練点群データを取得するために構成される取得モジュールと、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示するために構成されるタグデータ生成モジュールと、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成される訓練モジュールと、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するために構成される検出モジュールと、を備えることを特徴とする
点群データに基づく車両輪郭検出装置。

【請求項10】

前記取得モジュールは、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成するために構成され、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であることを特徴とする
請求項９に記載の装置。

【請求項11】

各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、

【数4】

θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
請求項１０に記載の装置。

【請求項12】

前記タグデータ生成モジュールは、さらに、
前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、
前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成されることを特徴とする
請求項１１に記載の装置。

【請求項13】

前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）の回転ベクトル（ｘ’_ｐ，ｙ’_ｐ，ｚ’_ｐ）は、

【数5】

であり、
式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の回転行列であり、かつ、

【数6】

であることを特徴とする
請求項１１に記載の装置。

【請求項14】

前記訓練モジュールは、さらに、
前記全畳み込みニューラルネットワークのパラメータを初期化し、
現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整し、
前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、
そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成されることを特徴とする
請求項９〜１３のいずれかに記載の装置。

【請求項15】

前記検出モジュールは、さらに、
前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であり、
前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の車両輪郭に属する確率を含む予測結果を取得し、
前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するために構成されることを特徴とする
請求項１３に記載の装置。

【請求項16】

前記予測結果は、前記被検出点の位置情報をさらに含み、
前記検出モジュールは、さらに、
前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、
前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するために構成されることを特徴とする
請求項１５に記載の装置。

【請求項17】

１つの又は複数のプロセッサと、
コマンドを記憶するメモリと、を含み、
前記コマンドが前記１つの又は複数のプロセッサによって実行される時に、前記１つの又は複数のプロセッサに
被訓練点群データを取得し、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
点群データに基づく車両輪郭検出装置。

【請求項18】

前記被訓練点群データを取得することは、
点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であるステップを含むことを特徴とする
請求項１７に記載の装置。

【請求項19】

各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、

【数7】

θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
請求項１８に記載の装置。

【請求項20】

前記の前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成することは、
前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、
前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含むことを特徴とする
請求項１９に記載の装置。

【請求項21】

前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）の回転ベクトル（ｘ’_ｐ，ｙ’_ｐ，ｚ’_ｐ）は

【数8】

であり、
式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の回転行列であり、かつ、

【数9】

であることを特徴とする
請求項１９に記載の装置。

【請求項22】

前記の前記被訓練点群データおよび前記被訓練点群データに対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得することは、
前記全畳み込みニューラルネットワークのパラメータを初期化するステップと、
現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整するステップと、
前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、
そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含むことを特徴とする
請求項１７〜２１のいずれかに記載の装置。

【請求項23】

前記の前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得することは、
前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であるステップと、
前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の予測結果を取得し、前記予測結果は被検出点が車両輪郭に属する確率を含むステップと、
前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するステップと、を含むことを特徴とする
請求項２１に記載の装置。

【請求項24】

前記予測結果は、前記被検出点の位置情報をさらに含み、
前記の前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得することは、
前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、
前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含むことを特徴とする
請求項２３に記載の装置。

【請求項25】

コンピュータプログラムを記憶する不揮発性コンピュータ記憶媒体であって、
前記コンピュータプログラムが１つの又は複数のコンピュータにより実行される時に、前記１つの又は複数のコンピュータに、
被訓練点群データを取得し、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
不揮発性コンピュータ記憶媒体。

【請求項26】

１つの又は複数のコンピュータにより実行される時に、前記１つの又は複数のコンピュータに、
被訓練点群データを取得し、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータの技術分野に関し、具体的には、車両検出技術分野に関し、特に点群データに基づく車両輪郭検出方法、および装置に関する。

【背景技術】

【0002】

経済の発展および生活水準の向上につれて、自動車は不可欠な通勤手段として、徐々に多くの家庭に普及している。しかしながら、それに伴う運転安全問題は、常に幸せな生活を脅かしている。中国では、２０１０年度の交通事故による死亡者数は、中国公安省のデータによれば６５，２２５人であり、ＷＨＯモデルの推定によれば２７５，９８３人であり、一日一回重大な航空事故が発生することに相当する。交通事故による全世界の死傷者数は、一年に１３回の９１１大惨事が発生することに相当する。

【0003】

科学技術が発達している現代社会において、人々は明らかに災難の多発が容認できない。安全運転が世間全体に期待され、政府および市場の推進で、自動車の安全技術がますます盛んになっている。広義では、自動車の安全技術はパッシブセーフティ（ｐａｓｓｉｖｅ ｓａｆｅｔｙ）およびアクティブセーフティ（ａｃｔｉｖｅ ｓａｆｅｔｙ）の２種類に大きく分けられる。パッシブセーフティは、衝突が発生する際に如何に損失を最小限に抑える技術であり、主に自動車構造、シートベルト、積層フロントガラス、折り畳み式ステアリングコラム、エアバッグなどの設計を含むが、衝突してから受動的保護をトリガするメカニズムによって、事故回避効果が限られる。アクティブセーフティは、予め警告して衝突を回避する技術であり、主に運転者の周囲環境の感知、分析、決定および制御、例えば車線逸脱警告（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ：ＬＤＷ）を含む。パッシブセーフティに比べて、アクティブセーフティは先行性および車両設計への低依存性などの利点に着目し、幅広く研究されており、かつ先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ：ＡＤＡＳ）の製品形態として周知されている。

【0004】

車両検出技術は、アクティブセーフティの主な技術サポートの１つである。従来の技術案は、ほとんど単一の視覚技術を使用し、画像中の特徴をマッチングする方法により車両を検出するが、被検出車両の空間位置および姿勢を正確に提供することができない。また、レーザー点群を利用して入力とし、形状および点群の密度などの特徴によりクラスタリングしてから車両を検出する技術案も提案されたが、このような方法は、多くの場合に、大量の手動調整の必要があり、場面変化への適応性が低い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記背景技術に言及された技術的問題を解決するために、改良した点群データに基づく車両輪郭検出方法、および装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１態様によれば、本発明は点群データに基づく車両輪郭検出方法を提供し、被訓練（訓練対象の）点群データを取得するステップと、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成するステップと、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップと、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップと、を含む。

【0007】

いくつかの実施形態において、被訓練点群データを取得するステップは、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点であるステップを含む。

【0008】

いくつかの実施形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、

【数1】

θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。

【0009】

いくつかの実施形態において、被訓練点群データ中の各点に対する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するステップは、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含む。

【0010】

いくつかの実施形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’_ｐ，ｙ’_ｐ，ｚ’_ｐ）は、

【数2】

であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の回転行列であり、

【数3】

である。

【0011】

いくつかの実施形態において、被訓練点群データおよび被訓練点群データに対応するタグデータに基づき、全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップは、全畳み込みニューラルネットワークのパラメータを初期化するステップと、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整するステップと、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含む。

【0012】

いくつかの実施形態において、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であるステップと、車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得するステップと、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定するステップと、を含む。

【0013】

いくつかの実施形態において、予測結果は被検出点の位置情報をさらに含み、
被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含む。

【0014】

第２態様によれば、本発明は、点群データに基づく車両輪郭検出装置をさらに提供し、被訓練点群データを取得するために構成される取得モジュールと、被訓練点群データ中の各点が車両輪郭に属するか否かを指示する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するために構成されるタグデータ生成モジュールと、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成される訓練モジュールと、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するために構成される検出モジュールと、を備える。

【0015】

いくつかの実施形態において、取得モジュールは、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。

【0016】

いくつかの実施形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、

【数4】

θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。

【0017】

いくつかの実施形態において、タグデータ生成モジュールは、さらに、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成される。

【0018】

いくつかの実施形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’_ｐ，ｙ’_ｐ，ｚ’_ｐ）は、

【数5】

であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の回転行列であり、そのうち、

【数6】

である。

【0019】

いくつかの実施形態において、訓練モジュールは、さらに、全畳み込みニューラルネットワークのパラメータを初期化し、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整し、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成される。

【0020】

いくつかの実施形態において、検出モジュールは、さらに、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であり、車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得し、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定するために構成される。

【0021】

いくつかの実施形態において、予測結果は被検出点の位置情報をさらに含み、
検出モジュールは、さらに、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するために構成される。

【発明の効果】

【0022】

本発明に係る点群データに基づく車両輪郭検出方法、および装置によれば、点群データ収集装置で収集された点群データおよびそれらの点群データに対する注記により全畳み込みニューラルネットワークモデルを訓練し、車両輪郭検出に好適な車両検出モデルを取得し、当該車両検出モデルを使用して点群データに車両輪郭が含まれるか否かを判定することにより、従来の二次元画像を利用して車両輪郭を検出する際に、車両の二次元寸法の変化に起因する検出難度および検出誤差を回避することができる。

【0023】

また、いくつかの実施形態において、本発明の技術案によれば、車両輪郭を検出するとともに車両の空間位置情報を直接取得することができ、それにより車両運転時の自動運転の経路計画および制御が容易になる。

【図面の簡単な説明】

【0024】

以下の図面を参照しながら行った非限定的な実施例に対する詳細な説明を読むことによって、本発明の他の特徴、目的および利点はより明らかになる。

【図1】本発明を適用可能な例示的なシステムのアーキテクチャ図である。

【図2】本発明に係る点群データに基づく車両輪郭検出方法の一実施例のフローチャートである。

【図3】図２における被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき、全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップの代替的な実現形態の模式的フローチャートである。

【図4】図２における被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップの代替的な実現形態の模式的フローチャートである。

【図5】本発明に係る点群データに基づく車両輪郭検出装置の一実施例の構成模式図である。

【図6】本発明の実施例を実現するための端末装置またはサーバに適用されるコンピュータシステムの構成模式図である。

【発明を実施するための形態】

【0025】

以下、図面および実施例を参照しながら本発明をより詳細に説明する。ここで説明する具体的な実施例は、かかる発明を説明するものに過ぎず、当該発明を限定するものではないと理解すべきである。ただし、説明の便宜上、図面に発明に関連する部分のみが示されている。

【0026】

なお、衝突しない場合、本発明の実施例および実施例の特徴を相互に組み合せてもよい。以下、図面および実施例を参照しながら本発明を詳細に説明する。

【0027】

図１は、本発明に係る点群データに基づく車両輪郭検出方法または点群データに基づく車両輪郭検出装置の実施例を適用可能な例示的なシステムアーキテクチャ１００である。

【0028】

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４およびサーバ１０５を備えてもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供することに用いられる。ネットワーク１０４は、様々な接続タイプ、例えば有線、無線通信リンクまたは光ファイバーケーブルなどを備えてもよい。

【0029】

ユーザは、端末装置１０１、１０２、１０３を用いてネットワーク１０４を介してサーバ１０５と対話してメッセージなどを送受信してもよい。

【0030】

いくつかの応用場面では、端末装置１０１、１０２、１０３は、点群データ収集機能を有する任意の電子機器であってもよい。例えば、端末装置１０１、１０２、１０３は、三次元レーザースキャナであってもよい。

【0031】

或いは、別のいくつかの応用場面では、端末装置１０１、１０２、１０３は、点群データ収集装置とデータ通信を行い、それにより点群データ収集装置で収集された点群データを取得してもよい。例えば、端末装置１０１、１０２、１０３は様々な電子機器であってもよく、スマートフォン、タブレットＰＣ、電子書籍リーダー、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ムービングピクチャーエクスパーツグループオーディオレイヤー３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ムービングピクチャーエクスパーツグループオーディオレイヤー４）プレーヤー、ラップトップポータブルコンピュータ、およびデスクトップコンピュータなどを含むが、それらに限定されない。

【0032】

サーバ１０５は、様々なサービスを提供するサーバ、例えば、端末装置１０１、１０２、１０３で取得された点群データを処理し分析するバックエンドサーバであってもよい。バックエンドサーバは、受信した点群データに対して分析などの処理を行い、処理結果（例えば、点群データに車両輪郭が含まれるか否か）を端末装置にフィードバックしてもよい。

【0033】

なお、本発明の実施例に係る点群データに基づく車両輪郭検出方法はサーバ１０５により実行されてもよく、端末装置１０１、１０２、１０３により実行されてもよい。それに対応して、点群データに基づく車両輪郭検出装置は、サーバ１０５に設置されてもよく、端末装置１０１、１０２、１０３に設置されてもよい。

【0034】

図１における端末装置、ネットワークおよびサーバの数は、例示的なものだけであると理解すべきである。必要に応じて、任意数の端末装置、ネットワーク、およびサーバを備えてもよい。

【0035】

次に、図２に示すように、本発明に係る点群データに基づく車両輪郭検出方法の一実施例のフロー２００を示す。前記点群データに基づく車両輪郭検出方法は、以下のステップを含む。

【0036】

ステップ２１０：被訓練点群データを取得する。

【0037】

本実施例では、点群データに基づく車両輪郭検出方法を実行する電子機器（例えば、図１に示すサーバまたは端末装置）は、有線接続方式または無線接続方式により、点群データ収集機能を有する装置から点群データを取得してもよい。ただし、前記無線接続形態は、３Ｇ／４Ｇ接続、ＷｉＦｉ接続、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）接続、ＷｉＭＡＸ接続、Ｚｉｇｂｅｅ（登録商標）接続、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅｂａｎｄ）接続、およびその他の現在知られているか未来に開発される無線接続形態を含んでもよいが、これらに限定されない。

【0038】

点群は、レーザーを利用して同一空間参照系で物体の表面の各サンプリング点の空間座標を取って得られたターゲット空間分布およびターゲット表面特性を表現する大量の点の集合である。つまり、カメラで撮影する写真と類似し、各点群はある場面画像に対応することができる。また、点群は当該場面画像における各物体の三次元モデルおよび線、面、体などの様々な情報を反映することができる。

【0039】

ステップ２２０：被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成する。

【0040】

いくつかの代替的な実現形態において、人工補助方式により、被訓練点群データ中の各点を注記し、それにより当該被訓練点群データ中の各点が車両輪郭に属するか否かを指示することができる。

【0041】

注記は各被訓練点群データ中の各点が車両輪郭に属するか否かを指示するためのものであるため、注記に基いて生成されたタグデータにも、車両輪郭に属するか否かの情報を含む。

【0042】

ステップ２３０：被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得する。

【0043】

一般的には、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）モデルの基本構造は、特徴抽出層、および特徴マッピング層の二層を含む。特徴抽出層については、各ニューロンの入力が前の層の局所採択域に接続され、かつ当該局所の特徴を抽出し、かつ、当該局所特徴が抽出されると、ほかの特徴との位置関係もそれに連れて決定される。特徴マッピング層については、ネットワークの各コンピューティング層が、複数の特徴マッピングからなり、各特徴マッピングは１つの平面であり、平面におけるすべてのニューロンの重みが等しい。

【0044】

いくつかの代替的な実現形態において、被訓練点群データをＣＮＮモデルに入力し、ＣＮＮモデルの出力と被訓練点群データに対応するタグデータとの偏差に基づき、ＣＮＮモデルのパラメータを反復的に調整し、それにより訓練後のＣＮＮモデルの出力と被訓練点群データに対応するタグデータとの偏差を最小化するようにしてもよい。

【0045】

ステップ２４０：被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得する。

【0046】

上記ステップ２１０〜ステップ２４０により、車両検出モデルを取得することができる。このステップ２４０では、被検出点群データ中の各被検出点を車両検出モデルに入力することにより、当該被検出点群データに車両輪郭が含まれるか否かを検出することができる。本実施例に係る点群データに基づく車両輪郭検出方法によれば、三次元の点群データを検出根拠とするため、従来の二次元画像を利用して車両輪郭を検出する際に車両の二次元寸法の変化に起因した検出難度および検出誤差を回避することができる。

【0047】

いくつかの代替的な実現形態において、被訓練点群データを取得するステップ２１０は、以下のステップをさらに含んでもよい。

【0048】

ステップ２１１：点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。

【0049】

これらの代替的な実現形態の応用場面では、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であってもよい。被訓練三次元データＤに基づいて取得された被訓練奥行きマップでは、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）である。
そのうち、

【数7】

（１）
つまり、当該奥行きマップでは、第ｒ行第ｃ列の位置の数値が（ｄ，ｚ）である。
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面である。つまり、θは垂直面に対する各被訓練三次元データＤの「ヨー角」と見なされてもよい。

【0050】

φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。つまり、φは水平面に対する各被訓練三次元データＤの「ピッチ角」である。

【0051】

また、ａｔａｎ２（ｙ，ｘ）の意味は、座標原点を開始点とし（ｘ，ｙ）点へ延びる半直線がｘ軸およびｙ軸から構成される座標平面でｘ軸の正方向とのなす角の角度である。

【0052】

いくつかの代替的な実現形態において、被訓練点群データ集合中の各被訓練点群データに対する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するステップ２２０は、以下のステップを含んでもよい。

【0053】

ステップ２２１：被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成する。

【0054】

ステップ２２２：被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成する。

【0055】

つまり、被訓練点群データ中のある点が車両輪郭に属するか否かにかかわらず、その取得される二次元タグデータにおいて、第１チャネルの数値は、当該点が車両輪郭に属する確率を表し、第２チャネルの数値は当該点が車両輪郭に属しない確率を表すことができる。第１チャネルの数値と第２チャネルの数値がいずれも非負の数であり、かつ第１チャネルの数値と第２チャネルの数値との和が１であることが明らかにされる。

【0056】

これらの代替的な実現形態の応用場面では、被訓練点群データは、車両輪郭に属するか否かを明確に判定できない点を含む可能性がある。これらの応用場面では、それらの点に対応する二次元タグデータにおける第１チャネルと第２チャネルに適切な数値を設定することにより、当該点が車両輪郭に属する可能性を表すようにしてもよい。

【0057】

いくつかの代替的な実現形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’_ｐ，ｙ’_ｐ，ｚ’_ｐ）は、以下の式（２）で表されてもよい。

【0058】

具体的には、

【数8】

（２）
であり、式中、
Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の回転行列であり、かつ、

【数9】

である。

【0059】

ここで、θ_ｉおよびφ_ｉは、式（１）のθおよびφと類似する意味を有してもよい。つまり、θ_ｉは車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と原点とを結ぶ線と第１の平面のなす角であり、第１の平面はｙ軸、ｚ軸から構成される平面である。φ_ｉは車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と原点とを結ぶ線と第２の平面のなす角であり、第２の平面はｘ軸、ｙ軸から構成される平面である。

【0060】

いくつかの代替的な実現形態において、本実施例に係る点群データに基づく車両輪郭検出方法のステップ２３０は、さらに図３に示すようなフロー３００により実現されてもよい。

【0061】

ステップ３１０：全畳み込みニューラルネットワークのパラメータを初期化する。

【0062】

ステップ３２０：損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整する。
ここで、損失関数は、現在出力と被訓練点群データに対応するタグデータとの偏差であってもよい。現在出力は、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である。

【0063】

ステップ３３０：現在出力に対応する損失関数が最小値であるか否かを判断する。
そうである場合（Ｙ）、ステップ３４０において、偏差に対応するパラメータを車両検出モデルのパラメータとして出力する。
そうでなく、現在出力に対応する損失関数が最小値ではない場合（Ｎ）、損失関数が最小値になったまで、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップ３２０を繰り返して実行する。

【0064】

いくつかの代替的な実現形態において、被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップ２４０は、さらに図４に示すようなフロー４００により実現されてもよい。

【0065】

ステップ４１０：点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点である。いくつかの代替的な実現形態において、前記の式（１）により点群データ収集装置で収集された被検出三次元データに対応する被検出奥行きマップを取得してもよい。

【0066】

ステップ４２０：車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得する。

【0067】

ステップ４３０：被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定する。

【0068】

いくつかの代替的な実現形態において、予測結果は、被検出点の位置情報をさらに含んでもよい。

【0069】

これらの実現形態において、フロー４００は、以下のステップをさらに含んでもよい。

【0070】

ステップ４４０：被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成する。

【0071】

ステップ４５０：第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成する。

【0072】

いくつかの応用場面において、被検出点群データを車両検出モデルに入力した後、取得する検出結果は、被訓練点群データの車両輪郭に属する点の二次元タグデータと同様な表現形式を有してもよい。つまり、検出結果は、同様に２６個のチャネルを有し、第１チャネルの数値は、現在の車両検出モデルに基づき、当該被検出点が車両輪郭に属する確率を表し、第２チャネルの数値は、現在の車両検出モデルに基づいて当該被検出点が車両輪郭に属しない確率を表す。第３〜２６チャネルの値は、当該被検出点の空間位置を表すために用いられてもよい。

【0073】

このようにして、被検出点群データの検出結果における第１チャネルの数値が所定閾値より大きい被検出点を車両輪郭に属する点とし、例えばデータ融合技術により、それらの車両輪郭に属する点の空間位置に基づき、当該被検出点群データにおける車両の位置を復元することができる。

【0074】

本発明の上記実施例に係る方法は、点群データ収集装置で収集される点群データおよびそれらの点群データに対する注記により、全畳み込みニューラルネットワークモデルを訓練し、車両輪郭検出に適用できる車両検出モデルを取得し、当該車両検出モデルを使用して点群データに車両輪郭が含まれるか否かを判定することにより、従来の二次元画像を利用して車両輪郭を検出する際に車両の二次元寸法の変化に起因した検出難度および検出誤差を回避することができる。

【0075】

さらに、図５を参照し、本発明は、上記各図に示す方法の実現形態として、点群データに基づく車両輪郭検出装置の一実施例を提供した。当該装置の実施例は、図２に示す方法の実施例に対応しており、当該装置は、具体的に様々な電子機器に適用されてもよい。

【0076】

図５に示すように、本実施例に係る装置５００は、取得モジュール５１０、タグデータ生成モジュール５２０、訓練モジュール５３０および検出モジュール５４０を備える。

【0077】

そのうち、取得モジュール５１０は、被訓練点群データを取得するために構成されてもよい。

【0078】

タグデータ生成モジュール５２０は、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成するために構成されてもよい。

【0079】

訓練モジュール５３０は、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成されてもよい。

【0080】

検出モジュール５４０は、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するために構成されてもよい。

【0081】

いくつかの代替的な実現形態において、取得モジュール５１０は、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成するために構成されてもよく、そのうち、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。

【0082】

いくつかの代替的な実現形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、

【数10】

θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。

【0083】

いくつかの代替的な実現形態において、タグデータ生成モジュール５２０は、さらに、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成されてもよい。

【0084】

いくつかの代替的な実現形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’_ｐ，ｙ’_ｐ，ｚ’_ｐ）は、

【数11】

であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の回転行列であり、かつ、

【数12】

である。

【0085】

いくつかの代替的な実現形態において、訓練モジュール５３０は、さらに、全畳み込みニューラルネットワークのパラメータを初期化し、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整し、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成されてもよい。

【0086】

いくつかの代替的な実現形態において、検出モジュール５４０は、さらに、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であり、車両検出モデルに基づき、被検出点群データ中の各被検出点の予測結果を取得するために構成されてもよい。

【0087】

ここで、予測結果は、被検出点が車両輪郭に属する確率を含んでもよく、かつ、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定する。

【0088】

いくつかの代替的な実現形態において、予測結果は、被検出点の位置情報をさらに含んでもよい。

【0089】

これらの実現形態において、検出モジュール５４０は、さらに、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するために構成されてもよい。

【0090】

上記点群データに基づく車両輪郭検出装置５００は、例えば、プロセッサ、メモリなどのいくつかの他の公知の構造をさらに備えてもよく、本発明の実施例を曖昧にすることを回避するために、これらの公知の構造を図５に示しなかったことを、当業者は理解することができる。

【0091】

以下、本発明の実施例を実現するための端末装置またはサーバに適用されるコンピュータシステム６００を示す構造模式図である図６を参照する。

【0092】

図６に示すように、コンピュータシステム６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているプログラムまたは記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、システム６００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

【0093】

キーボード、マウスなどを含む入力部６０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部６０７、ハードディスクなどを含む記憶部６０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部６０９は、Ｉ／Ｏインターフェース６０５に接続されている。通信部６０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ６１０は、必要に応じてＩ／Ｏインターフェース６０５に接続される。リムーバブルメディア６１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ６１０に取り付けられ、したがって、ドライバ６１０から読み出されたコンピュータプログラムが必要に応じて記憶部６０８にインストールされる。

【0094】

特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部６０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア６１１からインストールされてもよい。

【0095】

図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。

【0096】

本発明の実施例に記載されたモジュールは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたモジュールは、プロセッサに設定されてもよく、例えば、「取得モジュール、タグデータ生成モジュール、訓練モジュール、および検出モジュールを備えるプロセッサ」として記載されてもよい。その中でも、これらのモジュールの名称は、ある場合において当該モジュールその自体を限定するものではなく、例えば、取得モジュールは、「被訓練点群データを取得するモジュール」として記載されてもよい。

【0097】

一方、本発明は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合、前記機器に、被訓練点群データを取得し、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成し、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、かつ、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせる。

【0098】

以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】