特許 7189908 歩行者検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-06

(45)【発行日】2022-12-14

(54)【発明の名称】歩行者検出方法及び装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20221207BHJP

   G08G 1/01 20060101ALI20221207BHJP

   G08G 1/16 20060101ALN20221207BHJP

【ＦＩ】

G06T7/20 300Z

G08G1/01 F

G08G1/16 C

【請求項の数】 9

【外国語出願】

(21)【出願番号】P 2020108726

(22)【出願日】2020-06-24

(65)【公開番号】P2021064349

(43)【公開日】2021-04-22

【審査請求日】2020-10-15

(31)【優先権主張番号】201910962343.9

(32)【優先日】2019-10-11

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100218604

【弁理士】

【氏名又は名称】池本 理絵

(72)【発明者】

【氏名】リウ，シァン

(72)【発明者】

【氏名】ガオ，ビン

(72)【発明者】

【氏名】ジャン，シュアン

(72)【発明者】

【氏名】ヂュ，シャオシン

(72)【発明者】

【氏名】シュエ，ジンジン

(72)【発明者】

【氏名】ワン，ジュンピン

(72)【発明者】

【氏名】ワン，チェンファ

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１２－２１５５５５（ＪＰ，Ａ）

【文献】特開２０１２－１４５４４４（ＪＰ，Ａ）

【文献】米国特許第０９３３６４３６（ＵＳ，Ｂ１）

【文献】倉島 一輝、大川 一也，“ＬＩＤＡＲからの三次元情報に基づく深層学習での明暗に強い物体認識”，第３４回日本ロボット学会学術講演会予稿集，日本，一般社団法人 日本ロボット学会，2016年09月07日，pp.1109-1112

【文献】Ziqing Chen et al.，"SVM based people counting method in the corridor scene using a single-layer laser scanner"，2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)，米国，IEEE，2016年11月01日，pp.2632-2637

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｇ０８Ｇ １／０１，１／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

サーバまたは自動運転車両によって実行される歩行者検出方法であって、
歩行者の点群データを含む点群フレームを取得するステップと、
前記歩行者の点群データを地上座標系に投影して、歩行者の投影点データを取得するステップと、
前記投影点データの位置分布に基づいて、前記歩行者の両肩を結んだラインの方向を確定するステップと、
前記歩行者の両肩を結んだラインの方向に基づいて、前記歩行者の点群データから、前記歩行者の移動時の形態変化幅が前記歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出するステップと、
複数の連続する点群フレームにおける前記安定領域の点群の中心点の座標に基づいて、前記歩行者の運動情報を確定するステップと、を含み、
前記投影点データの位置分布に基づいて、前記歩行者の両肩を結んだラインの方向を確定するステップは、
前記歩行者の投影点データの中心点を確定し、各投影点と前記投影点データの中心点との距離に基づいて距離行列を構築するステップと、
前記距離行列に基づいて、各投影点と前記投影点データの中心点との距離の分散変化率が最大となる方向を確定するステップと、
前記各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を第１の方向とし、前記第１の方向に基づいて、各投影点と前記投影点データの中心点との距離の分散変化率が最小となる方向を第２の方向として確定するステップと、
前記第１の方向における各投影点と投影点データの中心点との距離の分散と、前記第２の方向における各投影点と投影点データの中心点との距離の分散との差が予め設定された分散閾値よりも大きいと判断されたことに応答して、前記第１の方向を前記歩行者の両肩を結んだラインの方向とするステップと、を含むことを特徴とする、歩行者検出方法。

【請求項2】

各投影点と前記投影点データの中心点との距離に基づいて距離行列を構築するステップは、
各投影点と前記投影点データの中心点との距離を正規化し、正規化された距離に基づいて前記距離行列を構築するステップを含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記歩行者の両肩を結んだラインの方向に基づいて、前記歩行者の点群データから、安定領域の点群を抽出するステップは、
前記歩行者の点群から、前記歩行者の両肩を結んだラインの方向における前記投影点データの中心点との距離が予め設定された距離閾値を超える投影点に対応する３次元データ点をフィルタリングし、前記歩行者の安定領域の点群を取得するステップを含むことを特徴とする、請求項１または２に記載の方法。

【請求項4】

歩行者の点群データを含む点群フレームを取得するように構成された取得ユニットと、
前記歩行者の点群データを地上座標系に投影して、歩行者の投影点データを取得するように構成された投影ユニットと、
前記投影点データの位置分布に基づいて、前記歩行者の両肩を結んだラインの方向を確定するように構成された第１の確定ユニットと、
前記歩行者の両肩を結んだラインの方向に基づいて、前記歩行者の点群データから、前記歩行者の移動時の形態変化幅が前記歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出するように構成された抽出ステップと、
複数の連続する点群フレームにおける前記安定領域の点群の中心点の座標に基づいて、前記歩行者の運動情報を確定するように構成された第２の確定ユニットと、を含み、
前記第１の確定ユニットはさらに、
前記歩行者の投影点データの中心点を確定し、各投影点と前記投影点データの中心点との距離に基づいて距離行列を構築し、
前記距離行列に基づいて、各投影点と前記投影点データの中心点との距離の分散変化率が最大となる方向を確定し、
前記各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を第１の方向とし、前記第１の方向に基づいて、各投影点と前記投影点データの中心点との距離の分散変化率が最小となる方向を第２の方向として確定し、
前記第１の方向における各投影点と投影点データの中心点との距離の分散と、前記第２の方向における各投影点と投影点データの中心点との距離の分散との差が予め設定された分散閾値よりも大きいと判断されたことに応答して、前記第１の方向を前記歩行者の両肩を結んだラインの方向とするように構成されることを特徴とする、歩行者検出装置。

【請求項5】

前記第１の確定ユニットはさらに、
各投影点と前記投影点データの中心点との距離を正規化し、正規化された距離に基づいて前記距離行列を構築するように構成されていることを特徴とする、請求項４に記載の装置。

【請求項6】

前記抽出ユニットはさらに、
前記歩行者の点群から、前記歩行者の両肩を結んだラインの方向における前記投影点データの中心点との距離が予め設定された距離閾値を超える投影点に対応する３次元データ点をフィルタリングし、前記歩行者の安定領域の点群を取得するように構成されていることを特徴とする、請求項４または５に記載の装置。

【請求項7】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムが記憶されている記憶装置と、を含む電子機器であって、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサが請求項１～３のいずれか一項に記載の方法を実施する電子機器。

【請求項8】

コンピュータプログラムが記憶されているコンピュータ可読媒体であって、
前記プログラムがプロセッサによって実行されると、請求項１～３のいずれか一項に記載の方法を実施するコンピュータ可読媒体。

【請求項9】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１～３のいずれか一項に記載の方法を実現する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、コンピュータ技術分野、具体的には自動運転技術分野、特に歩行者検出方法及び装置に関するものである。

【背景技術】

【0002】

自動運転シーンでは通常、車載ライダーを用いて道路環境を感知する。道路環境における他の参加主体は主に車両と歩行者を含む。車両は通常、安定した構造を有しており、その形態が移動軌跡によって変化することはなく、走行経路が一般的にレーンライン方向に沿った経路である。一方、歩行者の歩行中の姿勢がゆらぐことが多く、その歩行自由度が大きいため、歩行者の運動状態の検出精度を向上させることで、自動運転車両の走行安全を有効に保障することができる。

【発明の概要】

【0003】

本開示の実施形態は、歩行者検出方法及び装置、電子機器及びコンピュータ可読媒体を提案する。

【0004】

第１態様において、本開示の実施形態は、歩行者検出方法であって、歩行者の点群データを含む点群フレームを取得するステップと、歩行者の点群データを地上座標系に投影して、歩行者の投影点データを取得するステップと、投影点データの位置分布に基づいて、歩行者の両肩を結んだラインの方向を確定するステップと、歩行者の両肩を結んだラインの方向に基づいて、歩行者の点群データから、歩行者の移動時の形態変化幅が歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出するステップと、複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて、歩行者の運動情報を確定するステップと、を含む歩行者検出方法を提供する。

【0005】

いくつかの実施形態において、上記投影点データの位置分布に基づいて、歩行者の両肩を結んだラインの方向を確定するステップは、歩行者の投影点データの中心点を確定し、各投影点と投影点データの中心点との距離に基づいて距離行列を構築するステップと、距離行列に基づいて、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を確定し、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向に基づいて、歩行者の両肩を結んだラインの方向を確定するステップと、を含む。

【0006】

いくつかの実施形態において、上記各投影点と投影点データの中心点との距離に基づいて距離行列を構築するステップは、各投影点と投影点データの中心点との距離を正規化し、正規化された距離に基づいて距離行列を構築するステップを含む。

【0007】

いくつかの実施形態において、上記各投影点と投影点データの中心点との距離の分散変化率が最大となる方向に基づいて、歩行者の両肩を結んだラインの方向を確定するステップは、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を第１の方向とし、第１の方向に基づいて、各投影点と投影点データの中心点との距離の分散変化率が最小となる方向を第２の方向として確定するステップと、第１の方向における各投影点と投影点データの中心点との距離の分散と、第２の方向における各投影点と投影点データの中心点との距離の分散との差が予め設定された分散閾値よりも大きいと判断されたことに応じて、第１の方向が歩行者の両肩を結んだラインの方向であると確定するステップと、を含む。

【0008】

いくつかの実施形態において、上記歩行者の両肩を結んだラインの方向に基づいて、歩行者の点群データから、安定領域の点群を抽出するステップは、歩行者の点群から、歩行者の両肩を結んだラインの方向における投影点データの中心点との距離が予め設定された距離閾値を超える投影点に対応する３次元データ点をフィルタリングし、歩行者の安定領域の点群を取得するステップを含む。

【0009】

第２態様において、本開示の実施形態は、歩行者検出装置であって、歩行者の点群データを含む点群フレームを取得するように構成された取得ユニットと、歩行者の点群データを地上座標系に投影して、歩行者の投影点データを取得するように構成された投影ユニットと、投影点データの位置分布に基づいて、歩行者の両肩を結んだラインの方向を確定するように構成された第１の確定ユニットと、歩行者の両肩を結んだラインの方向に基づいて、歩行者の点群データから、歩行者の移動時の形態変化幅が歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出するように構成された抽出ステップと、複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて、歩行者の運動情報を確定するように構成された第２の確定ユニットと、を含む歩行者検出装置を提供する。

【0010】

いくつかの実施形態において、上記第１の確定ユニットはさらに、歩行者の投影点データの中心点を確定し、各投影点と投影点データの中心点との距離に基づいて距離行列を構築し、距離行列に基づいて、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を確定し、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向に基づいて、歩行者の両肩を結んだラインの方向を確定するように構成されている。

【0011】

いくつかの実施形態において、上記第１の確定ユニットはさらに、各投影点と投影点データの中心点との距離を正規化し、正規化された距離に基づいて距離行列を構築するように構成されている。

【0012】

いくつかの実施形態において、上記第１の確定ユニットはさらに、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を第１の方向とし、第１の方向に基づいて、各投影点と投影点データの中心点との距離の分散変化率が最小となる方向を第２の方向として確定し、第１の方向における各投影点と投影点データの中心点との距離の分散と、第２の方向における各投影点と投影点データの中心点との距離の分散との差が予め設定された分散閾値よりも大きいと判断されたことに応じて、第１の方向が歩行者の両肩を結んだラインの方向であると確定するように構成されている。

【0013】

いくつかの実施形態において、抽上記出ユニットはさらに、歩行者の点群から、歩行者の両肩を結んだラインの方向における投影点データの中心点との距離が予め設定された距離閾値を超える投影点に対応する３次元データ点をフィルタリングし、歩行者の安定領域の点群を取得するように構成されている。

【0014】

第３態様において、本開示の実施形態は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶されている記憶装置と、を含む電子機器であって、１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサが第１態様に記載の方法を実施する電子機器を提供する。

【0015】

第４態様において、本開示の実施形態は、コンピュータプログラムが記憶されているコンピュータ可読媒体であって、プログラムがプロセッサによって実行されると、第１態様に記載の方法を実施するコンピュータ可読媒体を提供する。

【0016】

本開示の上記実施形態に係る歩行者検出方法及び装置、電子機器及びコンピュータ可読媒体は、歩行者の点群データを含む点群フレームを取得し、歩行者の点群データを地上座標系に投影して歩行者の投影点データを取得し、投影点データの位置分布に基づいて歩行者の両肩を結んだラインの方向を確定し、歩行者の両肩を結んだラインの方向に基づいて歩行者の点群データから歩行者の移動時の形態変化幅が歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出し、複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて歩行者の運動情報を確定することで、歩行者の歩行中の身体姿勢変化による歩行者の運動状態の検出精度への影響を低減し、歩行者の運動状態を正確に検出することができる。

【図面の簡単な説明】

【0017】

以下の図面を参照して作成された非限定的な実施形態の詳細な説明を読むことによって、本開示の他の特徴、目的、及び利点は、より明らかになるであろう。

【図1】本開示の実施形態が適用できる例示的なシステムアーキテクチャである。

【図2】本開示に係る歩行者検出方法の一実施形態のフローチャートである。

【図3】歩行者の投影点データ分布の概略図である。

【図4】本開示に係る歩行者検出方法の別の実施形態のフローチャートである。

【図5】本開示に係る歩行者検出装置の一実施形態を示す概略構成図である。

【図6】本開示の実施形態を実施するための電子機器に適するコンピュータシステムを示す概略構成図である。

【発明を実施するための形態】

【0018】

以下、図面及び実施形態を参照しながら、本開示についてさらに詳細に説明する。本明細書で説明される具体的な実施形態は、関連発明を説明するためにのみ使用され、その発明を限定するものではないことを理解されたい。また、説明を容易にするために、関連発明に係る部分のみを図面に示している。

【0019】

なお、競合しないことを前提に、本開示の実施形態及び実施形態における特徴を相互に組み合わせることができる。以下、本開示について図面を参照し、実施形態に関連して詳細に説明する。

【0020】

図１は、本開示に係る歩行者検出方法又は歩行者検出装置を適用することができる例示的なシステムアーキテクチャ１００を示す。

【0021】

図１に示すように、システムアーキテクチャ１００は、自動運転車両１０１、ネットワーク１０２、及びサーバ１０３を含むことができる。ネットワーク１０２は、自動運転車両１０１とサーバ１０３との間に通信リンクを提供する媒体として使用される。ネットワーク１０２は、有線、無線通信リンク、又は光ファイバケーブルなどの様々な接続タイプを含むことができる。

【0022】

自動運転車両１０１には、自動運転車両の周辺環境の点群データを収集するためのライダー１０１１が設置されることが可能である。さらに、自動運転車両１０１には、自動運転車両１０１により感知されたデータを処理し、運転決定などを行うための処理ユニット１０１２が設置されることも可能である。

【0023】

自動運転車両１０１は、ネットワーク１０２を介してサーバ１０３と対話し、サーバ１０３にデータを送信したり、サーバ１０３からデータを受信したりすることができる。サーバ１０３は、自動運転車両１０１にバックグラウンドサポートを提供するサーバであってもよく、自動運転車両１０１により感知された環境データを分析処理し、分析処理の結果を自動運転車両にフィードバックすることができる。

【0024】

本開示の応用シーンでは、自動運転車両１０１は、処理ユニット１０１２を介してライダー１０１１で収集したデータ点群データをサーバ１０３に送信することができる。サーバ１０３は、受信したデータ点群データに基づいて障害物検出及び識別を行い、検出及び識別の結果を自動運転車両１０１にフィードバックすることができる。自動運転車両１０１は、障害物検出及び識別の結果に基づいて運転決定を行うことができる。あるいは、サーバ１０３は、障害物検出及び識別の結果に基づいて運転決定を行い、決定指令を自動運転車両１０１にフィードバックすることもできる。

【0025】

なお、サーバ１０３はハードウェアであってもよく、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合、複数のサーバからなる分散サーバクラスタとして実施することもできれば、単一のサーバとして実施することもできる。サーバ１０３がソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するために使用される）として実施することもできれば、単一のソフトウェア又はソフトウェアモジュールとして実施することもできる。ここでは具体的な限定はしない。

【0026】

本開示の実施形態で提供される歩行者検出方法は、サーバ１０３によって実行されることが可能である。したがって、歩行者検出装置をサーバ１０３に設置することができる。

【0027】

あるいは、本開示の実施形態で提供される歩行者検出方法は、自動運転車両１０１に搭載された処理ユニット１０１２によって実行されることも可能である。したがって、歩行者検出装置を、自動運転車両１０１に搭載された処理ユニット１０１２に設置することができる。

【0028】

図１における自動運転車両、ネットワーク、サーバ、ライダー、処理ユニットの数は概略的なものにすぎないことを理解されたい。実施の必要に応じて、任意の数の自動運転車両、ネットワーク、サーバ、ライダー、処理ユニットを有することができる。

【0029】

図２を参照すると、本開示に係る歩行者検出方法の一実施形態のフロー２００が示されている。この歩行者検出方法は、以下のステップ（ステップ２０１～２０５）を含む。

【0030】

ステップ２０１：歩行者の点群データを含む点群フレームを取得する。

【0031】

本実施形態では、歩行者検出方法の実行主体は、まず、車載ライダーによって収集された道路点群フレームを取得することができる。上記道路点群フレームは、車載ライダーが道路環境のレーザ反射値を収集して得られた点群シーケンスにおける１フレームの点群である。車載ライダーは通常、周辺の環境を一定の頻度で走査し、走査周期ごとに１つの点群フレームを形成する。自動運転車両が走行中に、車載ライダーは周期的にレーザを発射し、反射情報を受信して複数の道路点群フレームを順次生成することができる。

【0032】

上記実行主体は、車載ライダーと直接接続して、車載ライダーによって収集された点群フレームをリアルタイムに取得することができる。又は、他の装置や記憶ユニットから、記憶されている道路点群シーケンスにおける点群フレームを取得することができる。

【0033】

そして、取得した道路点群フレームを分析し、歩行者の点群データが含まれているか否かを判断し、歩行者の点群データを含む点群フレームを取得することができる。一般的に道路環境は複雑であり、収集されたレーザ点群データには、レーンライン、道路標識、速度制限標識、信号機などの交通標識のデータ点が含まれるほか、歩行者、車両など他の交通参加者のデータ点群も含まれ得る。本実施形態では、道路点群フレームにおける３次元データ点をクラスタリングして分割し、分割した領域ごとに特徴抽出を行い、その中に歩行者の輪郭を特徴付ける点群、すなわち歩行者の点群データが含まれているか否かを識別することができる。ここで、抽出された特徴を歩行者の幾何的特徴に基づいてマッチングすることにより、歩行者の点群データを識別することができる。

【0034】

あるいは、深層学習に基づく方法を用いて、道路点群フレームに歩行者の点群データが含まれているか否かを識別することもできる。例えば、トレーニングされた深層ニューラルネットワークを用いて、道路点群フレームにおける対象を分類し、歩行者の点群データを識別することができる。

【0035】

上記実行主体は、歩行者の点群データを含む点群フレームを、他の電子機器やデータベースから直接取得することもできる。例えば、他の電子機器は、まず車載ライダーによって収集された３次元点群データについて歩行者を初期識別した後、歩行者の点群データを含む点群フレームをマークすることができる。上記実行主体は、他の電子機器と接続して、歩行者の点群データを含む点群フレームを取得することができる。

【0036】

ステップ２０２：歩行者の点群データを地上座標系に投影して、歩行者の投影点データを取得する。

【0037】

本実施形態では、上記点群フレームから歩行者の点群データを抽出することができる。例えば、上記点群フレームから、クラスタリングして得られた歩行者を特徴付ける点群のクラスターを分割することができる。そして、歩行者の３次元点群データを地上座標系に投影し、すなわち、歩行者の点群データにおけるデータ点ごとの３次元座標を２次元座標に変換して、歩行者の投影点データを取得する。投影点データにおける各２次元投影点は、上記歩行者の点群データにおける各３次元データ点と１対１対応する。

【0038】

実際には、歩行者の点群データの３次元座標は通常、世界座標系ＸＹＺを用いており、３次元座標におけるＺ軸の座標を直接除去して、地上座標系に投影した投影データ点を取得することができる。

【0039】

ステップ２０３：投影点データの位置分布に基づいて、歩行者の両肩を結んだラインの方向を確定する。

【0040】

人体の輪郭特徴により、頭部を特徴付けるデータ点を除いて、歩行者の投影データ点は両肩を結んだラインに沿って狭い区間に分布している。図３は歩行者の投影データ点の一例を模式的に示す概略図であり、Ｍ方向が両肩を結んだラインの方向である。

【0041】

本実施形態では、歩行者の投影点データの位置分布を統計的に解析することにより、歩行者の両肩を結んだラインの方向を確定することができる。

【0042】

いくつかのオプションの実施方法では、歩行者の投影点データについてダウンサンプリングを行い、ダウンサンプリングによって得られたサンプリングデータ点についてフィッティング又は反復を行って、サンプリングデータ点との間の距離の総和又は分散が最小になるような直線を見つけることができる。一例として、ダウンサンプリングによって得られたサンプリングデータ点について、まず、２つのランダムに選択されたサンプリングデータ点を結んだラインを初期推定された直線とし、そして、新たなサンプリングデータ点を選択し、新たに追加されたデータ点に基づいて、加えられたすべてのサンプリングデータ点との距離の総和が最小となるように直線の方向を調整し、その後、新たなサンプリングデータ点を順次加えて直線の方向を調整する。すべてのサンプリングデータ点が演算に加えられた後、調整して得られた直線の方向は、フィッティングされた両肩を結んだラインの方向である。

【0043】

ステップ２０４：歩行者の両肩を結んだラインの方向に基づいて、歩行者の点群データから安定領域の点群を抽出する。

【0044】

ここで、安定領域の歩行者移動時の形態変化幅は、歩行者の他の領域の形態変化幅よりも小さい。本実施形態では、歩行中の人体における形態変化幅が予め設定された範囲よりも小さい部分を安定領域とすることができる。人体の各部位では、頭部、肩、体幹の姿勢変化幅が小さく、四肢の姿勢変化幅が大きいことが言うまでもない。頭部、肩、体幹を安定領域とし、これらの安定領域の点群を抽出することができる。

【0045】

上記歩行者の投影点データでは、頭部領域と肩領域の境界に明らかな分布の差がある。先験的な投影点分布差分知識に基づいて投影点データにおける頭部領域を特徴付ける投影点を抽出し、頭部領域のエッジから上記両肩を結んだラインの方向に沿って頭部エッジから外に向かって予め設定された距離内の投影点をとり、抽出された安定領域の投影点とすることができる。この予め設定された距離は、人体の頭幅と肩幅の統計データに基づいて設定されることが可能である。例えば、投影データ点における頭部領域の投影点に基づいて頭幅を算出し、かつ頭幅／（頭幅＋２×予め設定された距離）＜（人体統計データにおける頭肩幅の比）を満たす範囲内で設定することができる。これにより、腕の投影点データをすべて抽出された安定領域に取り入れることをしないように保証される。その後、安定領域の投影点を歩行者の点群データにマッピングして、安定領域の点群を取得する。

【0046】

本実施形態のいくつかのオプションの実施方法では、歩行者の点群から、歩行者の両肩を結んだラインの方向における投影点データの中心点との距離が予め設定された距離閾値を超える投影点に対応する３次元データ点をフィルタリングして、歩行者の安定領域の点群を取得することができる。この予め設定された距離閾値は、統計して得られた腕と頭部の中心との間の横方向の距離を超えない値とすることができる。

【0047】

具体的には、上記オプションの実施方法では、まず、投影点データの中心点の座標を特定し、その後、前記歩行者の両肩を結んだラインの方向における各投影点と前記投影点データの中心点との間の距離を算出し、前記歩行者の両肩を結んだラインの方向における各投影点と投影点データの中心点との間の距離が予め設定された距離閾値よりも大きいか否かを判断することが可能である。大きければ、その投影点に対応する３次元データ点をフィルタリングする。そうでなければ、その投影点に対応する３次元データ点を保留する。これにより、中心点から遠い腕や手など、両肩を結んだラインの方向において中心点から離れた身体部位のデータ点をフィルタリングすることができる。

【0048】

さらに、歩行者の投影点ごとに、両肩を結んだラインの方向に垂直な方向におけるその投影点の距離を計算することもできる。この距離が予め設定された両肩を結んだラインの方向に垂直な方向に対応する閾値を超える場合には、歩行者の点群におけるその投影点に対応する３次元データ点をフィルタリングすることもできる。これにより、さらに脚部と足の点群データをフィルタリングし、抽出された安定領域をより正確にすることができる。

【0049】

ステップ２０５：複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて、歩行者の運動情報を確定する。

【0050】

各点群フレームについて、抽出された歩行者の安定領域の点群の中心点の座標を算出し、対応する点群フレームを収集した時点での歩行者の位置座標とすることができる。安定領域内のすべての点の座標を平均して平均点の座標を取得し、中心点の座標とすることができる。あるいは、すべての点の座標を平均して平均点の座標を取得した後、安定領域における平均点に最も近い１点を中心点とし、この平均点に最も近い１点の座標を中心点の座標とすることができる。

【0051】

運動情報は、運動方向及び／又は運動軌跡を含むことができる。各点群フレームにおける歩行者の安定領域の中心点の座標を歩行者の位置座標とし、複数の連続するフレームにおける歩行者の位置座標に基づいて歩行者の位置変化の方向を確定することにより、歩行者の運動方向を確定することができる。あるいは、複数の連続する点群フレームにおける１フレームあたりの収集時間を取得し、各フレームにおける歩行者の安定領域の中心点の座標と対応する収集時間とを関連付けて、歩行者の運動軌跡を形成することができる。

【0052】

上記運動情報はさらに移動速度を含むことができる。点群フレームにおける歩行者の安定領域の中心点の移動距離及び各点群フレームの収集時間に基づいて、安定領域の中心点の移動速度を計算して、歩行者の移動速度とすることができる。ここで、各点群フレームの収集時間は、ライダーによって収集された生データから取得することができ、中心点の移動距離は、対応するフレームにおける中心点の座標に基づいて算出することができる。

【0053】

本開示に係る上記実施形態の歩行者検出方法は、歩行者の点群データを含む点群フレームを取得し、歩行者の点群データを地上座標系に投影して歩行者の投影点データを取得し、投影点データの位置分布に基づいて歩行者の両肩を結んだラインの方向を確定し、歩行者の両肩を結んだラインの方向に基づいて歩行者の点群データから歩行者の移動時の形態変化幅が歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出し、複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて歩行者の運動情報を確定することで、歩行者の歩行中の身体姿勢変化による歩行者の運動状態の検出精度への影響を低減し、歩行者の運動状態を正確に検出することができる。

【0054】

次に、本開示に係る歩行者検出方法の別の実施形態のフローチャート概略図が示されている図４を参照する。図４に示すように、本実施形態の歩行者検出方法のフロー４００は、以下のステップ（ステップ４０１～４０５）を含む。

【0055】

ステップ４０１：歩行者の点群データを含む点群フレームを取得する。

【0056】

ステップ４０２：歩行者の点群データを地上座標系に投影して、歩行者の投影点データを取得する。

【0057】

本実施形態のステップ４０１、ステップ４０２は、それぞれ上記実施形態のステップ２０１、ステップ２０２と一致しており、ステップ４０１、ステップ４０２の具体的な実施方法は、上記実施形態におけるステップ２０１、ステップ２０２のそれぞれの説明を参照すればよい。ここでは省略する。

【0058】

ステップ４０３：歩行者の投影点データの中心点を確定し、各投影点と投影点データの中心点との距離に基づいて距離行列を構築し、距離行列に基づいて各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を確定し、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向に基づいて歩行者の両肩を結んだラインの方向を確定する。

【0059】

本実施形態では、まず、歩行者の投影点データの座標に基づいて投影点データの中心点の座標を算出し、次に、投影点データにおける各投影点とこの投影点データの中心点との距離を計算し、具体的には各投影点とこの投影点データの中心点との間の地上座標系におけるＸ軸及びＹ軸方向の距離をそれぞれ計算し、そして、算出された各投影点と投影点の中心点との距離に基づいて距離行列を構築することができる。距離行列における各要素は、１つの投影点と投影点データの中心点との間の距離を表す。

【0060】

その後、ＳＶＤ（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ、特異値分解）の方法を用いて距離行列Ａを「Ａ＝Ｕ×Σ×Ｖ^Ｔ」に分解することができる。ただし、Σは対角行列であり、Ｕ、Ｖはいずれも１組の直交基底ベクトルからなる行列である。分解して得られた行列Ｕに基づいて、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を確定する。具体的には、Ｕは２つの直交基底ベクトルからなる。１方の基底ベクトルの方向は、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向であり、他方の基底ベクトルの方向は、各投影点と投影点データの中心点との間の距離の分散変化率が最大となる方向に垂直な方向である。

【0061】

あるいは、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、主成分分析）の方法を用いて投影点データが存在する座標系において、各投影点と投影点データの中心点との距離が直交軸のうちの１方の軸に沿った分散変化率が最大となり、直交軸のうちの他方の軸に沿った分散変化率が最小となるような一組の直交軸を見つけることができる。

【0062】

あるいは、各投影点と投影点データの中心点との距離を算出した後、各投影点と投影点データの中心点との間の距離を正規化し、距離を［０，１］の区間に正規化し、正規化された距離に基づいて距離行列を構築することができる。これにより、データ計算量をさらに低減し、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向における速度をより早く検出することができる。

【0063】

あるいは、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を第１の方向とし、第１の方向に基づいて各投影点と投影点データの中心点との距離の分散変化率が最小となる方向を第２の方向とし、第１の方向における各投影点と投影点データの中心点との距離の分散と、第２の方向における各投影点データの中心点との距離の分散との差が予め設定された分散閾値よりも大きいと判断されたことに応じて、第１の方向を歩行者の両肩を結んだラインの方向とするように歩行者の両肩を結んだラインの方向を確定することができる。

【0064】

ここで、上記第１の方向における各投影点と投影点データの中心点との間の距離分散σ１及び上記第２の方向における各投影点と投影点データの中心点との間の分散σ２を算出することができる。σ１＞＞σ２すなわちσ１－σ２＞分散閾値であれば、上記第１の方向が両肩を結んだラインの方向であると確定することができる。σ１及びσ２が「σ１－σ２＞分散閾値」という条件を満たさない場合は、改めて距離行列に基づいて距離分散分析を行うか、第１の方向における各投影点と投影点データの中心点との間の距離分散σ１及び第２の方向における各投影点と投影点データの中心点との間の分散σ２が「σ１－σ２＞分散閾値」という条件を満たすまで、上記第１の方向の角度を調整し、調整後の第１の方向を両肩を結んだラインの方向とすることができる。この実施方法は、確定された両肩を結んだラインの方向と実際の人体の両肩を結んだラインの方向がより一致するように確保し、歩行中の四肢揺動時の点群の離散度が大きくなるにつれて確定された両肩を結んだラインの方向が不正確になることを避けることができる。

【0065】

ステップ４０４：歩行者の両肩を結んだラインの方向に基づいて、歩行者の点群データから安定領域の点群を抽出する。

【0066】

ステップ４０５：複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて、歩行者の運動情報を確定する。

【0067】

本実施形態のステップ４０４、ステップ４０５は、それぞれ上記実施形態のステップ２０４、ステップ２０５と一致しており、ステップ４０４、ステップ４０５の具体的な実施形態は、上記実施形態におけるステップ２０４、ステップ２０５のそれぞれの説明を参照すればよい。ここでは省略する。

【0068】

本実施形態の歩行者検出方法のフロー４００は、各投影点と投影点データの中心点との距離に基づいて距離行列を構築し、距離行列を用いて各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を見つけて両肩を結んだラインの方向とすることにより、両肩を結んだラインの方向をより正確にフィットできるため、より確実な安定領域の点群を抽出するとともに、歩行者の運動状態検出の正確性を向上させることができる。

【0069】

図５を参照すると、上記歩行者検出方法の実施として、図２及び図４に示す方法の実施形態に対応する歩行者検出装置の一実施形態を提供している。この装置は、具体的に様々な電子機器に適用することができる。

【0070】

図５に示すように、本実施形態の歩行者検出装置５００は、取得ユニット５０１、投影ユニット５０２、第１の確定ユニット５０３、抽出ユニット５０４、及び第２の確定ユニット５０５を含む。ここで、取得ユニット５０１は、歩行者の点群データを含む点群フレームを取得するように構成され、投影ユニット５０２は、歩行者の点群データを地上座標系に投影して歩行者の投影点データを取得するように構成され、第１の確定ユニット５０３は、投影点データの位置分布に基づいて歩行者の両肩を結んだラインの方向を確定するように構成され、抽出ユニット５０４は、歩行者の両肩を結んだラインの方向に基づいて歩行者の点群データから歩行者の移動時の形態変化幅が歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出するように構成され、第２の確定ユニット５０５は、複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて歩行者の運動情報を確定するように構成されている。

【0071】

いくつかの実施形態では、上記第１の確定ユニット５０３はさらに、歩行者の投影点データの中心点を確定し、各投影点と投影点データの中心点との距離に基づいて距離行列を構築し、距離行列に基づいて各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を確定し、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向に基づいて歩行者の両肩を結んだラインの方向を確定するように構成されている。

【0072】

いくつかの実施形態では、上記第１の確定ユニット５０３はさらに、各投影点と投影点データの中心点との距離を正規化し、正規化された距離に基づいて距離行列を構築するように構成されている。

【0073】

いくつかの実施形態では、上記第１の確定ユニット５０３はさらに、各投影点と投影点データの中心点との距離の分散変化率が最大となる方向を第１の方向とし、第１の方向に基づいて、各投影点と投影点データの中心点との距離の分散変化率が最小となる方向を第２の方向として確定し、第１の方向における各投影点と投影点データの中心点との距離の分散と、第２の方向における各投影点と投影点データの中心点との距離の分散との差が予め設定された分散閾値よりも大きいと判断されたことに応じて、第１の方向を、歩行者の両肩を結んだラインの方向として確定するように構成されている。

【0074】

いくつかの実施形態では、上記抽出ユニット５０４はさらに、歩行者の点群から、歩行者の両肩を結んだラインの方向における投影点データの中心点との距離が予め設定された距離閾値を超える投影点に対応する３次元データ点をフィルタリングし、歩行者の安定領域の点群を取得するように構成されている。

【0075】

装置５００に記載された各ユニットは、図２及び図４を参照して説明した方法の各ステップに対応することを理解されたい。したがって、モデルを生成するための方法について説明された動作及び特徴は、装置５００及びその中に含まれるユニットにも同様に適用される。ここでは省略する。

【0076】

本開示の上記実施形態の歩行者検出装置５００は、歩行者の点群データを含む点群フレームを取得し、歩行者の点群データを地上座標系に投影して歩行者の投影点データを取得し、投影点データの位置分布に基づいて歩行者の両肩を結んだラインの方向を確定し、歩行者の両肩を結んだラインの方向に基づいて歩行者の点群データから歩行者の移動時の形態変化幅が歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出し、複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて歩行者の運動情報を確定することで、歩行者の歩行中の身体姿勢変化による歩行者の運動状態の検出精度への影響を低減し、歩行者の運動状態を正確に検出することができる。

【0077】

次に、本開示の実施形態を実現するのに適した電子機器（例えば、図１に示すサーバ）６００の概略構成図が示されている図６を参照する。図６に示す電子機器は一例にすぎず、本開示の実施形態の機能及び使用範囲にはいかなる制限も与えられない。

【0078】

図６に示すように、電子機器６００は、読み取り専用メモリ（ＲОＭ）６０２に記憶されているプログラム、又は記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに応じて様々な適切な動作及び処理を実行する処理装置（例えば、ＣＰＵ、グラフィックスプロセッサなど）６０１を含むことができる。ＲＡＭ６０３には、電子機器６００の動作に必要な各種のプログラム及びデータも記憶されている。処理装置６０１、ＲОＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続されている。バス６０４には、入出力（Ｉ／Ｏ）インターフェース６０５も接続されている。

【0079】

一般に、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどの入力装置６０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどの出力装置６０７、ハードディスクなどの記憶装置６０８、及び通信装置６０９は、Ｉ／Ｏインターフェース６０５に接続することができる。通信装置６０９は、データを交換するために、電子機器６００が他の装置と無線又は有線通信を行うことを可能にすることができる。図６は、様々な装置を有する電子機器６００を示しているが、図示した全ての装置を実施又は備えることが要求されていないことを理解されたい。代替的に、より多く又はより少ない装置を実施又は備えることができる。図６に示す各ブロックは、１つの装置を表してもよく、必要に応じて複数の装置を代表してもよい。

【0080】

特に、本開示の実施形態によれば、フローチャートを参照して上述したプロセスは、コンピュータソフトウェアプログラムとして実施されることが可能である。例えば、本開示の実施形態は、フローチャートに示された方法を実行するためのプログラムコードを含む、コンピュータ可読媒体上に担持されたコンピュータプログラム製品を含む。このような実施形態では、コンピュータプログラムは、通信装置６０９を介してネットワークからダウンロードされインストールされたり、記憶装置６０８からインストールされたり、ＲОＭ６０２からインストールされたりすることができる。このコンピュータプログラムが処理装置６０１によって実行されると、本開示の実施形態の方法に限定された上記機能が実行される。なお、本開示の実施形態で説明したコンピュータ可読媒体は、コンピュータ可読信号媒体若しくはコンピュータ可読記憶媒体、又はこれらの両者の任意の組み合わせであり得る。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又は以上の任意の組み合わせであり得るが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例は、１本又は複数本のリード線を有する電気的に接続された携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲОＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲОＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読取り専用メモリ（ＣＤ－ＲОＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含むが、これらに限られない。本開示の実施形態では、コンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによって使用されることもそれらに結合して使用されることも可能なプログラムを含む又は記憶する任意の有形の媒体であり得る。本開示の実施形態では、コンピュータ可読信号媒体は、ベースバンド内において又はキャリアの一部として伝播された、コンピュータ可読プログラムコードを搬送しているデータ信号を含んでもよい。このような伝播されたデータ信号は、電磁信号、光信号、又は上述の任意の適切な組み合わせを含むが、これらに限られない様々な形態を採用することができる。コンピュータ可読信号媒体はまた、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。このコンピュータ可読信号媒体は、命令実行システム、装置又はデバイスによって使用されることもそれらに結合して使用されることも可能なプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれているプログラムコードは、電線、光ケーブル、ＲＦ（無線周波数）など、又は上記の任意の適切な組み合わせを含むが、これらに限られない任意の適切な媒体で伝送することができる。

【0081】

前記コンピュータ可読媒体は、前記電子機器に含まれるものであってもよく、個別に存在しており、該電子機器に組み込まれていないものであってもよい。前記コンピュータ可読媒体は、１つ又は複数のプログラムを記憶しており、前記１つ又は複数のプログラムが該電子機器によって実行されると、該電子機器は、歩行者の点群データを含む点群フレームを取得し、歩行者の点群データを地上座標系に投影して歩行者の投影点データを取得し、投影点データの位置分布に基づいて歩行者の両肩を結んだラインの方向を確定し、歩行者の両肩を結んだラインの方向に基づいて歩行者の点群データから歩行者の移動時の形態変化幅が歩行者の他の領域の形態変化幅よりも小さい安定領域の点群を抽出し、複数の連続する点群フレームにおける安定領域の点群の中心点の座標に基づいて歩行者の運動情報を確定する。

【0082】

本開示の実施形態の動作を実行するためのコンピュータプログラムコードは、１つ又は複数のプログラミング言語、又はそれらの組み合わせで書くことができる。プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語や、「Ｃ」言語又は類似するプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、完全にユーザのコンピュータ上で実行されることも、部分的にユーザのコンピュータ上で実行されることも、スタンドアロンソフトウェアパッケージとして実行されることも、部分的にユーザのコンピュータ上で実行されながら部分的にリモートコンピュータ上で実行されることも、又は完全にリモートコンピュータ又はサーバ上で実行されることも可能である。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されることができる。又は、外部のコンピュータに接続されることができる（例えば、インターネットサービスプロバイダーによるインターネット経由で接続される）。

【0083】

添付図面におけるフローチャート及びブロック図は、本開示の様々な実施形態に係るシステム、方法、及びコンピュータプログラム製品の実施可能なアーキテクチャ、機能、及び動作を示している。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント、又はコードの一部を表すことができる。該モジュール、プログラムセグメント、又はコードの一部は、指定されたロジック関数を実施するための１つ又は複数の実行可能な命令を含む。また、いくつかの代替的な実施形態では、ブロックに記載されている機能は、図面に示されているものとは異なる順序で発生する場合があることにも留意されたい。例えば、連続して表されている２つのブロックは、実際にほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。これは関連する機能によって決まる。また、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定された機能又は動作を実行する専用のハードウェアベースのシステムで実施することも、又は専用のハードウェアとコンピュータの命令の組み合わせで実施することも可能であることに留意されたい。

【0084】

本開示の実施形態において説明されたユニットは、ソフトウェア又はハードウェアによって実施され得る。説明されたユニットはプロセッサに内蔵されてもよい。例えば、「取得ユニット、投影ユニット、第１の確定ユニット、抽出ユニット、及び第２の確定ユニットを含むプロセッサ」と説明されることができる。ここで、これらのユニットの名称は、ユニット自体に対する制限を構成しない場合がある。例えば、取得ユニットは、「歩行者の点群データを含む点群フレームを取得するユニット」と説明されることもできる。

【0085】

上記の説明は、あくまでも本開示の好ましい実施形態及び応用技術原理の説明にすぎない。本開示に係る発明の範囲は、上記の技術的特徴の特定の組み合わせによって形成された技術的解決手段に限定されず、上記の発明の構想から逸脱しない範囲で上記の技術的特徴又はその同等の技術的特徴の任意の組み合わせによって形成されたその他の技術的解決手段、例えば、上記の特徴と本開示に開示された同様の機能を有する技術的特徴（それだけに限定されない）とが相互に代替することによって形成された技術的解決手段もカバーしていることを当業者は理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】