特許 7201887 情報を出力するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-27

(45)【発行日】2023-01-11

(54)【発明の名称】情報を出力するための方法及び装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221228BHJP

   B60W 40/02 20060101ALI20221228BHJP

   G06T 7/00 20170101ALI20221228BHJP

【ＦＩ】

G08G1/16 A

B60W40/02

G06T7/00 650Z

【請求項の数】 11

【外国語出願】

(21)【出願番号】P 2020034868

(22)【出願日】2020-03-02

(65)【公開番号】P2021051716

(43)【公開日】2021-04-01

【審査請求日】2020-03-25

(31)【優先権主張番号】201910906113.0

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321009845

【氏名又は名称】アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド

(74)【代理人】

【識別番号】110001508

【氏名又は名称】弁理士法人 津国

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(72)【発明者】

【氏名】シャン・リウ

(72)【発明者】

【氏名】シュアン・チャン

(72)【発明者】

【氏名】ビン・ガオ

(72)【発明者】

【氏名】シャオシン・ジュ

(72)【発明者】

【氏名】ジンジン・シュエ

(72)【発明者】

【氏名】ファン・ヤン

(72)【発明者】

【氏名】ジュンピン・ワン

(72)【発明者】

【氏名】チャンファ・ワン

【審査官】久保田 創

(56)【参考文献】

【文献】中国特許出願公開第１０９７３８９０４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ４０／０２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

情報を出力するための方法であって、前記方法は、車両またはサーバによって実行され、
車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するステップと、
予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップと、
前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するステップと、
確定された前記時間閾値にそれぞれ対応する前記障害物の数量および各数量に対応する時間閾値に基づいて、数量－時間閾値の曲線を確定するとともに、各前記時間閾値における曲線の傾きを確定し、前記傾きの平均値を算出した後、前記平均値に対応する時間閾値を目標時間閾値として出力するステップと、を含む情報を出力するための方法。

【請求項2】

前記予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップは、
前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択すること、を含む請求項１に記載の方法。

【請求項3】

前記判定結果に基づいて認識された障害物を処理して障害物の数量を確定するステップは、
前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、
前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないことと、を含む請求項１に記載の方法。

【請求項4】

前記方法は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するステップ、をさらに含む請求項３に記載の方法。

【請求項5】

情報を出力するための装置であって、
車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するように構成されるデータ取得ユニットと、
予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するように構成される閾値決定ユニットと、
前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するように構成されるデータ処理ユニットと、
確定された前記時間閾値にそれぞれ対応する前記障害物の数量および各数量に対応する時間閾値に基づいて、数量－時間閾値の曲線を確定するとともに、各前記時間閾値における曲線の傾きを確定し、前記傾きの平均値を算出した後、前記平均値に対応する時間閾値を目標時間閾値として出力するように構成される目標確定ユニットと、を備える情報を出力するための装置。

【請求項6】

前記閾値決定ユニットは、さらに、
前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択する、ように構成される請求項５に記載の装置。

【請求項7】

前記データ処理ユニットは、さらに、
前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、
前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けない、ように構成される請求項５に記載の装置。

【請求項8】

前記装置は、
類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合する、ように構成されるデータ融合ユニット、をさらに備える請求項７に記載の装置。

【請求項9】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１～４のいずれか一項に記載の方法が実現される電子機器。

【請求項10】

コンピュータプログラムが格納されているコンピュータ可読媒体であって、
該プログラムがプロセッサによって実行されると、請求項１～４のいずれか一項に記載の方法が実現されるコンピュータ可読媒体。

【請求項11】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１～４のいずれか一項に記載の方法が実現される、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願の実施例は、コンピュータ技術分野に関し、具体的には情報を出力するための方法及び装置に関する。

【背景技術】

【0002】

現在、ライダーによる測距は、その優れた特性及び外界環境への強い適応性のため、自動運転、運転支援等の分野で幅広く適用されている。ライダーによって収集されたデータの適用シーンにおいて、一般的に多くのパラメータを調整する必要がある。これらのパラメータを手動で調整することは、通常時間がかかり、手間もかかる。

【発明の概要】

【0003】

本願の実施例は、情報を出力するための方法及び装置を提供している。

【0004】

第１態様において、本願の実施例は、車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するステップと、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップと、前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するステップと、得られた複数の数量に応じて、目標時間閾値を確定して出力するステップと、を備える情報を出力するための方法を提供している。

【0005】

いくつかの実施例において、前記予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップは、前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択することを含む。

【0006】

いくつかの実施例において、前記判定結果に基づいて認識された障害物を処理して障害物の数量を確定するステップは、前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないことと、を含む。

【0007】

いくつかの実施例において、前記方法は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するステップをさらに含む。

【0008】

いくつかの実施例において、前記得られた複数の数量に応じて、目標時間閾値を確定して出力するステップは、複数の数量及び数量ごとに対応する時間閾値に基づいて、数量－時間閾値の曲線を確定することと、各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定することと、を含む。

【0009】

いくつかの実施例において、前記各傾きに基づいて目標時間閾値を確定することは、各傾きの絶対値のうちの最大値を確定することと、前記最大値に対応する時間閾値を目標時間閾値とすることとを含む。

【0010】

第２態様において、本願の実施例は、車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するように構成されるデータ取得ユニットと、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するように構成される閾値決定ユニットと、前記点群データにおける各点群フレーム及び前記画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するように構成されるデータ処理ユニットと、得られた複数の数量に応じて、目標時間閾値を確定して出力するように構成される目標確定ユニットと、を備える情報を出力するための装置を提供している。

【0011】

いくつかの実施例において、前記閾値決定ユニットはさらに、前記時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択するように構成される。

【0012】

いくつかの実施例において、前記データ処理ユニットはさらに、前記時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、前記時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないように構成される。

【0013】

いくつかの実施例において、前記装置は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するように構成されるデータ融合ユニットをさらに備える。

【0014】

いくつかの実施例において、前記目標確定ユニットはさらに、複数の数量及び数量ごとに対応する時間閾値に基づいて、数量－時間閾値の曲線を確定し、各時間閾値における前記曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定するように構成される。

【0015】

いくつかの実施例において、前記目標確定ユニットはさらに、各傾きの絶対値のうちの最大値を確定し、前記最大値に対応する時間閾値を目標時間閾値とするように構成される。

【0016】

第３態様において、本願の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが格納されている記憶装置と、を含む電子機器であって、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに第１態様のいずれかの実施例に記載の方法を実現させる電子機器を提供している。

【0017】

第４態様において、本願の実施例は、コンピュータプログラムが格納されているコンピュータ可読媒体であって、該コンピュータプログラムがプロセッサによって実行されると、第１態様のいずれかの実施例に記載の方法を実現するコンピュータ可読媒体を提供している。

【0018】

本願の前記実施例に係る情報を出力するための方法及び装置は、まず、車両が走行中に収集した、点群データ及び画像データを含み得る障害物データを取得することができる。次に、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定することができる。次に、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きい場合に、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを時間閾値ごとに実行することができる。最後に、得られた複数の数量に応じて、目標時間閾値を確定して出力する。本実施例の方法によれば、障害物の数量に応じて障害物データ処理中の時間閾値を確定することができ、手動による調整を行う必要がなく、時間閾値の自動調整が実現された。

【0019】

本願の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになるであろう。

【図面の簡単な説明】

【0020】

【図1】本願の一実施例を適用できる例示的なシステムアーキテクチャを示す図である。

【図2】本願に係る情報を出力するための方法の一実施例を示すフローチャートである。

【図3】本願に係る情報を出力するための方法の一適用シーンを示す概略図である。

【図4】本願に係る情報を出力するための方法において目標時間閾値を確定する一実施例を示すフローチャートである。

【図5】本願に係る情報を出力するための装置の一実施例を示す構造概略図である。

【図6】本願の実施例を実施するための電子機器に適用されるコンピュータシステムを示す構造概略図である。

【発明を実施するための形態】

【0021】

以下、添付図面及び実施例を参照しながら、本願をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。

【0022】

なお、本願の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、添付図面及び実施例を参照しながら、本願を詳細に説明する。

【0023】

図１は、本願の情報を出力するための方法又は情報を出力するための装置を適用できる実施例の例示的なシステムアーキテクチャ１００が示されている。

【0024】

図１に示すように、システムアーキテクチャ１００は、自動運転車両１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は、自動運転車両１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０４は、有線、無線通信リンク、又は光ファイバケーブル等のような、様々な接続タイプを含んでもよい。

【0025】

自動運転車両１０１、１０２、１０３には、ライダー（ＬｉＤＡＲ）又は画像取り込み装置などのような様々なセンサが搭載されることで、自動運転車両１０１、１０２、１０３の走行環境の点群データ又は画像データを取り込むことができる。自動運転車両１０１、１０２、１０３にはさらに、ナビゲーションデバイス、無人車両コントローラ、アンチロックブレーキシステム、制動力配分制御システム等のような様々な電子機器が搭載されていてもよい。自動運転車両１０１、１０２、１０３は、自動運転モードの車両を含んでもよく、完全自動運転の車両も、自動運転モードに切り替え可能な車両も含まれる。

【0026】

サーバ１０５は、例えば、車両１０１、１０２、１０３により収集された障害物データを処理するバックエンドサーバなど、様々なサービスを提供するサーバであってもよい。バックエンドサーバは、受信された障害物データ等のデータを解析する等の処理を行うとともに、目標時間閾値等の処理結果を車両１０１、１０２、１０３にフィードバックすることができる。

【0027】

なお、サーバ１０５は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０５がハードウェアである場合には、複数のサーバからなる分散サーバクラスタとして実現されてもよいし、単一のサーバとして実現されてもよい。サーバ１０５がソフトウェアである場合には、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実現されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは特に限定されない。

【0028】

なお、本願の実施例に係る情報を出力するための方法は、車両１０１、１０２、１０３によって実行されてもよいし、サーバ１０５によって実行されてもよい。したがって、情報を出力するための装置が車両１０１、１０２、１０３に設けられてもよいし、サーバ１０５に設けられてもよい。

【0029】

なお、図１における車両、ネットワーク及びサーバの数は、単なる例示的なものに過ぎない。車両、ネットワーク及びサーバは、必要に応じて任意の数に設けられてもよい。

【0030】

引き続き図２を参照して、本願に係る情報を出力するための方法の一実施例を示すフロー２００が示されている。本実施例の情報を出力するための方法は、ステップ２０１、ステップ２０２、ステップ２０３及びステップ２０４を含む。

【0031】

ステップ２０１：車両が走行中に収集した障害物データを取得する。

【0032】

本実施例において、情報を出力するための方法の実行主体（例えば、図１に示すサーバ１０５）が、有線接続方式又は無線接続方式により車両が走行中に収集した障害物データを取得することができる。前記障害物データは点群データ及び画像データを含むことができる。前記点群データは複数の点群フレームを含んでもよく、点群フレームのそれぞれには複数の点群点が含まれてもよい。画像データは複数の画像フレームを含むことができる。車両が走行している間に周囲環境の点群データ及び画像データを収集するために、ライダーセンサ及びカメラが車両に搭載されてもよい。

【0033】

ステップ２０２：予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定する。

【0034】

本実施例において、実行主体は、予め設定された複数の時間閾値の取り得る値に基づいて決定されてもよい予め設定された時間閾値の取り得る範囲を取得することができる。例えば、予め設定された複数の時間閾値は、０．５ｍｓ、１．０ｍｓ、１．５ｍｓを含んでもよく、時間閾値のそれぞれは、当業者が自身の経験に基づいて設定することができる。実行主体は、複数の時間閾値を得るために、時間閾値の取り得る範囲から予め設定された時間間隔で値を取ることができる。例えば、時間閾値の取り得る範囲は０．５ｍｓ～１．５ｍｓであり、実行主体は０．１ｍｓ間隔ごとに値をとることができ、それぞれ０．５ｍｓ、０．６ｍｓ、０．７ｍｓ、…、１．５ｍｓの複数の時間閾値を得ることができる。あるいは、実行主体は、上記の時間閾値の取り得る範囲から複数の時間閾値をランダムに選択してもよい。

【0035】

本実施例のいくつかの選択可能な実施形態において、実行主体は、時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択するステップ（図２に示されていない）によって複数の時間閾値を決定することができる。

【0036】

本実施形態において、実行主体は、時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択することができる。具体的には、前記時間閾値の取り得る範囲は、時間間隔で割り切れることができる。

【0037】

ステップ２０３：以下の処理ステップ２０３１～２０３４を時間閾値ごとに実行する。

【0038】

複数の時間閾値が得られた後に、実行主体は、時間閾値ごとにステップ２０３１～２０３４の処理を行ってもよい。

【0039】

ステップ２０３１：点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識する。

【0040】

実行主体は、予めトレーニングされた障害物認識モデル又は障害物認識アルゴリズム（例えば、点群分割アルゴリズム、特徴抽出アルゴリズム等）によって点群データにおける各点群フレームに含まれる障害物を認識してもよいし、画像データにおける各画像フレームに含まれる障害物を認識してもよい。具体的には、実行主体は、点群データにおける各点群フレーム又は画像データにおける各画像フレームを障害物認識モデルの入力側から入力することができ、障害物認識モデルの出力側から認識された障害物を得ることができる。

【0041】

ステップ２０３２：各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定する。

【0042】

各点群フレーム及び各画像フレームに含まれる障害物を認識した後に、実行主体は、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を算出することができる。具体的には、実行主体は、各障害物の特徴を抽出し、特徴ベクトル間の距離に基づいて各障害物間の類似度を算出することができる。

【0043】

ステップ２０３３：前記類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定する。

【0044】

得られた類似度ごとに、実行主体は、該類似度が予め設定された類似度閾値よりも大きいか否かを判定することができる。ここで、類似度閾値が障害物同士間の類似程度を表すために用いられてもよい。類似度が該類似度閾値よりも大きい場合に、２つの障害物が非常に類似していると意味する。実行主体は更に、類似した２つの障害物が位置する点群フレーム及び画像フレームを確定することができる。次に、点群フレームと画像フレームとの時間間隔を算出するとともに、前記時間間隔が該時間閾値よりも大きいか否かを判定する。

【0045】

ステップ２０３４：判定結果に基づいて認識された障害物を処理して障害物の数量を確定する。

【0046】

実行主体は、判定結果が得られた後に、判定結果に基づいて認識された障害物を処理して障害物の数量を確定する。具体的には、時間間隔が時間閾値未満である場合に、実行主体は、２つの障害物を同一障害物として認定してもよい。時間間隔が時間閾値以上である場合に、実行主体は、２つの障害物を同一障害物として認定しない。２つの障害物が同一障害物として認定された場合に、障害物の数量をカウントする際に、該２つの障害物が１つの障害物としてカウントされることを理解されたい。２つの障害物が同一障害物として認定されていない場合に、障害物の数量をカウントする際に、該２つの障害物が２つの障害物としてカウントされる。これにより、各時間閾値について認識された障害物の数量を確定することができる。

【0047】

実施例のいくつかの選択可能な実施形態において、実行主体は、時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付け、時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けない方式（図２に示されていない）によって障害物の数量を確定することができる。

【0048】

実施例のいくつかの選択可能な実施形態において、前記方法は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するステップ（図２に示されていない）をさらに含んでもよい。

【0049】

２つの障害物が同一障害物として関連付けられた場合に、実行主体は、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合させてもよい。これにより、自動運転車両の走行を案内するための、より正確な障害物情報を得ることができる。

【0050】

ステップ２０４：得られた複数の数量に応じて、目標時間閾値を確定して出力する。

【0051】

本実施例において、時間閾値が大きくなるにつれて、類似する障害物が関連付けられる可能性が高くなるほど、得られる障害物の数量が少なくなる。相応して、時間閾値が小さいほど、類似する障害物が関連付けられる可能性が低くなり、得られる障害物の数量が多くなる。実行主体は、得られた各数量に基づいて、障害物の数量の変化率を確定するとともに、変化率に応じて目標時間閾値を確定することができる。

【0052】

引き続き図３を参照して、図３は、本実施例に係る情報を出力するための方法の一適用シーンを示す概略図である。図３の適用シーンにおいて、自動運転車両３０１は、走行中に、搭載されたライダーセンサによって点群データを収集し、搭載されたカメラによって画像データを取り込み、点群データ及び画像データをサーバ３０２に送信する。サーバ３０２は、点群データ及び画像データについてステップ２０１～２０４の処理を行い、目標時間閾値を決定するとともに、目標時間閾値を自動運転車両３０１に送信する。自動運転車両３０１は、上記の目標時間閾値に基づいて走行中に障害物の融合を行うことができる。

【0053】

本願の前記実施例に係る情報を出力するための方法は、車両が走行中に収集した、点群データ及び画像データを含み得る障害物データを取得することができる。次に、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定することができる。次に、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きい場合に、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを時間閾値ごとに実行することができる。最後に、得られた複数の数量に応じて、目標時間閾値を確定して出力する。本実施例の方法によれば、障害物の数量に応じて障害物データ処理中の時間閾値を確定することができ、手動による調整を行う必要がなく、時間閾値の自動調整が実現された。

【0054】

引き続き、本願に係る情報を出力するための方法において目標時間閾値を確定する一実施例を示すフロー４００が示されている図４を参照する。図４に示すように、本実施例に係る情報を出力するための方法は、目標時間閾値を以下のステップによって確定することができる。

【0055】

ステップ４０１：複数の数量及び数量ごとに対応する時間閾値に基づいて、数量－時間閾値の曲線を確定する。

【0056】

本実施例において、実行主体は、得られた複数の数量及び数量ごとに対応する時間閾値に基づいて、時間閾値をＸ軸とし、障害物の数量をＹ軸として、数量－時間閾値の曲線を得ることができる。

【0057】

ステップ４０２：各時間閾値における曲線の傾きを確定する。

【0058】

次いで、実行主体は、曲線の方程式に基づいて、時間閾値毎における曲線の傾きを確定することができる。ここでの傾きは、障害物の数量の変化率を表すことができる。実行主体は、得られた各傾きに基づいて目標時間閾値を決定することができる。例えば、実行主体は、傾きの絶対値が最大となる時間閾値を目標時間閾値としてもよい。又は、実行主体は、各傾きの平均値を算出した後、前記平均値に対応する時間閾値を目標時間閾値としてもよい。目標時間閾値は、曲線に基づいて決定され、予め設定された時間閾値と同じであってもよいし、異なっていてもよいことを理解されたい。

【0059】

ステップ４０３：各傾きの絶対値のうちの最大値を確定する。

【0060】

本実施例において、実行主体は、各傾きの絶対値のうちの最大値を確定することができる。時間閾値が小さいほど、即ち障害物の数量が多いほど、誤検知の可能性が高くなり、誤検知率が高くなることを理解されたい。時間閾値が大きいほど、即ち障害物の数量が少ないほど、検知漏れの可能性が高くなり、検知漏れ率が高くなる。ここで、該最大値に対応する点は、障害物の数量の減少が最も速い点であり、誤検知率曲線と検知漏れ率曲線との交点でもある。

【0061】

ステップ４０４：最大値に対応する時間閾値を目標時間閾値とする。

【0062】

実行主体は、最大値に対応する時間閾値を目標時間閾値としてもよい。

【0063】

本願の前記実施例により提供された情報を出力するための方法は、適切な時間閾値を自動的に確定することができ、障害物データ処理中の作業量を減らすことができる。

【0064】

さらに図５を参照して、上記の各図に示される方法の実施態様として、本願は、図２に示される方法の実施例に対応する情報を出力するための装置の一実施例を提供し、当該装置は、具体的に様々な電子機器に適用可能である。

【0065】

図５に示すように、本実施例に係る情報を出力するための装置５００は、データ取得ユニット５０１、閾値決定ユニット５０２、データ処理ユニット５０３及び目標確定ユニット５０４を備える。

【0066】

データ取得ユニット５０１は、車両が走行中に収集した障害物データを取得するように構成される。前記障害物データは点群データ及び画像データを含む。

【0067】

閾値決定ユニット５０２は、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するように構成される。

【0068】

データ処理ユニット５０３は、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物に対応する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するように構成される。

【0069】

目標確定ユニットは、得られた複数の数量に応じて、目標時間閾値を確定して出力するように構成される。

【0070】

本実施例のいくつかの選択可能な実施形態において、閾値決定ユニット５０２はさらに、時間閾値の取り得る範囲から予め設定された時間間隔で複数の点を複数の時間閾値として選択するように構成される。

【0071】

本実施例のいくつかの選択可能な実施形態において、データ処理ユニット５０３はさらに、時間間隔が該時間閾値未満である場合に、類似する２つの障害物を同一障害物として関連付けることと、時間間隔が該時間閾値以上である場合に、類似する２つの障害物を同一障害物として関連付けないように構成される。

【0072】

本実施例のいくつかの選択可能な実施形態において、前記装置５００は、類似する２つの障害物が同一障害物として関連付けられたことに応答して、類似する２つの障害物に対応する点群フレーム及び画像フレームに基づいて、類似する２つの障害物を融合するように構成されるデータ融合ユニット（図５に示されていない）をさらに備えてもよい。

【0073】

本実施例のいくつかの選択可能な実施形態において、目標確定ユニット５０４はさらに、複数の数量及び数量ごとに対応する時間閾値に基づいて、数量－時間閾値の曲線を確定し、各時間閾値における曲線の傾きを確定して、各傾きに基づいて目標時間閾値を確定するように構成される。

【0074】

本実施例のいくつかの選択可能な実施形態において、目標確定ユニット５０４はさらに、各傾きの絶対値のうちの最大値を確定することと、最大値に対応する時間閾値を目標時間閾値とするように構成される。

【0075】

なお、情報を出力するための装置５００に記載されたユニット５０１～ユニット５０４それぞれは、図２を参照して記述した方法における各ステップに対応するものである。したがって、情報を出力するための方法について上述した動作及び特徴は同様に、装置５００及び装置５００に含まれるユニットにも適用され、ここでその説明が省略される。

【0076】

以下、本開示の実施例を実現するのに適した電子機器６００の構造概略図が示される図６を参照する。図６に示された電子機器はただの例示に過ぎず、本開示の実施例の機能及び使用範囲にいかなる限定を加えるものではない。

【0077】

図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に格納されているプログラム又は記憶デバイス６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムによって、各種の適当な動作及び処理を実行することができる処理デバイス（例えば、中央処理装置、グラフィックプロセッサ等）６０１を含んでもよい。ＲＡＭ６０３には、電子機器６００の操作に必要な様々なプログラム及びデータがさらに格納されている。処理デバイス６０１、ＲＯＭ６０２及びＲＡＭ６０３がバス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

【0078】

通常、Ｉ／Ｏインターフェース６０５には、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力デバイス６０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータ等を含む出力デバイス６０７、例えば磁気テープ、ハードディスク等を含む記憶デバイス６０８及び通信デバイス６０９が接続されてもよい。通信デバイス６０９は、電子機器６００がデータを交換するために他のデバイスと無線又は有線で通信することを可能にする。図６は、様々なデバイスを有する電子機器６００が示されているが、示されたデバイスの全てを実施又は具備するように要求しないことを理解されたい。これより多い又は少ないデバイスが代替的に実施され又は具備されてもよい。図６に示すブロックそれぞれは、１つのデバイスを表すものであってもよいし、必要に応じて複数のデバイスを表すものであってもよい。

【0079】

特に、本開示の実施例によれば、以上でフローチャートを参照して記述されたプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ可読媒体に担持されるコンピュータプログラムを備えるコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信デバイス６０９を介してネットワークからダウンロードされてインストールされてもよく、又は記憶デバイス６０８からインストールされてもよく、又はＲＯＭ６０２からインストールされてもよい。該コンピュータプログラムが処理デバイス６０１によって実行される場合に、本開示の実施例の方法で限定された上記の機能を実行する。

【0080】

注意すべきなのは、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又はこれらの任意の組み合わせを含むことができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数本の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光メモリ、磁気メモリ、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスで使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンド内で、又はキャリアの一部として伝送されるデータ信号を含んでもよく、コンピュータ可読プログラムコードが担持されている。このような伝送されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。該コンピュータ可読信号媒体は、命令実行システム、装置若しくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝搬又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、有線、光ケーブル、ＲＦ（無線周波数）など、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。

【0081】

上記のコンピュータ可読媒体は、上記の電子機器に含まれるものであってもよく、独立に存在して該電子機器に組み込まれていないものであってもよい。前記コンピュータ可読媒体には１つ又は複数のプログラムが担持され、前記１つ又は複数のプログラムが該電子機器によって実行される場合に、車両が走行中に収集した、点群データ及び画像データを含む障害物データを取得するステップと、予め設定された時間閾値の取り得る範囲に基づいて、複数の時間閾値を決定するステップと、点群データにおける各点群フレーム及び画像データにおける各画像フレームに含まれる障害物をそれぞれ認識することと、各点群フレームにおける障害物と各画像フレームにおける障害物との類似度を確定することと、類似度が予め設定された類似度閾値よりも大きいことに応答して、類似する２つの障害物が存在する点群フレームと画像フレームとの時間間隔が該時間閾値よりも小さいか否かを判定することと、判定結果に基づいて認識された障害物を処理して障害物の数量を確定することとを含む処理ステップを、時間閾値ごとに実行するステップと、得られた複数の数量に応じて、目標時間閾値を確定して出力するステップと、を備える動作を該電子機器に実行させる。

【0082】

１つ又は複数の種類のプログラミング言語又はそれらの組み合わせで、本開示の実施例の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語には、オブジェクト向けのプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋が含まれ、通常の手続き型プログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語も含まれる。プログラムコードは、完全的にユーザコンピュータに実行されてもよく、部分的にユーザコンピュータに実行されてもよく、１つのスタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータに実行され且つ部分的にリモートコンピュータに実行されてもよく、又は完全的にリモートコンピュータ又はサーバに実行されてもよい。リモートコンピュータに係る場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータ、又は、外部コンピュータに接続できる（例えば、インターネットサービスプロバイダによりインターネットを介して接続できる）。

【0083】

図面におけるフローチャート及びブロック図は、本開示の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント若しくはコードの一部を示してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定されたロジック機能を達成するための１つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様において、ブロック内に示された機能は、図面に示された順番とは異なるもので実行されてもよい。例えば、連続して示された２つのブロックは、実際には関連する機能に応じて、ほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定された機能若しくは操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実行されてもよい。

【0084】

本開示の実施例に係るユニットは、ソフトウェアの形式で実現されてもよいし、ハードウェアの形式で実現されてもよい。記述されたユニットは、プロセッサに設けられてもよく、例えば、データ取得ユニット、閾値決定ユニット、データ処理ユニット及び目標確定ユニットを備えるプロセッサと記述されてもよい。ここで、これらのユニットの名称は、該ユニット自体を限定するものではなく、例えば、データ取得ユニットがさらに「車両が走行中に収集した障害物データを取得するユニット」と記述されてもよい。

【0085】

以上の記載は、本開示の好ましい実施例、及び使用される技術的原理に関する説明に過ぎない。本開示の実施例に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、上記の発明趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴を任意に組み合わせてなる他の技術案も含まれるべきであることを、当業者に理解されたい。例えば、上記の特徴と、本開示の実施例に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】