▶ センスタイム グループ リミテッドの特許一覧 ▶ 本田技研工業株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-29
(54)【発明の名称】軌跡予測方法、装置、機器及び記憶媒体リソース
(51)【国際特許分類】
G06V 20/58 20220101AFI20221121BHJP
G06V 10/82 20220101ALI20221121BHJP
G06T 7/00 20170101ALI20221121BHJP
【ＦＩ】
G06V20/58
G06V10/82
G06T7/00 650A
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022519830
(86)(22)【出願日】2021-04-02
(85)【翻訳文提出日】2022-03-29
(86)【国際出願番号】 CN2021085448
(87)【国際公開番号】W WO2021204092
(87)【国際公開日】2021-10-14
(31)【優先権主張番号】202010279772.9
(32)【優先日】2020-04-10
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520018428
【氏名又は名称】センスタイム グループ リミテッド
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】ファン リアンジー
(72)【発明者】
【氏名】ジアン チンホン
(72)【発明者】
【氏名】シー ジエンピン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096CA04
5L096DA02
5L096FA02
5L096FA62
5L096FA64
5L096FA66
5L096FA69
5L096GA30
5L096GA51
5L096HA11
5L096JA11
5L096JA16
5L096KA04
5L096KA15
(57)【要約】
本願の実施例は、軌跡予測方法、装置、機器及び記憶媒体を提供する。ここで、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定し、前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定し、ここで、各候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なり、前記候補軌跡集合から、前記移動対象の目標軌跡を決定する。このように、移動対象の位置情報を考慮することによって、移動対象の参考終点を予測し、該移動対象の走行可能な複数の候補軌跡を予測し、該複数の候補軌跡から、最適な軌跡を選出して移動対象の走行目標軌跡とすることによって、移動対象の未来の移動軌跡をより正確に推定する。
【選択図】図１Ｂ
【選択図】図１Ｂ
【特許請求の範囲】
【請求項1】
電子機器が実行する、軌跡予測方法であって、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することと、
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定することであって、ここで、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる、ことと、
前記候補軌跡集合から、前記移動対象の目標軌跡を決定することと、を含む、軌跡予測方法。
【請求項2】
前記移動対象の位置情報は、前記移動対象の時系列位置情報又は前記移動対象の過去軌跡を含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記参考終点は、所定の制限タイプ以外の点を含み、ここで、前記所定の制限タイプは少なくとも、道路エッジ点と、障害物と、通行者と、のうちの１つを含むことを特徴とする請求項１に記載の方法。
【請求項4】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得することであって、前記環境情報は、道路情報と、障害物情報と、通行者情報と、交通信号情報と、交通標識情報と、交通ルール情報と、他の移動対象情報と、のうちの少なくとも１つを含む、ことと、
前記環境情報に基づいて、前記移動対象の参考終点の位置情報を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項5】
前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得することは、前記移動対象によって収集された画像情報に基づいて、前記環境情報を決定すること、
及び／又は、
前記移動対象によって受信された、現在の環境を表す通信情報に基づいて、前記環境情報を決定することを含むことを特徴とする
請求項４に記載の方法。
【請求項6】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象の少なくとも１つの参考ルートを決定することと、
前記参考ルートに基づいて、前記参考終点の位置情報を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項7】
前記参考ルートに基づいて、前記参考終点の位置情報を決定することは、前記参考ルートの走行可能領域を決定することと、
前記移動対象の位置情報に基づいて、前記走行可能領域における前記移動対象の参考終点の位置情報を決定することと、を含むことを特徴とする
請求項６に記載の方法。
【請求項8】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象が所在する道路の交差点情報を決定することと、
前記交差点情報が少なくとも２つの交差点における道路が存在することを表すことに応答して、前記移動対象の複数の参考終点の位置情報を決定することであって、交差点における異なる道路の参考終点は異なる、ことと、を含むことを特徴とする
請求項１に記載の方法。
【請求項9】
前記候補軌跡集合に基づいて、前記移動対象の目標軌跡を決定することは、前記候補軌跡集合における候補軌跡の信頼度を決定することと、
前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項10】
前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定する前に、前記候補軌跡集合における少なくとも１つの候補軌跡の軌跡パラメータ修正値を決定することと、
前記軌跡パラメータ修正値に基づいて、前記候補軌跡集合における候補軌跡に対して調整を行い、更新された候補軌跡集合を得ることと、
前記移動対象の走行情報及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定することと、を更に含むことを特徴とする
請求項９に記載の方法。
【請求項11】
前記移動対象の走行情報及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定することは、前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定することと、
前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定することと、を含むことを特徴とする
請求項９又は１０に記載の方法。
【請求項12】
前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定することは、前記移動対象の環境情報に基づいて、前記移動対象の予測走行可能領域を決定することと、
前記移動対象の制御情報に基づいて、前記予測走行可能領域に対して調整を行い、前記走行可能領域を得ることと、を含むことを特徴とする
請求項１１に記載の方法。
【請求項13】
前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定することは、前記更新された候補軌跡集合において、前記走行可能領域に含まれる候補軌跡を決定し、決定待ち目標軌跡集合を得ることと、
前記決定待ち目標軌跡集合における、信頼度が最も大きい軌跡又は信頼度が所定の信頼度閾値よりも大きい軌跡を前記目標軌跡として決定することと、を含むことを特徴とする
請求項１１に記載の方法。
【請求項14】
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定することは、前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定することと、
前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得ることであって、前記所定距離は、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、Ｍ及びＮはいずれも０よりも大きい整数である、ことと、を含むことを特徴とする
請求項１～１３のうちいずれか一項に記載の方法。
【請求項15】
前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定することは、前記参考終点が位置する道路幅に基づいて、前記参考終点の所定領域を決定することと、
前記参考終点の所定領域をＭ個の所定サイズの格子に分割し、Ｍ個の格子の中心を前記Ｍ個の推定終点とすることと、を含むことを特徴とする
請求項１４に記載の方法。
【請求項16】
前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得ることは、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点を決定することと、
前記Ｎ個の所定距離及び前記中点に基づいて、Ｎ個の推定点を決定することと、
前記Ｎ個の推定点及び前記Ｍ個の推定終点に基づいて、Ｍ×Ｎ個の候補軌跡を生成することと、
前記環境情報に基づいて、前記Ｍ×Ｎ個の候補軌跡に対して選定を行い、前記候補軌跡集合を得ることと、を含むことを特徴とする
請求項１４に記載の方法。
【請求項17】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することと、
前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することと、を含むことを特徴とする
請求項１～１６のうちいずれか一項に記載の方法。
【請求項18】
ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することは、前記移動対象の位置情報を第１ニューラルネットワークに入力することによって、前記移動対象の第１候補終点を予測することを含み、前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記第１候補終点及び前記移動対象の環境情報に基づいて、前記移動対象の参考終点の位置情報を決定することを含むことを特徴とする
請求項１７に記載の方法。
【請求項19】
ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することは、前記移動対象の位置情報及び環境情報を第２ニューラルネットワークに入力し、前記移動対象の第２候補終点を予測することを含み、
前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することは、
前記第２候補終点及び前記環境情報に基づいて、前記移動対象の前記参考終点の位置情報を決定することを含むことを特徴とする
請求項１７又は１８に記載の方法。
【請求項20】
前記ニューラルネットワークの訓練方法は、前記移動対象の位置情報、及び／又は、前記移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークに入力し、第１予測終点を得ることと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、第１予測終点に関する第１予測損失を決定することと、
第１予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練することと、を含むことを特徴とする
請求項１７～１９のうちいずれか一項に記載の方法。
【請求項21】
前記ニューラルネットワークの訓練方法は、前記移動対象の位置情報及び前記位置情報に対応する地図情報を前記ニューラルネットワークに入力し、第２予測終点を得ることと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、前記第２予測終点に関する第２予測損失を決定することと、
前記第２予測終点と所定の拘束条件とのずれを決定することと、
前記ずれに基づいて、前記第２予測終点の第２予測損失を調整し、第３予測損失を得ることと、
前記第３予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練することと、を含むことを特徴とする
請求項１７～２０のうちいずれか一項に記載の方法。
【請求項22】
軌跡予測装置であって、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される参考終点予測モジュールと、
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定するように構成される候補軌跡決定モジュールであって、ここで、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる、候補軌跡決定モジュールと、
前記候補軌跡集合から、前記移動対象の目標軌跡を決定するように構成される目標軌跡決定モジュールと、を備える、軌跡予測装置。
【請求項23】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、請求項１～２１のうちいずれか一項に記載の方法のステップを実現することができる、コンピュータ記憶媒体。
【請求項24】
電子機器であって、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、請求項１～２１のうちいずれか一項に記載の方法のステップを実現することができる、電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、出願番号が２０２０１０２７９７７２．９であり、出願日が２０２０年４月１０日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、出願番号が２０２０１０２７９７７２．９であり、出願日が２０２０年４月１０日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願の実施例は、自動運転技術分野に関し、軌跡予測方法、装置、機器及び記憶媒体に関するが、これらに限定されない。
【背景技術】
【0003】
情報技術の進歩に伴い、自動運転技術は、ブームになってきた。自動運転技術の実現は、自動運転される車両の軌跡予測が不可欠なものである。予測される軌跡の正確度は、自動運転車両の走行の安全性を決定している。
【発明の概要】
【0004】
これに鑑み、本願の実施例は、軌跡予測方法、装置、機器及び記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本願の実施例の技術的解決手段は、以下のように実現する。
【0006】
本願の実施例は、電子機器に用いられる軌跡予測方法を提供する。前記方法は、
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することと、
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定することであって、ここで、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる、ことと、
前記候補軌跡集合から、前記移動対象の目標軌跡を決定することと、を含む。
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することと、
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定することであって、ここで、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる、ことと、
前記候補軌跡集合から、前記移動対象の目標軌跡を決定することと、を含む。
【0007】
幾つかの実施例において、前記移動対象の位置情報は、前記移動対象の時系列位置情報又は前記移動対象の過去軌跡を含む。このように、移動対象の過去軌跡と時系列位置情報に基づいて、該移動対象の候補軌跡を予測することができる。
【0008】
幾つかの実施例において、前記参考終点は、所定の制限タイプ以外の点を含み、ここで、前記所定の制限タイプは少なくとも、道路エッジ点と、障害物と、通行者と、のうちの１つを含む。このように、道路エッジ点、障害物、通行者などを制限タイプとすることによって、最終的に予測される目標軌跡の合理性を向上させることができる。
【0009】
幾つかの実施例において、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得することであって、前記環境情報は、道路情報と、障害物情報と、通行者情報と、交通信号情報と、交通標識情報と、交通ルール情報と、他の移動対象情報と、のうちの少なくとも１つを含む、ことと、前記環境情報に基づいて、前記移動対象の参考終点の位置情報を決定することと、を含む。このように、移動対象周囲の環境情報と該移動対象の位置情報を組み合わせることによって、移動対象の参考終点の位置情報を正確に予測することができる。
【0010】
幾つかの実施例において、前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得することは、前記移動対象によって収集された画像情報に基づいて、前記環境情報を決定すること、及び／又は、前記移動対象によって受信された、現在の環境を表す通信情報に基づいて、前記環境情報を決定することを含む。このように、移動対象の通信情報と画像情報を分析することによって、参考終点から、所定の制限タイプに含まれる点を排除することができ、それにより移動対象の参考終点を得ることができる。
【0011】
幾つかの実施例において、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象の少なくとも１つの参考ルートを決定することと、前記参考ルートに基づいて、前記参考終点の位置情報を決定することと、を含む。このように、予測される参考終点の正確度を向上させることができる。
【0012】
幾つかの実施例において、前記参考ルートに基づいて、前記参考終点の位置情報を決定することは、前記参考ルートの走行可能領域を決定することと、前記移動対象の位置情報に基づいて、前記走行可能領域における前記移動対象の参考終点の位置情報を決定することと、を含む。このように、各参考ルートにおける走行可能領域の有効性を向上させる。
【0013】
幾つかの実施例において、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象が所在する道路の交差点情報を決定することと、前記交差点情報が少なくとも２つの交差点における道路が存在することを表すことに応答して、前記移動対象の複数の参考終点の位置情報を決定することであって、ここで、交差点における異なる道路の参考終点は異なる、ことと、を含む。このように、参考終点の漏れを減少させることができ、それにより決定される目標軌跡の正確度を向上させることができる。
【0014】
幾つかの実施例において、前記候補軌跡集合に基づいて、前記移動対象の目標軌跡を決定することは、前記候補軌跡集合における候補軌跡の信頼度を決定することと、前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定することと、を含む。このように、複数の候補軌跡から、最適な軌跡を移動対象の走行目標軌跡とすることによって、移動対象の未来の運動軌跡をより正確に推定する。
【0015】
幾つかの実施例において、前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定する前に、前記候補軌跡集合における少なくとも１つの候補軌跡の軌跡パラメータ修正値を決定することと、前記軌跡パラメータ修正値に基づいて、前記候補軌跡集合における候補軌跡に対して調整を行い、更新された候補軌跡集合を得ることと、前記移動対象の走行情報及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定することと、を更に含む。このように、前記軌跡パラメータ修正値に基づいて、前記候補軌跡に対して調整を行うことによって、得られる目標軌跡の合理性を向上させる。
【0016】
幾つかの実施例において、前記移動対象の走行情報及び前記信頼度に基づいて、更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定することは、前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定することと、前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定することと、を含む。このように、候補軌跡の選定の目的を達成することができる。
【0017】
幾つかの実施例において、前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定することは、前記移動対象の環境情報に基づいて、前記移動対象の予測走行可能領域を決定することと、前記移動対象の制御情報に基づいて、前記予測走行可能領域に対して調整を行い、前記走行可能領域を得ることと、を含む。このように、移動対象の制御情報によって、前記予測走行可能領域を縮小し、より正確な走行可能領域を得る。
【0018】
幾つかの実施例において、前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定することは、前記更新された候補軌跡集合において、前記走行可能領域に含まれる候補軌跡を決定し、前記決定待ち目標軌跡集合を得ることと、前記決定待ち目標軌跡集合における、信頼度が最も大きい軌跡又は信頼度が所定の信頼度閾値よりも大きい軌跡を前記目標軌跡として決定することと、を含む。このように、該決定待ち目標軌跡集合における信頼度が最も大きい候補軌跡を目標軌跡とすることによって、予測される車両の目標軌跡の正確度を十分に向上させる。
【0019】
幾つかの実施例において、前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定することは、前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定することと、前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得ることであって、ここで、前記所定距離は、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、ここで、Ｍ及びＮはいずれも０よりも大きい整数である、ことと、を含む。このように、複数の推定点及び推定終点によって、フィッティングして複数の候補軌跡を得ることができる。
【0020】
幾つかの実施例において、前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定することは、前記参考終点が位置する道路幅に基づいて、前記参考終点の所定領域を決定することと、前記参考終点の所定領域をＭ個の所定サイズの格子に分割し、Ｍ個の格子の中心を前記Ｍ個の推定終点とすることと、を含む。このように、Ｍ個の格子の中心を前記Ｍ個の推定終点とすることによって、候補軌跡の可能な終点の予測の正確度を向上させることができる。
【0021】
幾つかの実施例において、前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得ることは、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点を決定することと、前記Ｎ個の所定距離及び前記中点に基づいて、Ｎ個の推定点を決定することと、前記Ｎ個の推定点及び前記Ｍ個の推定終点に基づいて、Ｍ×Ｎ個の候補軌跡を生成することと、前記環境情報に基づいて、前記Ｍ×Ｎ個の候補軌跡に対して選定を行い、前記候補軌跡集合を得ることと、を含む。このように、拘束条件を設定することによって、Ｍ×Ｎ個の候補軌跡のうち、拘束条件を満たさない軌跡を除去し、より正確な候補軌跡集合を得る。
【0022】
幾つかの実施例において、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することと、前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することと、を含む。このように、訓練済みのニューラルネットワークを用いて移動対象の参考終点を予測することによって、予測の正確度を向上させることができるだけでなく、予測速度を速くすることもできる。
【0023】
幾つかの実施例において、ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することは、前記移動対象の位置情報を第１ニューラルネットワークに入力することによって、前記移動対象の第１候補終点を予測することを含み、前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記第１候補終点及び前記移動対象の環境情報に基づいて、前記移動対象の参考終点の位置情報を決定することを含む。このように、予測された、通行者又は歩道と重なるか又は道路エッジを越える第１候補終点を調整することによって、正確率が高い参考終点の位置情報を得る。
【0024】
幾つかの実施例において、ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することは、前記移動対象の位置情報及び環境情報を第２ニューラルネットワークに入力し、前記移動対象の第２候補終点を予測することを含み、前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記第２候補終点及び前記環境情報に基づいて、前記移動対象の前記参考終点の位置情報を決定することを含む。このように、予測結果をより確実にし、実際の応用の安全性を向上させる。
【0025】
幾つかの実施例において、前記ニューラルネットワークの訓練方法は、前記移動対象の位置情報、及び／又は、前記移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークに入力し、第１予測終点を得ることと、前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、第１予測終点に関する第１予測損失を決定することと、第１予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練することと、を含む。このように、該第１予測損失を用いてニューラルネットワークの重みなどのパラメータを調整することによって、調整されたニューラルネットワークの分類結果をより正確にする。
【0026】
幾つかの実施例において、前記ニューラルネットワークの訓練方法は、前記移動対象の位置情報及び前記位置情報に対応する地図情報を前記ニューラルネットワークに入力し、第２予測終点を得ることと、前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、前記第２予測終点に関する第２予測損失を決定することと、前記第２予測終点と所定の拘束条件とのずれを決定することと、前記ずれに基づいて、前記第２予測終点の第２予測損失を調整し、第３予測損失を得ることと、前記第３予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練することと、を含む。このように、該ニューラルネットワークから出力される目標軌跡の正確度をより高くする。
【0027】
本願の実施例は、軌跡予測装置を提供する。前記装置は、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される参考終点予測モジュールと、前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定するように構成される候補軌跡決定モジュールであって、ここで、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる、候補軌跡決定モジュールと、前記候補軌跡集合から、前記移動対象の目標軌跡を決定するように構成される目標軌跡決定モジュールと、を備える。
【0028】
これに応じて、本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、以上に記載の方法のステップを実現することができる。
【0029】
本願の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、以上に記載の方法のステップを実現することができる。
本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、上記いずれか１つに記載の軌跡予測方法を実現するように構成される。
本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、上記いずれか１つに記載の軌跡予測方法を実現するように構成される。
【0030】
本願の実施例は、軌跡予測方法、装置、機器及び記憶媒体を提供する。ここで、まず、移動対象が位置する現在の位置の位置情報に基づいて、移動対象の参考終点を予測し、続いて、前記参考終点及び過去軌跡に基づいて、移動対象の複数の候補軌跡からなる候補軌跡集合を決定し、最後に、候補軌跡集合から、移動対象の目標軌跡を決定する。このように、移動対象の位置情報を考慮することによって、移動対象の参考終点を予測し、該移動対象の走行可能な複数の候補軌跡を予測し、該複数の候補軌跡から、最適な軌跡を選出して移動対象の走行目標軌跡とすることによって、移動対象の未来の移動軌跡をより正確に推定する。
【図面の簡単な説明】
【0031】
【図1A】本願の実施例による軌跡予測方法を応用できるシステムアーキテクチャを示す概略図である。
【図1B】本願の実施例による軌跡予測方法の実現フローを示す概略図である。
【図1C】本願の実施例による軌跡予測方法の実現フローを示す概略図である。
【図2A】本願の実施例による軌跡予測方法の別の実現フローを示す概略図である。
【図2B】本願の実施例によるニューラルネットワークの訓練方法の実現フローを示す概略図である。
【図3A】本願の実施例による候補軌跡ネットワークの実現構造を示す概略図である。
【図3B】本願の実施例による候補軌跡ネットワークの実現構造を示す概略図である。
【図4A】本願の実施例による候補軌跡の生成の構造を示す概略図である。
【図4B】本願の実施例による複数の参考ルート上で候補軌跡を生成するフローを示す概略図である。
【図5】本願の実施例による軌跡予測装置の構造を示す概略図である。
【図6】本願の実施例によるコンピュータ機器の構造を示す概略図である。
【発明を実施するための形態】
【0032】
ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、これらの図面は、本願に合致する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈するために用いられる。
【0033】
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、発明の具体的な技術的解決手段を更に詳しく説明する。下記実施例は、本願を説明するためのものであり、本願の範囲を限定するものではない。
【0034】
本実施例は、コンピュータ機器に適用する軌跡予測方法を提供する。前記コンピュータ機器は、移動対象又は移動しない対象を含んでもよい。該方法により実現される機能は、コンピュータ機器におけるプロセッサによりプログラムコードを呼び出すことで実現されてもよく、無論、プログラムコードは、コンピュータ記憶媒体に記憶されてもよい。これから分かるように、該コンピュータ機器は少なくともプロセッサ及び記憶媒体を含む。
【0035】
図１Ａは、本願の実施例による軌跡予測方法を応用できるシステムアーキテクチャを示す概略図である。図１Ａに示すように、該システムアーキテクチャに、車両端末１３１と、ネットワーク１３２と、軌跡予測端末１３３と、が含まれてもよい。１つの例示的な応用をサポートすることを実現するために、車両端末１３１と軌跡予測端末１３３は、ネットワーク１３２を介して通信接続を確立してもよい。車両端末１３１は、ネットワーク２０２を介して、軌跡予測端末１３３に位置情報を報告し（又は、軌跡予測端末１３３は、車両端末１３１の位置情報を自動的に取得し）、軌跡予測端末１３３は、受信した位置情報に応答して、該車両の参考終点の位置情報を決定し、続いて、車両の位置情報及び参考終点の位置情報によって、複数の候補軌跡を予測し、最後に、軌跡予測端末１３３は、これら複数の候補軌跡から、車両の目標軌跡を選択する。
【0036】
例として、車両端末１３１は、車載画像収集機器を含んでもよく、軌跡予測端末１３３は、ビジョン情報処理能力を有する車載ビジョン処理機器又はリモートサーバを含んでもよい。ネットワーク１３２は、有線接続又は無線接続方式を用いてもよい。ここで、軌跡予測端末１３３が車載ビジョン処理機器である場合、車両端末１３１は、有線接続の方式によって、車載ビジョン処理機器と通信接続してもよく、例えば、バスを介して、データ通信を行う。軌跡予測端末がリモートサーバである場合、車両端末は、無線ネットワークを介して、リモートサーバとデータインタラクションを行ってもよい。
【0037】
又は、幾つかのシーンにおいて、車両端末１３１は、車載画像収集モジュールを有する車載ビジョン処理機器であってもよく、具体的には、カメラを有する車載ホストとして実現される。この場合、本願の実施例による軌跡予測方法は、車両端末１３１によって実行されてもよい。上記システムアーキテクチャは、ネットワークと軌跡予測端末を含まなくてもよい。
【0038】
【0039】
ステップＳ１０１において、移動対象の位置情報に基づいて、移動対象の参考終点の位置情報を決定する。
【0040】
幾つかの可能な実現形態において、前記移動対象は、様々な機能の機能、様々な車輪数の車両など、ロボット、飛行機、盲導器、スマート家具機器又はスマート玩具などを含む。以下では、車両を例として説明する。前記参考終点は、所定の制限タイプ以外の点を含む。ここで、前記所定の制限タイプは少なくとも、道路エッジ点と、障害物と、通行者と、のうちの１つを含む。つまり、参考終点は、道路エッジの点、道路における障害物が存在する点、道路における通行者がいる点などを含まない。移動対象の位置情報は、前記移動対象の時系列位置情報又は前記移動対象の過去軌跡を含む。参考終点の決定は、下記複数の方式によって実現することができる。例えば、まず、道路コードの画像をネットワーク入力として使用することなく、移動対象の位置情報によって、参考終点を予測する。又は、道路コード画像をネットワーク入力とし、移動対象の位置情報に基づいて、参考終点を予測する。続いて、予測された参考終点に対して拘束を行う。例えば、１つの特定の領域を設定し、特定の領域に入る点のみは、参考終点として決定される。ステップＳ１０１における参考終点の決定方法として、任意の方法を用いてもよく、移動物体の位置情報に基づいて決定するという方法であればよい。
【0041】
例えば、位置情報によって終点を決定するという方法及び特徴学習又は強化学習した機械学習モデルを用いてもよい。ニューラルネットワークは少なくとも移動対象の位置情報を入力し、終点又は終点を含む軌跡を出力することができる。該方法において、移動対象周囲の位置情報及び環境情報をニューラルネットワークの入力として用いることによって、終点を決定することができる。又は、移動対象の位置情報をニューラルネットワークの入力として用い、そして、ニューラルネットワークの出力及び移動対象周囲の環境情報を用いて、終点を決定することができる。それ以外に、移動対象周囲の位置情報及び環境情報をニューラルネットワークの入力として用い、そして、ニューラルネットワークの出力及び移動対象周囲の環境情報を用いて、参考終点を決定することができる。例えば、移動対象の軌跡をニューラルネットワークの出力として決定し、移動対象周囲の環境情報に基づいて、決定された候補軌跡を調整し、これによって、該候補軌跡を、通行者又は歩道と重ならせなく、最適化した候補軌跡に含まれる参考終点を決定することができる。
【0042】
参考終点の決定の別の方法として、位置情報及び移動対象の運動学的モデルを使用する方法を採用してもよい。該方法において、位置情報、移動対象の動きモデル及び移動対象周囲の環境情報を用いて、参考終点を決定することができる。
【0043】
１つの具体的な例において、前記ステップＳ１０１は、下記２つの方式によって実現してもよい。方式１において、まず、前記車両の位置情報（例えば、過去軌跡）に対してサンプリングを行い、サンプリング点集合を得て、続いて、前記所定のニューラルネットワークを用いて、前記サンプリング集合に対して特徴抽出を行い、最後に、抽出した特徴を前記所定のニューラルネットワークの全結合層に入力し、前記参考終点を得る。方式２において、車両の位置情報に対してサンプリングを行い、車両の現在の走行速度を参照して、所定の時間帯内の車両の参考終点を予測することができる。別の具体的な例において、位置情報は、現在の時刻を時刻終点とする所定の時間帯内の車両の走行軌跡であってもよく、例えば、現在の時刻を終点とした３秒間内の走行軌跡であってもよい。続いて、０．３秒をステップサイズとして、該３秒間内の過去軌跡に対してサンプリングを行い、最後に、得られたサンプリング点を先験的情報として、移動対象の参考終点を予測する。
【0044】
ステップＳ１０２において、前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定する。
【0045】
幾つかの可能な実現形態において、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる。つまり、候補軌跡集合に、幾つか（例えば、１つの候補軌跡）の終点の位置情報が参考終点の位置情報と同じである候補軌跡が含まれ、さらに、幾つかの終点の位置情報が参考終点の位置情報と異なる候補軌跡が含まれる。このように、許容範囲内に複数の候補軌跡を決定することによって、決定された複数の候補軌跡が合理的なものであるだけでなく、候補軌跡の多様性を豊かにし、更に、豊かな候補軌跡から、目標軌跡を選定することができ、予測される目標軌跡の正確率を向上させる。上記ステップＳ１０２は、下記プロセスによって実現してもよい。まず、前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定し、前記Ｍ個の推定終点に前記参考終点が含まれる。続いて、前記過去走行軌跡、Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を生成し、ここで、前記所定距離は、過去走行軌跡における最後のサンプリング点と前記終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、Ｍ及びＮはいずれも０よりも大きい整数である。前記候補軌跡集合は、複数の候補軌跡を含む曲線集合である。前記候補軌跡の軌跡パラメータは、推定終点の座標と、候補軌跡の中点から過去軌跡における最後のサンプリング点と該推定終点との連結線までの距離と、を含む。軌跡パラメータの修正値は、推定終点の座標及び距離の修正値であり、修正値に基づいて、候補軌跡の曲線形状を調整し、それによって、調整後の候補軌跡をより合理的にする。
【0046】
ステップＳ１０３において、前記候補軌跡集合から、前記移動対象の目標軌跡を決定する。
【0047】
幾つかの可能な実現形態において、各候補軌跡の信頼度及び走行情報に従って、複数の候補軌跡から、目標軌跡を選出し、移動対象を該目標軌跡に従って走行させる。
【0048】
本願の実施例は、関連技術において、車両の未来の時系列に対応する離散座標点を出力し、離散座標点で車両の未来の軌跡を表すことによって、車両の未来の走行傾向を表すことができなく、実際の適用への作用が小さいという問題を効果的に解決することができる。移動対象の参考終点を予測し、該移動対象の走行可能な複数の候補軌跡を予測し、該複数の候補軌跡から、最適な軌跡を選出して移動対象の走行目標軌跡とすることによって、移動対象の未来の移動軌跡をより正確に推定する。
【0049】
幾つかの実施例において、移動対象周囲の環境情報によって、該移動対象の位置情報を参照して、移動対象の参考終点の位置情報を正確に予測することができる。これは、以下のステップによって実現してもよい。
【0050】
まず、前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得する。
【0051】
例えば、移動対象の過去軌跡に基づいて、該過去軌跡周囲の環境情報を取得する。例えば、該過去軌跡周囲の道路情報、障害物情報、通行者情報、交通信号情報、交通標識情報、交通ルール情報又は他の移動対象情報などを取得する。ここで、道路情報は少なくとも、現在の道路状況（例えば、渋滞状況）、道路幅及び道路の交差点情報（例えば、交差点であるかどうか）などを含む。障害物情報は、現在の道路上にバリケード又は他の障害物などが設けられるかどうかを含む。通行者情報は、道路上に通行者がいるかどうか及び通行者の位置を含む。交通信号情報は少なくとも、道路上に設けられる交通信号の数及び交通信号が正常に動作するかどうかなどを含む。交通標識情報は、交通信号の現在点灯しているライトの種類及び時間長などを含む。交通ルール情報は少なくとも、現在の道路が右側通行であるかそれとも右側通行であるか、一方通行路であるかそれとも二方通行路であるか、道路を通行できる車両タイプなどを含む。幾つかの可能な実現形態において、前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得することは、下記２つの方式によって実現してもよい。
【0052】
方式１において、前記移動対象によって収集された画像情報に基づいて、前記環境情報を決定する。
【0053】
例えば、まず、移動対象に配置されるカメラによって、移動対象の過去軌跡周囲の画像を収集し（例えば、移動対象周囲の環境に対して画像収集を行い）、画像情報を得て、画像内容を分析することによって、該移動対象周囲の環境情報を得る。例えば、移動対象に対して画像収集を行った後、移動対象の道路情報、障害物情報、通行者情報、交通信号情報などを知る。これらの情報を総合的に分析することによって、移動対象の可能な参考終点の位置情報を予測し、可能な参考終点から、所定の制限タイプに含まれる点を排除し、該移動対象の参考終点を得る。
【0054】
方式２において、前記移動対象によって受信された、現在の環境を表す通信情報に基づいて、前記環境情報を決定する。
【0055】
例えば、移動対象は、通信機器を用いて、他の機器から送信された、現在の環境を表す通信情報を受信し、該通信情報を分析することによって、環境情報を得る。ここで、通信情報に少なくとも、該移動機器が所在する位置の環境パラメータ、例えば道路情報、障害物情報、通行者情報、交通信号情報、交通標識情報、交通ルール情報又は他の移動対象情報などが含まれる。
【0056】
続いて、前記環境情報に基づいて、前記移動対象の参考終点の位置情報を決定する。
【0057】
幾つかの実施例において、移動対象が交差点に位置する場合、以下のステップによって、移動対象の参考終点の位置情報を決定することができる。
【0058】
ステップ１において、前記移動対象の位置情報に基づいて、前記移動対象が所在する道路の交差点情報を決定する。
【0059】
例えば、移動対象の過去軌跡に基づいて、移動対象が該過去軌跡に沿って走行し続ける前方道路の交差点情報を判断し、ここで、交差点情報は、道路の数、道路の交差状況などを含む。
【0060】
ステップ２において、前記交差点情報が少なくとも２つの道路が存在することを表すことに応答して、前記移動対象の複数の参考終点の位置情報を決定する。
【0061】
ここで、移動対象が所在する道路の交差点が複数の道路の交差点である場合、交差点の各道路上の参考終点をそれぞれ決定する。即ち、交差点における各道路で、可能な参考終点の位置情報を予測し、そして、交差点の異なる道路の参考終点は異なる。例えば、移動対象が所在する道路の交差点が十字交差点であり、まず、十字交差点における、移動対象の走行方向の逆方向以外の３つの交差点の道路を決定し、続いて、３つの道路上の参考終点の位置情報をそれぞれ予測する。このように、複数の参考終点を予測により得て、続いて、これら複数の参考終点から、信頼度が最も高い目標終点を選出し、参考終点の漏れを減少させ、それにより決定される目標軌跡の正確度を向上させる。
【0062】
幾つかの実施例において、予測される参考終点の正確度を向上させるために、前記ステップＳ１０１は、以下のステップによって実現してもよい。
【0063】
ステップ１において、前記移動対象の位置情報に基づいて、前記移動対象の少なくとも１つの参考ルートを決定する。
【0064】
ここで、移動対象の位置情報に含まれる現在の道路状況及び交差点に位置するかどうかなどの情報をニューラルネットワークに入力し、複数の参考ルートを予測する。例えば、位置情報が、移動対象が直進の一方通行路に位置することを表す場合、参考ルートは１つであり、移動対象の移動方向での一方通行路における１つのルートである。位置情報が、移動対象がＴ字路に位置することを表す場合、参考ルートは３つであり、それぞれ、移動対象の移動方向の前方のＴ字路における各道路上でのルートである。位置情報が、移動対象が十字交差点に位置することを表す場合、参考ルートは４つであり、それぞれ、移動対象の移動方向の前方の十字交差点における各道路上でのルートである。このように、移動対象の位置情報に基づいて、総合的に考慮することによって、移動対象の走行可能な複数の参考ルートを予測する。
【0065】
ステップ２において、前記参考ルートに基づいて、前記参考終点の位置情報を決定する。
【0066】
幾つかの可能な実現形態において、これら複数の参考ルートから、可能性が最も高い移動対象の未来の走行ルートを決定し、該参考ルート上で、移動対象の参考終点の位置情報を決定する。
【0067】
幾つかの実施例において、まず、前記参考ルートの走行可能領域（Ｆｒｅｅｓｐａｃｅ）を決定する。
【0068】
例えば、参考ルートのバリケード情報及び道路エッジを決定する。ここで、各参考ルート上の障害物、例えば通行者、故障した車両又はバリケード施設などを決定する。
【0069】
続いて、前記参考ルートのバリケード情報及び道路エッジに基づいて、前記参考ルートの走行可能領域を決定する。
【0070】
ここで、各参考ルート上のバリケード情報及び道路エッジを考慮することによって、該参考ルート上の走行可能領域を画定する。例えば、参考ルートの道路エッジ以内であって、且つ路面上でバリケードがない領域を走行可能領域とする。このように、各参考ルート上での走行可能領域の有効性を向上させる。
【0071】
続いて、前記移動対象の位置情報に基づいて、前記走行可能領域における前記移動対象の参考終点の位置情報を決定する。ここで、前記移動対象の過去軌跡に基づいて、前記参考ルートの走行可能領域における前記移動対象の参考終点を予測することができる。例えば、参考ルートの走行可能領域が決定されたという条件で、移動対象の過去軌跡に基づいて、各参考ルート上で、走行可能領域内の参考終点を予測する。
【0072】
以上では、走行軌跡の終点の予測方式を提供した。該方式において、ネットワークは、軌跡の終点を予測した後、ステップ２における終点に基づいて、候補軌跡を生成し、各候補軌跡に対応する終点を決定し、候補軌跡の終点は、道路を越えてはいけず、障害物（例えば、通行者）がある所に位置してもいけない。それにより予測される参考終点の有効性を向上させる。
【0073】
最後に、前記参考ルート上の参考終点及び前記移動対象の位置情報に基づいて、前記参考ルート上の候補軌跡集合を決定する。
【0074】
ここで、各参考ルートに対して、参考終点の付近で、終点が存在し得る複数の格子を予測し、過去軌跡における最後のサンプリング点及び複数の特定の所定距離に基づいて、走行軌跡上での複数の可能な推定点を決定する。推定した幾つかの点と複数の参考終点を連結することによって、該参考ルート上での候補軌跡集合を得る。このように、各参考ルート上での候補軌跡集合を得て、そして、前記少なくとも１つの参考ルート上での候補軌跡集合から、前記移動対象の目標軌跡を決定する。
【0075】
このように、複数の参考ルート上での候補軌跡集合から、複数回の反復によって、拘束条件を最終的に満たす候補軌跡を可能性が最も高い移動対象の走行軌跡、即ち目標走行軌跡として決定する。
【0076】
本願の実施例は、移動対象に用いられる軌跡予測方法を提供する。例えば、車両に適用することを例として説明する。図１Ｃは、本願の実施例による軌跡予測方法の実現フローを示す概略図である。図１Ｃに示すように、図１Ｃに示される方法を参照しながら、説明する。
【0077】
ステップＳ１１１において、移動対象の過去軌跡に基づいて、前記移動対象の参考終点を予測する。
【0078】
ステップＳ１１２において、参考終点を含む所定領域内において、Ｍ個の推定終点を決定する。
【0079】
幾つかの可能な実現形態において、各参考ルートに対して、いずれも、該参考ルートの、参考終点を含む所定領域内において、Ｍ個の推定終点を決定する。前記所定領域は、前記参考終点の周囲領域であり、例えば、参考終点を中心として、辺長が１００ｍである正方形である。続いて、ステップサイズ５ｍに従って、該正方形を複数の正方形格子に分割し、各格子の中心は、推定終点である。まず、前記参考終点が位置する道路幅に基づいて、前記参考終点の所定領域を決定する。例えば、参考ルートの道路エッジ以内の路面における、参考終点を含む領域を、所定領域とする。１つの具体的な例において、道路幅が４メートルであり、参考終点を含む、幅が４メートルであり、長さが１００メートルである領域を、所定領域とする。続いて、前記参考終点の所定領域をＭ個の所定サイズの格子に分割し、Ｍ個の格子の中心を前記Ｍ個の推定終点とする。例えば、同等のサイズの格子を用いて、格子のサイズを１０センチメートルとする。このように、Ｍ個の格子の中点を前記Ｍ個の推定終点、即ち候補軌跡の可能な終点とすることによって、各参考ルート上での候補軌跡の可能な終点を得る。
【0080】
ステップＳ１１３において、前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得る。
【0081】
幾つかの可能な実現形態において、前記所定距離は、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、ここで、Ｍ及びＮはいずれも０よりも大きい整数である。１つの具体的な例において、まず、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点を決定する。次に、前記Ｎ個の所定距離及び前記中点に基づいて、Ｎ個の推定点を決定する。該推定点は、候補軌跡上での点である。所定距離が、移動対象の位置情報（例えば、過去軌跡）における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離であるため、中点と所定距離を決定した後、該中点を垂足として該中点までの距離が所定距離を満たす推定点を決定することができる。それにより、Ｎ個の所定距離は、Ｎ個の推定点に対応する。更に、Ｎ個の推定点及びＭ個の推定終点のうちの各推定終点に基づいて、Ｍ×Ｎ個の候補軌跡を生成する。即ち、Ｎ個の推定点及び１つの推定終点に基づいて、フィッティングしてＮ個の候補軌跡を得ることができる。従って、Ｎ個の推定点及びＭ個の推定終点に基づいて、フィッティングしてＭ×Ｎ個の候補軌跡を得ることができる。最後に、前記環境情報に基づいて、前記Ｍ×Ｎ個の候補軌跡に対して選定を行い、前記候補軌跡集合を得る。ここで、これらの環境情報は、画像から取得されてもよい。例えば、画像から障害物が検出された場合、候補軌跡は、障害物を貫通してはならない。更に、画像から道路情報を取得することもできる。これは、候補軌跡の設定の場合に用いられてもよい。候補軌跡を生成する時に、周囲の環境情報を考慮して、拘束条件を設定し、Ｍ×Ｎ個の候補軌跡のうち、拘束条件を満たさない軌跡を除去し、候補軌跡集合を得る。例えば、障害物を貫通する候補軌跡を除去する。
【0082】
上記ステップＳ１１２及びステップＳ１１３において、「前記移動対象の複数の候補軌跡からなる候補軌跡集合を決定すること」を実現する方式を提供した。該方式において、参考終点の周囲に、候補軌跡終点でありえる複数の推定終点を決定し、続いて、推定終点及び所定距離に基づいて、フィッティングして複数の候補軌跡を得る。このように、曲線の表現方式で車両の目標軌跡を予測することによって、軌跡の傾向を表すことができるだけでなく、ノイズに対して比較的高いロバスト性を有するとともに、拡張可能性が高い。
【0083】
ステップＳ１１４において、前記候補軌跡集合における少なくとも１つの候補軌跡の軌跡パラメータ修正値を決定する。
【0084】
幾つかの可能な実現形態において、前記ステップＳ１１４において、訓練済みのニューラルネットワークに基づいて、各候補軌跡の軌跡パラメータ修正値を出力することができ、更に、以下に記載される訓練方法で訓練済みのニューラルネットワークを用いて、前記パラメータ修正値を出力することができるが、これに限られない。前記軌跡パラメータは、軌跡曲線を表すためのパラメータを含んでもよい。例えば、軌跡パラメータは、軌跡曲線の端点を表すための座標、及び／又は、軌跡曲線の中点と軌跡曲線の２つの端点の連結線の間の距離などを含んでもよいが、これらに限られない。前記軌跡パラメータ修正値に基づいて、前記候補軌跡を調整し、得られる目標軌跡の合理性を向上させる。例えば、修正値は、軌跡曲線の端点の座標の調整値、及び／又は、軌跡曲線の中点と軌跡曲線の２つの端点の連結線との間の距離の調整値を含んでもよいが、これらに限られない。前記軌跡パラメータ修正値は、本願の実施例において訓練済みのニューラルネットワークによって決定されたものであってもよく、他の方式で訓練済みのニューラルネットワークによって決定されたものであってもよい。
【0085】
ステップＳ１１５において、前記軌跡パラメータ修正値に基づいて、前記候補軌跡集合における候補軌跡に対して調整を行い、更新された候補軌跡集合を得る。
【0086】
幾つかの可能な実現形態において、軌跡曲線の端点の座標の調整値及び軌跡曲線の中点と軌跡曲線の２つの端点の連結線との間の距離の調整値に基づいて、候補軌跡集合における各候補軌跡に対して修正を行い、複数の修正された候補軌跡、即ち、更新された候補軌跡集合を得る。このように、訓練済みのニューラルネットワークから出力された修正値に基づいて、候補軌跡に対して修正を行うことによって、更新された候補集合における候補軌跡の正確度を向上させる。
【0087】
ステップＳ１１６において、前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定する。
【0088】
幾つかの可能な実現形態において、更新された候補軌跡集合から、前記目標軌跡を選定する。前記移動対象の走行情報は少なくとも、前記移動対象の路面情報及び／又は前記移動対象の制御情報を含む。例えば、路面情報は、路面幅、路面エッジ及び路面上での中心線などを含む。移動対象の制御情報は、走行方向、走行速度及び車ライト状態（例えば、ウィンカーの状態）などを含む。ここで、まず、前記路面情報に基づいて、前記移動対象の予測走行可能領域を決定する。前記走行可能領域は、図３Ａに示すように、車両の走行可能領域４６である。ここで、前記路面情報は少なくとも、路面が同一方向の車線であるかどうか、路面の幅及び路面の交差点などを含む。例えば、路面情報は、該道路区間が同一方向の車線であって、且つ交差点ではないことを表す場合、予測走行可能領域は、該車両の前方の路面全体をカバーする領域であり、即ち、該領域は、単一方向である。路面情報は、該道路区間が十字交差点であることを表す場合、予測走行可能領域は、該車両の四周の路面全体をカバーする領域であり、即ち、該領域は、十字交差点の３つの方向（右折、直進及び右折）を含む。
【0089】
次に、前記更新された候補軌跡集合において、前記予測走行可能領域に含まれない調整待ち候補軌跡を決定する。例えば、候補軌跡のうち、走行可能領域４６に含まれない候補軌跡を決定する。
【0090】
更に、前記調整待ち候補軌跡の信頼度を低減させ、調整された候補軌跡集合を得る。それと同時に、走行可能領域に含まれる候補軌跡の信頼度を増大させる。このように、どれらの候補軌跡が最終的な目標軌跡に最も近いかをより明確に表すことができる。
【0091】
最後に、前記移動対象の制御情報に基づいて、前記予測走行可能領域を調整し、前記走行可能領域を得て、前記移動対象の制御情報に基づいて、前記予測走行可能領域を縮小し、より正確な走行可能領域を得る。例えば、路面情報は、該道路区間が十字交差点であることを表し、所定の走行可能領域は、十字交差点の３つの方向（左折、直進及び右折）を含むが、制御情報は、車両が左折しようとすることを表す場合、予測走行可能領域のカバレッジ面積は、３つの方向（左折、直進及び右折）をカバーするものから、左折方向のみをカバーするものに縮小される。このように、走行可能領域のカバレッジ面積を更に正確にすることによって、最終的な車両の目標軌跡をより正確に決定することができる。
【0092】
ステップ２において、前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定する。
【0093】
まず、前記更新された候補軌跡集合において、前記走行可能領域に含まれる候補軌跡を決定し、前記決定待ち目標軌跡集合を得る。続いて、前記決定待ち目標軌跡集合における、信頼度が所定の信頼度閾値よりも大きい軌跡を前記目標軌跡として決定する。例えば、該決定待ち目標軌跡集合における、信頼度が最も大きい候補軌跡を目標軌跡とする。このように、予測される車両の目標軌跡の正確度を十分に向上させる。このように、過去軌跡に基づいて、候補軌跡集合を予測し、続いて、制御情報及び路面に基づいて、候補軌跡が帰属すべき走行可能領域を更に縮小することによって、候補軌跡の選定の目的を達成する。
【0094】
幾つかの実施例において、ステップＳ１１６は、以下のステップによって実現してもよい。
【0095】
ステップＳ１６１において、前記候補軌跡集合における候補軌跡の信頼度を決定する。
【0096】
幾つかの可能な実現形態において、前記信頼度は、候補軌跡が目標軌跡である確率を表すためのものである。前記信頼度は、本願の実施例において訓練済みのニューラルネットワークによって決定されたものであってもよく、他の方式で訓練済みのニューラルネットワークによって決定されたものであってもよい。
【0097】
ステップＳ１６２において、前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、移動対象の前記目標軌跡を決定する。
【0098】
幾つかの可能な実現形態において、移動対象の路面情報及び移動対象の制御情報のうちの１つ又は両者の組み合わせを先験的情報として、候補軌跡に対して修正を行い、それによって、最終的に得られる目標軌跡に、より高い合理性を持たせる。前記移動対象の制御情報は、エンジンの運転状態、ハンドルステアリング情報又は速度制御情報（例えば、減速、加速又はブレーキ）のうちの少なくとも１つを含んでもよいが、これらに限られない。
【0099】
前記ステップＳ１６２は、以下の２つのステップによって実現してもよい。
【0100】
ステップ１において、前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域（Ｆｒｅｅｓｐａｃｅ）を決定する。
【0101】
ここで、移動対象の環境情報は、路面情報であってもよい。前記移動対象の走行可能領域の決定方式は、以下の複数の方式を含む。方式１において、移動対象が所在する道路の路面情報に基づいて、前記移動対象の走行可能領域を決定する。方式２において、移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定する。方式３において、前記移動対象が所在する道路の路面情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定する。前記路面情報は、車両の現在の走行時刻で位置する路面の情報である。前記制御情報は、車両の過去軌跡の収集に対応する時刻での車ライト状況である。例えば、過去軌跡の収集時刻で、車ライドが右折を示す場合、制御情報は、右折である。それにより、車両の走行可能領域が右折に対応する路面領域であると決定する。前記走行可能領域は、移動対象の走行のための領域、例えば、障害物がなく、且つ通行が許容される路面領域と理解されてもよい。
【0102】
まず、前記路面情報に基づいて、前記移動対象の予測走行可能領域を決定する。
【0103】
前記走行可能領域は、図３Ａに示すように、車両の走行可能領域４６である。ここで、前記路面情報は、路面が同一方向の車線であるかどうか、路面の幅及び路面の交差点などのうちの少なくとも１つを含んでもよいが、これらに限られない。例えば、路面情報は、該道路区間が同一方向の車線であって、且つ交差点ではないことを表す場合、予測走行可能領域は、該車両の前方の路面全体をカバーする領域であり、即ち、該領域は、単一方向である。路面情報は、該道路区間が十字交差点であることを表すと、予測走行可能領域は、該車両の四周の路面全体をカバーする領域であり、即ち、該領域は、十字交差点の３つの方向（右折、直進及び右折）を含む。
【0104】
次に、前記更新された候補軌跡集合において、前記予測走行可能領域に含まれない調整待ち候補軌跡を決定する。例えば、候補軌跡のうち、走行可能領域４６に含まれない候補軌跡を決定する。
【0105】
更に、前記調整待ち候補軌跡の信頼度を低減させ、調整された候補軌跡集合を得る。それと同時に、走行可能領域に含まれる候補軌跡の信頼度を増大させる。このように、どれらの候補軌跡が最終的な目標軌跡に最も近いかをより明確に表すことができる。
【0106】
最後に、前記移動対象の制御情報に基づいて、前記予測走行可能領域を調整し、前記走行可能領域を得る。例えば、路面情報は、該道路区間が十字交差点であることを表し、所定の走行可能領域は、十字交差点の３つの方向（左折、直進及び右折）を含むが、制御情報は、車両が左折しようとすることを表すと、予測走行可能領域のカバレッジ面積は、３つの方向（左折、直進及び右折）をカバーするものから、左折方向のみをカバーするものに縮小されてもよい。このように、走行可能領域のカバレッジ面積を更に正確にすることによって、最終的な車両の目標軌跡をより正確に決定することができる。
【0107】
ステップ２において、前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定する。
【0108】
幾つかの可能な実現形態において、前記更新された候補軌跡集合における候補軌跡に対して選定を行い、前記目標軌跡を得る。まず、前記更新された候補軌跡集合において、前記走行可能領域に含まれる候補軌跡を決定し、前記決定待ち目標軌跡集合を得る。続いて、前記決定待ち目標軌跡集合における、信頼度が所定の信頼度閾値よりも大きい軌跡を前記目標軌跡として決定する。例えば、該決定待ち目標軌跡集合における信頼度が最も大きい候補軌跡を目標軌跡とする。このように、予測される車両の目標軌跡の正確度を十分に向上させる。１つの具体的な例において、現在の時刻を時刻終点として、所定の時間帯内の車両の走行軌跡を過去軌跡として取得し、例えば、３秒間内の走行軌跡を取得する。続いて、この３秒間内の過去軌跡及びこの３秒間内の車ライトの向きを先験的情報として、車両の未来の所定の時間帯内の目標走行軌跡を予測する。例えば、未来の３秒間内の走行軌跡を予測する。これにより、自動走行する車両に対して、正確度が高い未来の走行軌跡を提供する。
【0109】
本願の実施例において、車両の制御情報を用いて車両の走行可能領域を縮小し、そして、走行可能領域に含まれる候補軌跡のうち、信頼度が最も大きい候補軌跡を車両の目標軌跡とすることによって、予測結果をより確実にし、実際の応用の安全性を向上させる。
【0110】
本願の実施例は、軌跡予測方法を提供する。該方法において、ステップＳ１０１では、訓練済みのニューラルネットワークを用いて、移動対象の参考終点に対して予測を行うことができる。図２Ａに示すように、図２Ａは、本願の実施例による軌跡予測方法の別の実現フローを示す概略図である。図１を参照しながら、以下のように説明する。
【0111】
ステップＳ２０１において、ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測する。
【0112】
幾つかの可能な実現形態において、該ニューラルネットワークは、訓練済みのニューラルネットワークであり、これは、下記複数の方式によって訓練されてもよい。
【0113】
方式１において、まず、前記移動対象の位置情報、及び／又は、前記移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークに入力し、第１予測終点を得る。
【0114】
例えば、移動対象の位置情報をニューラルネットワークの入力として、第１予測終点を予測する。又は、移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークの入力として、第１予測終点を予測する。
【0115】
次に、前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、第１予測終点に関する第１予測損失を決定する。
【0116】
幾つかの可能な実現形態において、前記移動対象の位置情報、及び／又は、前記移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークに入力し、複数の候補軌跡を得る。続いて、各候補の大まかな信頼度を推定し、続いて、真値軌跡に基づいて、候補軌跡集合における各軌跡の正確度を決定し、該正確度をニューラルネットワークにフィードバックし、ニューラルネットワークに、重みパラメータなどのネットワークパラメータを調整させ、それによりニューラルネットワークの分類の正確度を向上させる。例えば、１００個の候補軌跡を得る。まず、ニューラルネットワークを用いて、畳み込み、逆畳み込みなどの操作を行い、これら１００個の候補軌跡の信頼度を得る。訓練段階において、ニューラルネットワークのパラメータがランダムに初期化されたものであるため、これら１００個の候補軌跡の大まかに推定された信頼度もランダムなものである。従って、ニューラルネットワークによって予測される候補軌跡の正確度を向上させようとする場合、ニューラルネットワークに、１００個の候補軌跡のうち、どれらが正確であるか、それらが間違っているかを知らせる必要がある。これによれば、対比関数を用いて、１００個の候補軌跡と真値軌跡を比較し、候補軌跡と真値軌跡との類似度が所定の類似度閾値よりも大きければ、１を出力し、そうでなければ、０を出力する。このように、対比関数は、１００個の対比値（０，１）値を出力する。続いて、これら１００個の対比値をニューラルネットワークに入力し、ニューラルネットワークにおいて、損失関数を用いて、候補軌跡に対して監督を行い、それにより、対比値が１である候補軌跡に対して、該候補軌跡の信頼度を増大させ、対比値が０である候補軌跡に対して、該候補軌跡の信頼度を減少させる。このように、各前記候補軌跡の信頼度を得て、即ち、前記候補軌跡の分類結果を得る。最後に、前記分類結果に対応する軌跡予測損失を用いて、前記ニューラルネットワークの重みパラメータを調整する。
【0117】
最後に、前記第１予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練する。
【0118】
例えば、前記重みパラメータは、ニューラルネットワークにおけるニューロン重みなどである。前記第１予測損失は、第１カテゴリの候補軌跡サンプル（例えば、正例のサンプル）と前記第２カテゴリの候補軌跡サンプル（例えば、負例のサンプル）のクロスエントロピー損失である。該予測損失を用いて、ニューラルネットワークの重みなどのパラメータに対して調整を行うことによって、調整されたニューラルネットワークの分類結果をより正確にする。
【0119】
方式２において、まず、前記移動対象の位置情報及び前記位置情報に対応する地図情報を前記ニューラルネットワークに入力し、第２予測終点を得る。
【0120】
幾つかの実施例において、地図情報は少なくとも、現在の道路の地理的位置、路面幅、道路エッジ及びバリケード情報などを含む。
【0121】
次に、前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、前記第２予測終点に関する第２予測損失を決定する。
【0122】
例えば、真値軌跡と第２予測終点を比較し、ニューラルネットワークの、前記第２予測終点に関する第２予測損失を決定する。
【0123】
更に、前記第２予測終点と所定の拘束条件とのずれを決定する。
【0124】
幾つかの実施例において、所定の拘束条件は、道路における予測終点が存在する可能性がある領域を含み、例えば、道路における道路エッジ点、障害物及び通行者など以外の領域を含む。例えば、第２予測終点と、予測終点が存在する可能性がある領域と、のずれを決定する。
【0125】
更に、前記ずれに基づいて、前記第２予測終点の第２予測損失を調整し、第３予測損失を得る。
【0126】
例えば、該ずれが比較的に大きい場合、第２予測終点が、予測終点が存在する可能性がある領域から大きくずれていることを表し、第２予測損失を適当に大きくし、ニューラルネットワークのネットワークパラメータを調整する。
【0127】
最後に、前記第３予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練する。
【0128】
上記方式１及び方式２は、ニューラルネットワークの訓練プロセスであり、移動画像の位置情報及び予測損失に基づいて、複数回の反復を行い、訓練済みのニューラルネットワークから出力された候補軌跡の軌跡予測損失に収束条件を満たさせ、それにより、該ニューラルネットワークから出力される目標軌跡の正確度をより高くする。
【0129】
ステップＳ２０２において、前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定する。
【0130】
幾つかの実施例において、ニューラルネットワークから出力された候補終点に基づいて、参考終点の位置情報を決定し、又は、ニューラルネットワークから出力された候補終点と環境情報を組み合わせ、参考終点の位置情報を決定する。
【0131】
幾つかの実施例において、ステップＳ２０１及びステップＳ２０２は、２つの方式によって実現してもよい。
【0132】
方式１において、まず、前記移動対象の位置情報を第１ニューラルネットワークに入力することによって、前記移動対象の第１候補終点を予測する。
【0133】
例えば、移動対象の時系列位置情報又は過去軌跡を第１ニューラルネットワークに入力し、移動対象の第１候補終点を予測する。
【0134】
続いて、前記第１候補終点及び前記移動対象の環境情報に基づいて、前記移動対象の参考終点の位置情報を決定する。
【0135】
例えば、第１候補終点と移動対象の道路情報、障害物情報、通行者情報、交通信号情報、交通標識情報、交通ルール情報及び他の移動対象情報などの環境情報を組み合わせ、総合的分析を行い、予測された、通行者又は歩道と重なるか又は道路エッジを越える第１候補終点を調整し、正確率が高い参考終点の位置情報を得る。
【0136】
方式２において、まず、前記移動対象の位置情報及び環境情報を第２ニューラルネットワークに入力し、前記移動対象の第２候補終点を予測する。
【0137】
例えば、移動対象の過去軌跡、道路情報、障害物情報、通行者情報、交通信号情報、交通標識情報、交通ルール情報及び他の移動対象情報などを第２ニューラルネットワークの入力として、移動対象の第２候補終点を予測する。
【0138】
続いて、前記第２候補終点及び前記環境情報に基づいて、前記移動対象の前記参考終点の位置情報を決定する。
【0139】
例えば、環境情報と組み合わせ、予測された第２候補終点が走行可能領域内にあるかどうかを判断する。１つの具体的な例において、第２候補終点が、道路上の障害物が存在するか又は通行者がいる所に位置するかどうかを判断する。つまり、移動対象周囲の環境情報に基づいて、決定された第２候補終点を調整し、該第２候補終点を、通行者又は歩道と重ならないようにし、調整された軌跡に含まれる走行終点を決定する。本願の実施例において、真値軌跡、候補軌跡集合及び予測損失を用いて、ニューラルネットワークに対して訓練を行い、訓練済みのニューラルネットワークが、真値軌跡にさらに近づける目標軌跡を出力することができ、それにより移動対象の未来の目標軌跡の予測に、より好適に用いることができ、予測される目標軌跡の正確度を向上させる。
【0140】
本願の実施例は、ニューラルネットワークの訓練方法を提供する。図２Ｂは、本願の実施例によるニューラルネットワークの訓練方法の実現フローを示す概略図である。図２Ｂに示すように、図２Ｂを参照しながら、以下のように説明する。
【0141】
ステップＳ２１１において、取得された移動対象の位置情報に基づいて、前記移動対象の参考終点を決定する。
【0142】
例えば、移動対象の過去軌跡に基づいて、移動対象の参考終点を決定する。
【0143】
ステップＳ２１２において、参考終点を含む所定領域内において、Ｍ個の推定終点を決定する。
【0144】
幾つかの可能な実現形態において、各参考ルートに対して、いずれも、該参考ルートの、参考終点を含む所定領域内において、Ｍ個の推定終点を決定する。まず、各前記参考ルートの幅に基づいて、各前記参考ルートの参考終点の所定領域を決定する。続いて、各前記参考ルートの参考終点の所定領域をＭ個の同等のサイズの格子に分割し、Ｍ個の格子の中心を前記Ｍ個の推定終点とする。
【0145】
ステップＳ２１３において、前記過去軌跡、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得る。
【0146】
幾つかの可能な実現形態において、前記所定距離は、過去軌跡における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、ここで、Ｍ及びＮはいずれも０よりも大きい整数である。１つの具体的な例において、まず、前記過去軌跡における最後のサンプリング点と前記参考終点との連結線の中点を決定する。次に、前記Ｎ個の所定距離及び前記中点に基づいて、Ｎ個の推定点を決定する。該推定点は、候補軌跡上での点である。所定距離が、過去軌跡における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離であるため、中点と所定距離を決定した後、該中点を垂足として該中点までの距離が所定距離を満たす推定点を決定することができる。それにより、Ｎ個の所定距離は、Ｎ個の推定点に対応する。更に、前記Ｎ個の推定点及び前記Ｍ個の推定終点のうちの各推定終点に基づいて、Ｍ×Ｎ個の候補軌跡を生成する。最後に、前記位置情報における環境情報に基づいて、前記Ｍ×Ｎ個の候補軌跡に対して選定を行い、前記候補軌跡集合を得る。即ち、Ｎ個の推定点及び１つの推定終点に基づいて、フィッティングしてＮ個の候補軌跡を得ることができる。従って、Ｎ個の推定点及びＭ個の推定終点に基づいて、フィッティングしてＭ×Ｎ個の候補軌跡を得ることができる。
【0147】
ステップＳ２１４において、前記候補軌跡集合における各候補軌跡と前記真値軌跡との平均距離を決定する。
【0148】
幾つかの可能な実現形態において、まず、各候補軌跡と真値軌跡との距離を決定し、続いて、得られた複数の距離の平均値を求める。
【0149】
ステップＳ２１５において、前記平均距離が所定距離閾値よりも小さい候補軌跡を第１カテゴリの候補軌跡サンプルとして決定する。
【0150】
幾つかの可能な実現形態において、平均距離が所定距離閾値よりも小さい候補軌跡は、該候補軌跡と真値軌跡との差が小さいことを表し、第１カテゴリの候補軌跡サンプルは、対比関数における出力値が１である候補軌跡と理解されてもよい。
【0151】
ステップＳ２１６において、前記候補軌跡集合における、前記第１カテゴリの候補軌跡サンプル以外の少なくとも一部の候補軌跡を第２カテゴリの候補軌跡サンプルとして決定する。
【0152】
幾つかの可能な実現形態において、まず、候補軌跡集合における、前記第１カテゴリの候補軌跡サンプル以外の全て又は一部の候補軌跡を第２カテゴリの候補軌跡サンプルとして決定する。例えば、第２カテゴリの候補軌跡サンプルと第１カテゴリの候補軌跡サンプルとの比が３：１であることに従って、第２カテゴリの候補軌跡サンプルの数を決定する。第１カテゴリの候補軌跡サンプルは、第２カテゴリの候補軌跡サンプルに比べて、真値軌跡にさらに近い。ある観点では、第１カテゴリの候補軌跡サンプルは、第２カテゴリの候補軌跡サンプルに比べて、より確実である。このように、第２カテゴリの候補軌跡サンプルと第１カテゴリの候補軌跡サンプルとの比を３：１とし、第２カテゴリの候補軌跡サンプルの数が多すぎるという状況によって、分類結果に対応する軌跡予測損失に対して主要な役割を果たし、ニューラルネットワークの訓練結果が望ましくないことを減少させる。
【0153】
上記ステップＳ２１４～ステップＳ２１６において、前記移動対象の真値軌跡と前記候補軌跡を比較し、候補軌跡の分類結果を決定するという方式を提供した。該方式において、第１カテゴリの候補軌跡サンプルと第２カテゴリの候補軌跡サンプルを決定することによって、候補軌跡に対して分類を行うプロセスを遂行する。幾つかの可能な実現形態において、真値軌跡と候補軌跡をいずれも対比関数に入力し、候補軌跡と真値軌跡との類似度が所定の類似度閾値よりも大きければ、対比関数は１を出力し、そうでなければ、対比関数は０を出力する。このように、分類の正確度をさらに向上させる。
【0154】
ステップＳ２１７において、前記第１カテゴリの候補軌跡サンプルと前記第２カテゴリの候補軌跡サンプルのクロスエントロピー損失を決定し、前記クロスエントロピー損失は、前記軌跡予測損失である。
【0155】
ステップＳ２１８において、前記分類結果に対応する軌跡予測損失を用いて、前記ニューラルネットワークにおけるネットワークパラメータを調整し、前記ニューラルネットワークを訓練する。
【0156】
本願の実施例において、数が大きいデータ集合軌跡を用いてニューラルネットワークを訓練する。該データ集合は、シーンが複雑である都市シーンを含み、自動運転車両の視点から、データを収集し、実際の応用に近いため、該データ集合に基づいて訓練されたニューラルネットワークは、様々なシーンの軌跡予測に適用し、それにより、訓練済みのニューラルネットワークによって予測される目標軌跡の正確度をより高くする。
【0157】
他の実施例において、ステップＳ２１３の後に、前記方法は、以下を更に含む。
【0158】
ステップＳ２３１において、前記ニューラルネットワークを用いて、前記候補軌跡の軌跡パラメータの調整値を決定する。
【0159】
幾つかの可能な実現形態において、前記調整値は、ニューラルネットワークによって予測された候補軌跡と真値軌跡との予測ずれであってもよい。
【0160】
ステップＳ２３２において、前記候補軌跡と真値軌跡とのずれを決定する。
【0161】
幾つかの可能な実現形態において、ずれは、真値軌跡の終点座標と前記候補軌跡の終点座標との真実の差であってもよい。
【0162】
ステップＳ２３３において、前記ずれ及び調整値に基づいて、調整する予測損失を決定する。
【0163】
ステップＳ２３４において、前記調整する損失を用いて、前記所定のニューラルネットワークの重みパラメータを調整し、調整された前記所定のニューラルネットワークから出力される予測損失に、収束条件を満たさせる。
【0164】
幾つかの可能な実現形態において、前記調整する損失は、ユークリッド距離損失であり、該ユークリッド距離損失に基づいて、ニューラルネットワークの重みパラメータを調整することによって、候補軌跡と真値軌跡との差をより小さくする。
【0165】
本願の実施例において、知識候補軌跡ネットワークを提供する。先験的知識を車両軌跡予測に整合する。まず、車両軌跡を、終点及び距離パラメータｒによってパラメータ化された連続曲線となるようにモデリングする。車両軌跡モデルは、ノイズに対してロバスト性を有する。そして、先験的知識を軌跡に整合して予測を行うというより柔軟な方式を提供する。続いて、車両軌跡予測を候補軌跡の生成及び細分化タスクにする。様々な観察をネットワークにコーティングし、基本特徴を生成する。これらの特徴に基づいて、１組の初期候補軌跡を生成し、路面情報及び制御情報のような先験的情報による指導下で、候補軌跡拘束を実行し、２つの付加的モジュール（分類モジュール及び細分化モジュールであり、ここで、分類モジュールは、最適な候補軌跡を選択し、細分化モジュールは、軌跡回帰及び終点予測を行う）を設け、最終的軌跡予測を行う。このように、移動及び意図をより自然に表すことができ、且つノイズ耐性がより高く、先験的情報を学習経路に柔軟に組み合わせることができる。
【0166】
それと同時に、本願の実施例は、提案される方法を評価し、自動運転における車両の予測検討をより好適に促進するために、大規模の車両軌跡データ集合及び新たな評価基準を提供する。該新たなデータ集合は、複雑な都市運転シーンにおいて、数百万の車両軌跡を含み、各車両の情報はより豊かであり、例えば、車両の制御情報及び／又は少なくとも一部の車両の道路構造情報などを含む。
【0167】
本願の実施例において、異なる時間長の検証を行い、長さがＴである軌跡のフィッティング誤差を算出する。例えば、時間Ｔを６秒間とする。本願の実施例において、予測する点に対して３回の曲線フィッティングを行った後に得られたフィッティング軌跡は、候補軌跡である。
【0168】
正確性と複雑さのバランスを有する三次フィッティング曲線は、式１に示すとおりである。
（１）
【0169】
式（１）において、２メートル／秒（ｍ／ｓ）よりも大きい速度に比べて、総フィッティング誤差０．２９メートル（ｍ）は、無視されてもよい。曲線がパラメータに敏感であり且つ最適化しにくいため、本願の実施例は、２つの制御点、即ち終点と所定距離γ、及び過去軌跡上でのサンプリング点で曲線を表す。
【0170】
図３Ａは、本願の実施例による候補軌跡ネットワークの実現構造を示す概略図である。図３Ａに示すように、車両４１の位置情報ｐｉｎ、制御情報ｌｉｎ、車両向き情報ｄｉｎ及び路面情報（例えば、走行禁止、道路幅及び通常の渋滞状況など）を取得する。これらの情報はいずれも自動運転システムの検出結果である。道路情報以外は、いずれも、予測対象車両の過去時間帯情報である。道路情報は、現在の時刻での予測対象車両周囲の地図情報である。基本特徴符号化モジュールによって、基本特徴４２を生成し、これらの基本特徴に基づいて、未来の終点を予測し、参考終点を得る。可能な終点及びγをトラバースすることによって、候補軌跡とする１組の三次フィッティング曲線４３を得る。続いて、路面情報及び路面上での他の車両の車ライト状態４２０を拘束条件として、生成される候補軌跡を拘束し、候補軌跡４４（即ち、複数の候補軌跡を含む候補軌跡集合）を得る。続いて、候補軌跡４４に対して分類を行い、分類結果４５を得る。ここで、第１カテゴリの候補軌跡サンプルと第２カテゴリの候補軌跡サンプルに対して、畳み込み層を用いて処理を行い、候補軌跡特徴を生成する。続いて、分類モジュールは、基本機能及び候補軌跡機能に基づいて、車両の走行可能領域４６を決定する。１組の可能な候補軌跡を作成することによって、本願の実施例は、知識候補軌跡ネットワークにより、学習がより容易である合理的軌跡を選択して回帰し、且つ先験的知識は、より柔軟かつ明確であり、軌跡は、より確実である。
【0171】
図３Ｂは、本願の実施例による候補軌跡ネットワークの実現構造を示す概略図である。図３Ｂに示すように、プロセス全体は、２つの段階に分けられる。第１段階８１では、基本特徴符号化モジュール８０８において、過去軌跡Ｐｏｂｓ８０１及び周囲道路情報ｒＴｏｂｓ８０３を符号化ネットワークＣＮＮ８０２に入力し、大まかに予測された終点８２を出力する。図３Ｂから分かるように、道路周囲の道路情報を入力し、道路中線８１３に基づいて、車両が十字交差点に位置する場合、複数の参考ルートを予測する。各参考ルートに対して、該十字交差点の各道路上での可能な参考終点を予測することができる。道路情報におけるバリケード情報又は通行者情報、及び道路幅などの情報を考慮することによって、終点回帰モジュール８０９において、出力された終点に対して拘束を行い、回帰した終点８１２を得る。このように、大まかな終点に対して回帰を行うことによって、サーチスペースを減少させ、続いて、候補軌跡生成モジュール８１０において、各参考ルート上での候補軌跡を生成する（例えば、複数の候補軌跡を含む候補軌跡集合を得る）。例えば、図３Ｂにおける参考ルート８０４上での候補軌跡８３を生成する。第２段階８４の候補軌跡修正モジュール８１１において、候補軌跡８３を分類のためのネットワーク（ＣＮＮ－ＥＤ）８５に入力し、分類８６及び修正８７を行い、最大信頼度８８を出力し、車両の予測位置８１４を得て、これらの予測位置に基づいて、最終的な走行軌跡を生成することができる。候補軌跡に対して修正を行うプロセスにおいて、道路のバリケード情報と道路幅に基づいて、走行可能領域を画定する。走行可能領域外に位置する候補軌跡を除去する。即ち、図３Ｂにおける点線で表される候補軌跡は、走行可能領域外に位置する候補軌跡であり、それを除去する。図３Ｂから分かるように、車両の未来の数分間における走行の実際の未来の位置８１５と予測位置８１４はほぼ一致する。このように、第１段階において、予測軌跡の生成プロセスを完了する。深層学習に基づく予測方法は、より高い解釈性及び柔軟性を有することが可能である。生成された予測軌跡を与えた後、知識候補軌跡ネットワークの第２段階において、最も合理的な軌跡を選択することによって、予測問題を簡単にすることができる。また、二段出力をチェックすることによって、デバッグ及び可能な誤った予測の解釈を容易にすることができる。
【0172】
本願の実施例において、基本特徴符号化モジュールをエンコーダ－デコーダネットワークとして設計する。ネットワークは、時間間隔［０，Ｔｏｂｓ］において、（ｐ，ｌ，ｄ，ｒ）を入力として取る。ここで、ｐは、位置を表し、ｌは、制御情報を表し、ｄは、車の向きを表し、ｒは、ローカル道路情報を表す。車両（ｌ，ｄ）の属性は、深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＤＮＮ）に基づくモデルによって取得される。各タイムスタンプに対して、ｐｔ＝（ｘｔ，ｙｔ）は、車両の座標であり、ｌｔ＝（ｂｌｔ，ｌｔｔ，ｒｔｔ）は、それぞれブレーキランプ、左ウィンカー及び右ウィンカーを表し、且つそれぞれ、バイナリ値である。ｄｔ＝（ｄｘｔ，ｄｙｔ）は、単位ベクトルである。道路情報は、多くのセマンティック要素、例えば、区画線、交差歩行などで表され、そして、車両の位置に関わる。本願の実施例において、道路情報をバイナリマスクｒ＝Ｍに分離させて入力とし、ここで、Ｍｉｊ＝１は、位置（ｉ，ｊ）が駆動可能であることを表す。従って、本願の実施例は、４つの入力特徴を有し、それぞれ、
、
、
及び
とマーキングされ、ここで、ｎは、観察長さであり、即ち、過去軌跡を観察する時間長である。
【0173】
３つのエンコーダを用いて、まず、異なる入力の特徴を抽出し、続いて、抽出された特徴を連結して、デコーダに挿入し、最終的な基本特徴を得る。エンコーダとデコーダはそれぞれ、複数の畳み込み層と逆畳み込み層からなる。
【0174】
本願の実施例において、まず、基本特徴を用いて、大まかな終点を予測し、候補軌跡のサーチスペースを減少させる。続いて、２つのステップを用いて、候補軌跡を生成する。本願の実施例において、予測される終点周囲で、格子を描画することによって、可能な終点、即ち推定終点をトラバースする。これは、
で表される。ここで、ｐｅｐは、可能な終点集合であり、即ち、推定終点集合であり、ｐｅ＝（ｘｅ，ｙｅ）は、予測される参考終点の座標であり、ｓｔｅｐとｇｒｉｄはそれぞれステップサイズと総トラバース数を表す。
【0175】
入力点ｐｉｎ及び推定終点（ｘｐｅ，ｙｐｅ）に基づいて、本願の実施例において、実際に、１組の三次曲線をフィッティングすることができる。しかしながら、本願の実施例において、ｐｉｎと（ｘｐｅ，ｙｐｅ）のみがあれば、幾つかの候補曲線、例えば曲線軌跡の生成のために不十分であることがある。入力点ｐｉｎのうちの全ての点はいずれも共線である。従って、本願の実施例において、γを、候補軌跡の中点と、最後の入力点と終点との連結線と、の距離と定義し、曲線の湾曲程度を制御するために用いられる。図４Ａに示すように、１つの参考ルート上で候補軌跡を決定する方式を提供する。点５１は、過去軌跡における最後のサンプリング点を表す。点５２は、過去軌跡に基づいて予測される参考終点を表す。点５３と点５４はそれぞれ、点５２の所定領域内に分けられる格子の中心、即ち推定終点を表す。γは、点５１と点５２との連結線の中点と、候補軌跡と、の距離を表し、γの大きさは、事前設定されたものである（例えば、（－２ｍ，２ｍ）の間の値とする）。このように、γの値、推定終点及び過去軌跡における最後のサンプリング点に基づいて、複数の異なる湾曲程度の候補軌跡（即ち、複数の候補軌跡を含む候補軌跡集合）を決定することができる。図４Ｂは、本願の実施例による複数の参考ルート上で候補軌跡を生成することを示すフローチャートである。図４Ｂに示すように、候補軌跡の生成は、第１段階において、回帰終点に強く依存するため、生成される候補軌跡の多様性が弱いことを引き起こす可能性がある。道路は、車両に対して厳しく制限するため、マルチモードの候補軌跡の生成において、道路情報を利用して複数の終点を生成する。図４Ｂから分かるように、車両の現在の位置は、十字交差点であり、道路情報の基本情報（例えば、区画線９０１（図４Ｂにおける道路上での参考線）及び走行方向など）及び車両の過去軌跡９０２に基づいて、１組の参考ルート９１（それぞれ、十字交差点の各道路に位置する。例えば、参考線９０４、９０５及び９０６である）を得ることができる。これらの参考ルートは、車両が到達する可能性がある中心区画線を代表する。従って、式（２）は、異なる参考ルートに対して複数の候補軌跡集合を生成するものに拡張されてもよい。
【0176】
幾つかの実施例において、まず、参考ルートに沿った参考終点９３の位置座標を予測する。続いて、各予測された参考終点９３に対して、格子の形式を用いて、参考終点９３の付近で、格子によって取り込まれる参考終点９３を作成し、終点トラバース９０７を実現する。最後に、トラバースされた終点に基づいて、各参考ルート上での未来の終点に対してサンプリングを行うことによって、単一の回帰終点に対する依存性を減少させ、強いマルチモデルを確保する。図４Ｂから分かるように、候補軌跡における道路エッジを越える参考終点を調整することは、該点が合理的ではないことを表す。最後に、車両の未来の位置９０３を決定し、式（２）を用いて、各サンプリングされた終点に対して候補軌跡９２を生成する。
【0177】
ここで、１つの参考ルート上での候補軌跡は、式（２）で表されてもよい。
（２）
【0178】
ここで、ｆ（）は、三次多項式フィッティング関数を表し、
と
である。
【0179】
訓練段階において、バイナリタイプのラベルは、良好な軌跡であるかどうかを表し、各候補軌跡に割り当てられる。本願の実施例において、均一にサンプリングされる真値軌跡上での点と候補軌跡との平均距離を候補軌跡の基準と定義し、式（３）に示すとおりである。
（３）
【0180】
ここで、Ｎは、サンプリング点の数であり、
と
はそれぞれ、真値軌跡と候補軌跡のｉ番目のサンプリング点である。本願の実施例において、候補軌跡のＡＤ値が所定の閾値よりも低いものを正例のサンプルとして決定する。例えば、所定の閾値が２ｍであり、候補軌跡と真値軌跡との平均距離が２ｍよりも小さい候補軌跡を正例のサンプルとして決定し、該候補軌跡と真値軌跡との差が小さく、真値軌跡にさらに近いことを表す。また、残りの候補軌跡は、潜在的負例のサンプルである。多すぎる負例のサンプルによる圧倒的な影響を減少させるために、本願の実施例において、均一サンプリング方法を用いて、負例のサンプルと正例のサンプルとの比を３：１に保持する。
【0181】
得られた正例のサンプルと負例のサンプルの修正に対して、本願の実施例は、式（４）に示すように、２座標と１変数のパラメータ化を用いる。
（４）
【0182】
ここで、
と
はそれぞれ、真値軌跡と候補軌跡の終点座標である。ｔｘ、ｔｙ及びtγは、監督を受ける情報である。
【0183】
本願の実施例において、マルチタスク損失関数の最小化を式（５）に示すように定義する。
（５）
【0184】
ここで、ｃｉとｔｉは、候補軌跡の信頼度と軌跡パラメータであり、
と
は、対応する真値軌跡の信頼度と軌跡パラメータであり、αは、重み項である。Ｌｃｌｓは、２種類のサンプルの損失関数を表す。本願の実施例において、２種類のサンプルのクロスエントロピー損失をＬｃｌｓとして用いる。Ｌｒｅｆは、修正される正の軌跡パラメータに対する損失関数を表し、本願の実施例において、ユークリッド損失をＬｒｅｆとして用いる。軌跡がマルチモデル特徴を有するため、本願の実施例において、正例のサンプルと一部のランダムにサンプリングされた負例のサンプルを用いて、細分化損失関数を算出し、βを用いて、負例のサンプルのサンプリングの割合を制御する。
【0185】
車両の未来の軌跡は、過去による影響を受けるだけでなく、道路構造及び制御情報などのルールによる制限も受ける。これらのルールに基づいて、より確実な未来の目標軌跡の予測を行うことができる。本願の実施例による知識候補軌跡ネットワークは、これらの問題を効果的に解決し、非常に確実な予測軌跡を得ることができる。
【0186】
本願の実施例において、過去走行軌跡と高精細度地図を組み合わせ、車両が未来の走行できる車線からなる多辺形領域を決定することができ、即ち走行可能領域を決定することができる。幾つかの実施例において、走行可能領域を決定するための基本ルールは、車両が同一方向の車線上のみで走行できることである。
【0187】
幾つかの実施例において、曲がるという信号（入力軌跡又はライトの意図）があれば、多辺形領域は目的地の車線であり、そうでなければ、走行可能領域は、全ての可能な車線からなる。走行可能領域を得た後、本願の実施例は、２つの道路拘束方法を提供する。例えば、走行可能領域外の候補軌跡を無視しないという方法及び走行可能領域外の補軌跡を無視するという方法である。走行可能領域外の候補軌跡を無視しないという方法において、走行可能領域を入力機能として、モデルを暗黙的に監督してこのようなルールを学習する。本願の実施例において、走行可能領域外の候補軌跡を無視することによって、推断されている候補軌跡を明確に拘束する。走行可能領域外の候補軌跡の無視について、生成時に、走行可能領域外の候補軌跡を無視する。また、本願の実施例は、試験期間において、式（６）に示すように、走行可能領域外の候補軌跡の分類スコアを減衰することによって、候補軌跡を拘束する。
（６）
【0188】
ここで、ｒは、候補軌跡が走行可能領域外を指向する確率を表し、σは、減衰ファクターを表す。
【0189】
制御情報は、車両の注意を喚起させる明確な信号である。道路拘束と同様に、制御情報は、走行可能領域をある方向に制限し、道路拘束によって生成した走行可能領域をさらに縮小するために用いる。交差点での車両に対して、走行可能領域は、４つの方面へ完全に開放したものである。本願の実施例において、ウィンカーの提示によって、特別な道路を駆動可能なマスクとして選択することによって、駆動可能なマスクを縮小することができる。車線内の車両に対して、本願の実施例は、式６に示すように、さらに、試験期間において、対応する候補軌跡のスコアを減衰することを選択することもできる。
【0190】
本願の実施例において、車両軌跡を再定義することによって、確実な車両移動予測を実現することができる。このように、車両の移動の傾向及び意図を良好に表し、ノイズに対してロバスト性を有する。そして、情報が豊かである大量のデータ集合を収集し、データ集合に対して実験を行うことによって、本願の実施例による方法の有効性を証明する。それと同時に、より多くの規範したルール、例えば交通信号は、本願の実施例の方策に拡張されやすい。
【0191】
上記装置の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、方法の実施例と同様な有益な効果を持つことに留意されたい。本願の装置の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。
【0192】
本願の実施例において、上述した軌跡予測方法は、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、該コンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（端末、サーバなど）に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。従って、本願の実施例は、如何なる特定のハードウェアとソフトウェアとの組み合わせにも限定されない。
【0193】
【0194】
参考終点予測モジュール５０１は、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される。
【0195】
ここで、参考終点予測モジュール５０１による終点の決定の方法は、いかなる方法を用いてもよく、移動物体の位置情報に基づいて決定するという方法であればよい。
【0196】
例えば、位置情報に基づいて終点を決定するという方法及び特徴学習又は強化学習した機械学習モデルを用いてもよい。ニューラルネットワークは少なくとも移動対象の位置情報を入力し、終点又は終点を含む軌跡を出力することができる。該方法において、参考終点予測モジュール５０１は、移動対象周囲の位置情報及び環境情報を機械学習モデルの入力として用いることによって、終点を決定することができる。又は、参考終点予測モジュール５０１は、移動対象の位置情報を機械学習モデルの入力として用い、そして、機械学習モデルの出力及び移動対象周囲の環境情報を用いて、終点を決定することができる。なお、参考終点予測モジュール５０１は、移動対象周囲の位置情報及び環境情報を機械学習モデルの入力として用い、そして、機械学習モデルの出力及び移動対象周囲の環境情報を用いて、参考終点を決定することができる。例えば、参考終点予測モジュール５０１は、移動対象の軌跡を機械学習モデルの出力として決定し、移動対象周囲の環境情報に基づいて、決定された候補軌跡を調整することによって、該候補軌跡を、通行者又は歩道と重ならないようにし、調整された軌跡に含まれる終点を決定することができる。
【0197】
別の終点決定方法において、位置情報及び移動対象の運動学的モデル（運動学的モデル）をもちいた方法を採用してもよい。該方法において、参考終点予測モジュール５０１は、位置情報、移動対象の動きモデル及び移動対象周囲の環境情報を用いて、参考終点を決定することができる。
【0198】
候補軌跡決定モジュール５０２は、前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定するように構成され、ここで、各候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる。
【0199】
目標軌跡決定モジュール５０３は、前記候補軌跡集合から、前記移動対象の目標軌跡を決定するように構成される。
【0200】
幾つかの実施例において、前記移動対象の位置情報は、前記移動対象の時系列位置情報又は前記移動対象の過去軌跡を含む。
【0201】
幾つかの実施例において、前記参考終点は、所定の制限タイプ以外の点を含み、ここで、前記所定の制限タイプは少なくとも、道路エッジ点と、障害物と、通行者と、のうちの１つを含む。
【0202】
幾つかの実施例において、前記参考終点予測モジュール５０１は、
前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得するように構成される環境情報取得サブモジュールであって、前記環境情報は、道路情報と、障害物情報と、通行者情報と、交通信号情報と、交通標識情報と、交通ルール情報と、他の移動対象情報と、のうちの少なくとも１つを含む、環境情報取得サブモジュールと、
前記環境情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される第１参考終点予測サブモジュールと、を備える。
前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得するように構成される環境情報取得サブモジュールであって、前記環境情報は、道路情報と、障害物情報と、通行者情報と、交通信号情報と、交通標識情報と、交通ルール情報と、他の移動対象情報と、のうちの少なくとも１つを含む、環境情報取得サブモジュールと、
前記環境情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される第１参考終点予測サブモジュールと、を備える。
【0203】
幾つかの実施例において、前記環境情報取得サブモジュールは更に、
前記移動対象によって収集された画像情報に基づいて、前記環境情報を決定し、
及び／又は、
前記移動対象によって受信された、現在の環境を表す通信情報に基づいて、前記環境情報を決定するように構成される。
前記移動対象によって収集された画像情報に基づいて、前記環境情報を決定し、
及び／又は、
前記移動対象によって受信された、現在の環境を表す通信情報に基づいて、前記環境情報を決定するように構成される。
【0204】
幾つかの実施例において、前記参考終点予測モジュール５０１は、
前記移動対象の位置情報に基づいて、前記移動対象の少なくとも１つの参考ルートを決定するように構成される参考ルート決定サブモジュールと、
前記参考ルートに基づいて、前記参考終点の位置情報を決定するように第２参考終点予測サブモジュールと、を備える。
前記移動対象の位置情報に基づいて、前記移動対象の少なくとも１つの参考ルートを決定するように構成される参考ルート決定サブモジュールと、
前記参考ルートに基づいて、前記参考終点の位置情報を決定するように第２参考終点予測サブモジュールと、を備える。
【0205】
幾つかの実施例において、前記第２参考終点予測サブモジュールは、
前記参考ルートの走行可能領域を決定するように構成される走行可能領域決定ユニットと、
前記移動対象の位置情報に基づいて、前記走行可能領域における前記移動対象の参考終点の位置情報を決定するように構成される参考終点予測ユニットと、を備える。
前記参考ルートの走行可能領域を決定するように構成される走行可能領域決定ユニットと、
前記移動対象の位置情報に基づいて、前記走行可能領域における前記移動対象の参考終点の位置情報を決定するように構成される参考終点予測ユニットと、を備える。
【0206】
幾つかの実施例において、前記参考終点予測モジュール５０１は、
前記移動対象の位置情報に基づいて、前記移動対象が所在する道路の交差点情報を決定するように構成される交差点道路決定サブモジュールと、
前記交差点情報が少なくとも２つの交差点における道路が存在することを表すことに応答して、前記移動対象の複数の参考終点の位置情報を決定するように構成されるマルチ参考終点決定サブモジュールであって、ここで、交差点における異なる道路の参考終点は異なる、マルチ参考終点決定サブモジュールと、を備える。
前記移動対象の位置情報に基づいて、前記移動対象が所在する道路の交差点情報を決定するように構成される交差点道路決定サブモジュールと、
前記交差点情報が少なくとも２つの交差点における道路が存在することを表すことに応答して、前記移動対象の複数の参考終点の位置情報を決定するように構成されるマルチ参考終点決定サブモジュールであって、ここで、交差点における異なる道路の参考終点は異なる、マルチ参考終点決定サブモジュールと、を備える。
【0207】
幾つかの実施例において、前記候補軌跡決定モジュール５０３は、
前記候補軌跡集合における候補軌跡の信頼度を決定するように構成される信頼度決定サブモジュールと、
前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定するように構成される目標軌跡決定サブモジュールと、を備える。
前記候補軌跡集合における候補軌跡の信頼度を決定するように構成される信頼度決定サブモジュールと、
前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定するように構成される目標軌跡決定サブモジュールと、を備える。
【0208】
幾つかの実施例において、前記装置は、
前記候補軌跡集合における少なくとも１つの候補軌跡の軌跡パラメータ修正値を決定するように構成される修正値決定モジュールと、
前記軌跡パラメータ修正値に基づいて、前記候補軌跡集合における候補軌跡に対して調整を行い、前記候補軌跡集合を更新するように構成される軌跡調整モジュールと、
前記移動対象の走行情報及び前記信頼度に基づいて、更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定するように構成される更新目標軌跡決定モジュールと、を更に備える。
前記候補軌跡集合における少なくとも１つの候補軌跡の軌跡パラメータ修正値を決定するように構成される修正値決定モジュールと、
前記軌跡パラメータ修正値に基づいて、前記候補軌跡集合における候補軌跡に対して調整を行い、前記候補軌跡集合を更新するように構成される軌跡調整モジュールと、
前記移動対象の走行情報及び前記信頼度に基づいて、更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定するように構成される更新目標軌跡決定モジュールと、を更に備える。
【0209】
幾つかの実施例において、更新目標軌跡決定モジュールは、
前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定するように構成される走行可能領域決定サブモジュールと、
前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定するように構成される更新目標軌跡決定サブモジュールと、を備える。
前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定するように構成される走行可能領域決定サブモジュールと、
前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定するように構成される更新目標軌跡決定サブモジュールと、を備える。
【0210】
幾つかの実施例において、前記走行可能領域決定サブモジュールは、
前記移動対象の環境情報に基づいて、前記移動対象の予測走行可能領域を決定するように構成される予測走行可能領域決定ユニットと、
前記移動対象の制御情報に基づいて、前記予測走行可能領域に対して調整を行い、前記走行可能領域を得るように構成される予測走行可能領域調整ユニットとを備える。
前記移動対象の環境情報に基づいて、前記移動対象の予測走行可能領域を決定するように構成される予測走行可能領域決定ユニットと、
前記移動対象の制御情報に基づいて、前記予測走行可能領域に対して調整を行い、前記走行可能領域を得るように構成される予測走行可能領域調整ユニットとを備える。
【0211】
幾つかの実施例において、更新目標軌跡決定サブモジュールは、
前記更新された候補軌跡集合において、前記走行可能領域に含まれる候補軌跡を決定し、前記決定待ち目標軌跡集合を得るように構成される目標軌跡集合決定ユニットと、
前記決定待ち目標軌跡集合における、信頼度が最も大きい軌跡又は信頼度が所定の信頼度閾値よりも大きい軌跡を前記目標軌跡として決定するように構成される目標軌跡選定ユニットと、を備える。
前記更新された候補軌跡集合において、前記走行可能領域に含まれる候補軌跡を決定し、前記決定待ち目標軌跡集合を得るように構成される目標軌跡集合決定ユニットと、
前記決定待ち目標軌跡集合における、信頼度が最も大きい軌跡又は信頼度が所定の信頼度閾値よりも大きい軌跡を前記目標軌跡として決定するように構成される目標軌跡選定ユニットと、を備える。
【0212】
幾つかの実施例において、前記候補軌跡決定モジュール５０２は、
前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定するように構成される推定終点決定サブモジュールと、
前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得るように構成される候補軌跡生成サブモジュールであって、ここで、前記所定距離は、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、ここで、Ｍ及びＮはいずれも０よりも大きい整数である、候補軌跡生成サブモジュールと、を備える。
前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定するように構成される推定終点決定サブモジュールと、
前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得るように構成される候補軌跡生成サブモジュールであって、ここで、前記所定距離は、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、ここで、Ｍ及びＮはいずれも０よりも大きい整数である、候補軌跡生成サブモジュールと、を備える。
【0213】
幾つかの実施例において、前記推定終点決定サブモジュールは、
前記参考終点が位置する道路幅に基づいて、前記参考終点の所定領域を決定するように構成される所定領域決定ユニットと、
前記参考終点の所定領域をＭ個の所定サイズの格子に分割し、Ｍ個の格子の中心を前記Ｍ個の推定終点とする格子分割ユニットと、を備える。
前記参考終点が位置する道路幅に基づいて、前記参考終点の所定領域を決定するように構成される所定領域決定ユニットと、
前記参考終点の所定領域をＭ個の所定サイズの格子に分割し、Ｍ個の格子の中心を前記Ｍ個の推定終点とする格子分割ユニットと、を備える。
【0214】
幾つかの実施例において、前記候補軌跡生成サブモジュールは、
前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点を決定するように構成される中点決定ユニットと、
前記Ｎ個の所定距離及び前記中点に基づいて、Ｎ個の推定点を決定するように構成される推定点決定ユニットと、
前記Ｎ個の推定点及び前記Ｍ個の推定終点に基づいて、Ｍ×Ｎ個の候補軌跡を生成するように構成されるＭ×Ｎ個の候補軌跡生成ユニットと、
前記環境情報に基づいて、前記Ｍ×Ｎ個の候補軌跡に対して選定を行い、前記候補軌跡集合を得る候補軌跡選定ユニットと、を備える。
前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点を決定するように構成される中点決定ユニットと、
前記Ｎ個の所定距離及び前記中点に基づいて、Ｎ個の推定点を決定するように構成される推定点決定ユニットと、
前記Ｎ個の推定点及び前記Ｍ個の推定終点に基づいて、Ｍ×Ｎ個の候補軌跡を生成するように構成されるＭ×Ｎ個の候補軌跡生成ユニットと、
前記環境情報に基づいて、前記Ｍ×Ｎ個の候補軌跡に対して選定を行い、前記候補軌跡集合を得る候補軌跡選定ユニットと、を備える。
【0215】
幾つかの実施例において、参考終点予測モジュール５０１は、
ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測するように構成される候補終点予測サブモジュールと、
前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される参考終点決定サブモジュールと、を備える。
ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測するように構成される候補終点予測サブモジュールと、
前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される参考終点決定サブモジュールと、を備える。
【0216】
幾つかの実施例において、候補終点予測サブモジュールは更に、前記移動対象の位置情報を第１ニューラルネットワークに入力することによって、前記移動対象の第１候補終点を予測するように構成され、
前記参考終点決定サブモジュールは更に、前記第１候補終点及び前記移動対象の環境情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される。
前記参考終点決定サブモジュールは更に、前記第１候補終点及び前記移動対象の環境情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される。
【0217】
幾つかの実施例において、候補終点予測サブモジュールは更に、前記移動対象の位置情報及び環境情報を第２ニューラルネットワークに入力し、前記移動対象の第２候補終点を予測するように構成され、
前記参考終点決定サブモジュールは更に、前記第２候補終点及び前記環境情報に基づいて、前記移動対象の前記参考終点の位置情報を決定するように構成される。
前記参考終点決定サブモジュールは更に、前記第２候補終点及び前記環境情報に基づいて、前記移動対象の前記参考終点の位置情報を決定するように構成される。
【0218】
幾つかの実施例において、前記装置は、前記ニューラルネットワークを訓練するように構成されるネットワーク訓練モジュールを更に備え、
前記ネットワーク訓練モジュールは、
前記移動対象の位置情報、及び／又は、前記移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークに入力し、第１予測終点を得るように構成される第１ネットワーク入力サブモジュールと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、第１予測終点に関する第１予測損失を決定するように構成される第１予測損失決定サブモジュールと、
第１予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練するように構成される第１ネットワークパラメータ調整サブモジュールと、を備える。
前記ネットワーク訓練モジュールは、
前記移動対象の位置情報、及び／又は、前記移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークに入力し、第１予測終点を得るように構成される第１ネットワーク入力サブモジュールと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、第１予測終点に関する第１予測損失を決定するように構成される第１予測損失決定サブモジュールと、
第１予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練するように構成される第１ネットワークパラメータ調整サブモジュールと、を備える。
【0219】
幾つかの実施例において、前記ネットワーク訓練モジュールは、
前記移動対象の位置情報及び前記位置情報に対応する地図情報を前記ニューラルネットワークに入力し、第２予測終点を得るように構成される第２ネットワーク入力サブモジュールと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、前記第２予測終点に関する第２予測損失を決定するように構成される第２予測損失決定サブモジュールと、
前記第２予測終点と所定の拘束条件とのずれを決定するように構成されるずれ決定サブモジュールと、
前記ずれに基づいて、前記第２予測終点の第２予測損失を調整し、第３予測損失を得るように構成される第２予測損失調整サブモジュールと、
前記第３予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練するように構成される第２ネットワークパラメータ調整サブモジュールと、を備える。
前記移動対象の位置情報及び前記位置情報に対応する地図情報を前記ニューラルネットワークに入力し、第２予測終点を得るように構成される第２ネットワーク入力サブモジュールと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、前記第２予測終点に関する第２予測損失を決定するように構成される第２予測損失決定サブモジュールと、
前記第２予測終点と所定の拘束条件とのずれを決定するように構成されるずれ決定サブモジュールと、
前記ずれに基づいて、前記第２予測終点の第２予測損失を調整し、第３予測損失を得るように構成される第２予測損失調整サブモジュールと、
前記第３予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練するように構成される第２ネットワークパラメータ調整サブモジュールと、を備える。
【0220】
これに応じて、本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例による軌跡予測方法におけるステップを実現することができる。
【0221】
これに応じて、本願の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、前記コンピュータによる実行可能な命令がプロセッサにより実行される時、上記実施例による軌跡予測方法のステップを実現する。
【0222】
これに応じて、本願の実施例は、コンピュータ機器を提供する。図６は、本願の実施例によるコンピュータ機器の構造を示す概略図である。図６に示すように、前記コンピュータ機器６００は、１つのプロセッサ６０１、少なくとも１つの通信バス、通信インタフェース６０２、少なくとも１つの外部通信インタフェース及びメモリ６０３を備える。ここで、通信インタフェース６０２は、これらのコンポーネントの間の接続と通信を実現するように構成される。ここで、通信インタフェース６０２は、ディスプレイを含んでもよく、外部通信インタフェースは、標準的な有線インタフェース及び無線インタフェースを含んでもよい。ここで、前記プロセッサ６０１は、メモリにおける画像処理プログラムを実行し、上記実施例による目標軌跡の予測方法のステップを実現するように構成される。
【0223】
上記軌跡予測装置、コンピュータ機器及び記憶媒体の実施例に関する記述は、上記方法の実施例に関する記述と類似しており、方法の実施例と同様な技術的記述及び有益な効果を持つ。紙数に限りがあるため、上記方法の実施例の記載を参照することができ、ここで、詳細な説明を省略する。本願の顔と手との関連度の検出装置、コンピュータ機器及び記憶媒体の実施例に開示されていない技術的細部について、本願の方法の実施例に関する記述を参照しながら理解すべきである。
明細書全文を通じて述べられる「１つの実施例」又は「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも１つの実施例に含まれることを意味すると理解されたい。従って、本明細書全体を通じて出現する「１つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で１つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本願の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本願の実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。
明細書全文を通じて述べられる「１つの実施例」又は「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも１つの実施例に含まれることを意味すると理解されたい。従って、本明細書全体を通じて出現する「１つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で１つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本願の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本願の実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。
【0224】
本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図されることに留意されたい。従って、一連の要素を含むプロセス、方法、品目又は装置は、これらの要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このようなプロセス、方法、品目又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・・・・を含む”なる文章によって規定される要素は、該要素を有するプロセス、方法、品目又は装置内に、他の同じ要素が更に存在することを排除しない。
【0225】
本願で提供される幾つかの実施例において、開示される機器及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した機器の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割であり、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0226】
分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。
【0227】
当業者によって理解されるように、上記方法の実施例におけるステップの全部または一部を実現することは、プログラム命令に関連するハードウェアにより完成することができる。前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。該プログラムが実行されるとき、上記方法の実施例のステップを実行する。前記記憶媒体は、携帯型記憶機器、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
又は、本願の上記集積ユニットは、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータ可読記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ又はネットワーク機器など）に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶機器、ＲＯＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
又は、本願の上記集積ユニットは、ソフトウェア機能モジュールの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータ可読記憶媒体内に記憶されてもよい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ又はネットワーク機器など）に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶機器、ＲＯＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【0228】
以上は本願の具体的な実施形態に過ぎず、本願の保護範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
【産業上の利用可能性】
【0229】
本願の実施例は、軌跡予測方法、装置、機器及び記憶媒体を提供する。ここで、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定し、前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定し、ここで、各候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なり、前記候補軌跡集合から、前記移動対象の目標軌跡を決定する。このように、移動対象の未来の移動軌跡をより正確に推定することができる。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【手続補正書】
【提出日】2022-03-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子機器が実行する、軌跡予測方法であって、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することと、
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定することであって、ここで、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる、ことと、
前記候補軌跡集合から、前記移動対象の目標軌跡を決定することと、を含む、軌跡予測方法。
【請求項2】
前記移動対象の位置情報は、前記移動対象の時系列位置情報又は前記移動対象の過去軌跡を含み、
前記参考終点は、所定の制限タイプ以外の点を含み、ここで、前記所定の制限タイプは少なくとも、道路エッジ点と、障害物と、通行者と、のうちの１つを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得することであって、前記環境情報は、道路情報と、障害物情報と、通行者情報と、交通信号情報と、交通標識情報と、交通ルール情報と、他の移動対象情報と、のうちの少なくとも１つを含む、ことと、
前記環境情報に基づいて、前記移動対象の参考終点の位置情報を決定することと、を含み、
前記移動対象の位置情報に基づいて、前記移動対象の環境情報を取得することは、
前記移動対象によって収集された画像情報に基づいて、前記環境情報を決定すること、
及び／又は、
前記移動対象によって受信された、現在の環境を表す通信情報に基づいて、前記環境情報を決定することを含むことを特徴とする
請求項１に記載の方法。
【請求項4】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象の少なくとも１つの参考ルートを決定することと、
前記参考ルートに基づいて、前記参考終点の位置情報を決定することと、を含み、
前記参考ルートに基づいて、前記参考終点の位置情報を決定することは、
前記参考ルートの走行可能領域を決定することと、
前記移動対象の位置情報に基づいて、前記走行可能領域における前記移動対象の参考終点の位置情報を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項5】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記移動対象の位置情報に基づいて、前記移動対象が所在する道路の交差点情報を決定することと、
前記交差点情報が少なくとも２つの交差点における道路が存在することを表すことに応答して、前記移動対象の複数の参考終点の位置情報を決定することであって、交差点における異なる道路の参考終点は異なる、ことと、を含むことを特徴とする
請求項１に記載の方法。
【請求項6】
前記候補軌跡集合に基づいて、前記移動対象の目標軌跡を決定することは、前記候補軌跡集合における候補軌跡の信頼度を決定することと、
前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項7】
前記移動対象の走行情報及び前記信頼度に基づいて、前記候補軌跡集合から、前記移動対象の前記目標軌跡を決定する前に、前記候補軌跡集合における少なくとも１つの候補軌跡の軌跡パラメータ修正値を決定することと、
前記軌跡パラメータ修正値に基づいて、前記候補軌跡集合における候補軌跡に対して調整を行い、更新された候補軌跡集合を得ることと、
前記移動対象の走行情報及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定することと、を更に含むことを特徴とする
請求項６に記載の方法。
【請求項8】
前記移動対象の走行情報及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の前記目標軌跡を決定することは、前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定することと、
前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定することと、を含み、
前記移動対象の環境情報及び／又は前記移動対象の制御情報に基づいて、前記移動対象の走行可能領域を決定することは、
前記移動対象の環境情報に基づいて、前記移動対象の予測走行可能領域を決定することと、
前記移動対象の制御情報に基づいて、前記予測走行可能領域に対して調整を行い、前記走行可能領域を得ることと、を含み、
前記走行可能領域及び前記信頼度に基づいて、前記更新された候補軌跡集合から、前記移動対象の目標軌跡を決定することは、
前記更新された候補軌跡集合において、前記走行可能領域に含まれる候補軌跡を決定し、決定待ち目標軌跡集合を得ることと、
前記決定待ち目標軌跡集合における、信頼度が最も大きい軌跡又は信頼度が所定の信頼度閾値よりも大きい軌跡を前記目標軌跡として決定することと、を含むことを特徴とする
請求項６又は７に記載の方法。
【請求項9】
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定することは、前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定することと、
前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得ることであって、前記所定距離は、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点から前記候補軌跡までの距離を表すためのものであり、Ｍ及びＮはいずれも０よりも大きい整数である、ことと、を含むことを特徴とする
請求項１～８のうちいずれか一項に記載の方法。
【請求項10】
前記参考終点を含む所定領域内において、Ｍ個の推定終点を決定することは、前記参考終点が位置する道路幅に基づいて、前記参考終点の所定領域を決定することと、
前記参考終点の所定領域をＭ個の所定サイズの格子に分割し、Ｍ個の格子の中心を前記Ｍ個の推定終点とすることと、を含むことを特徴とする
請求項９に記載の方法。
【請求項11】
前記移動対象の位置情報、前記Ｍ個の推定終点及びＮ個の所定距離に基づいて、Ｍ×Ｎ個の候補軌跡を生成し、前記候補軌跡集合を得ることは、前記移動対象の位置情報における最後のサンプリング点と前記参考終点との連結線の中点を決定することと、
前記Ｎ個の所定距離及び前記中点に基づいて、Ｎ個の推定点を決定することと、
前記Ｎ個の推定点及び前記Ｍ個の推定終点に基づいて、Ｍ×Ｎ個の候補軌跡を生成することと、
前記環境情報に基づいて、前記Ｍ×Ｎ個の候補軌跡に対して選定を行い、前記候補軌跡集合を得ることと、を含むことを特徴とする
請求項９に記載の方法。
【請求項12】
移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定することは、ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することと、
前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することと、を含むことを特徴とする
請求項１～１１のうちいずれか一項に記載の方法。
【請求項13】
ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することは、前記移動対象の位置情報を第１ニューラルネットワークに入力することによって、前記移動対象の第１候補終点を予測することを含み、前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することは、前記第１候補終点及び前記移動対象の環境情報に基づいて、前記移動対象の参考終点の位置情報を決定することを含むことを特徴とする
請求項１２に記載の方法。
【請求項14】
ニューラルネットワークによって、前記移動対象の位置情報に基づいて、前記移動対象の候補終点を予測することは、前記移動対象の位置情報及び環境情報を第２ニューラルネットワークに入力し、前記移動対象の第２候補終点を予測することを含み、
前記候補終点に基づいて、前記移動対象の参考終点の位置情報を決定することは、
前記第２候補終点及び前記環境情報に基づいて、前記移動対象の前記参考終点の位置情報を決定することを含むことを特徴とする
請求項１２に記載の方法。
【請求項15】
前記ニューラルネットワークの訓練方法は、前記移動対象の位置情報、及び／又は、前記移動対象の位置情報及び移動対象によって収集された道路画像をニューラルネットワークに入力し、第１予測終点を得ることと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、第１予測終点に関する第１予測損失を決定することと、
第１予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練することと、を含み、
又は、
前記ニューラルネットワークの訓練方法は、
前記移動対象の位置情報及び前記位置情報に対応する地図情報を前記ニューラルネットワークに入力し、第２予測終点を得ることと、
前記移動対象の真値軌跡に基づいて、前記ニューラルネットワークの、前記第２予測終点に関する第２予測損失を決定することと、
前記第２予測終点と所定の拘束条件とのずれを決定することと、
前記ずれに基づいて、前記第２予測終点の第２予測損失を調整し、第３予測損失を得ることと、
前記第３予測損失に基づいて、前記ニューラルネットワークのネットワークパラメータを調整し、前記ニューラルネットワークを訓練することと、を含むことを特徴とする
請求項１２～１４のうちいずれか一項に記載の方法。
【請求項16】
軌跡予測装置であって、移動対象の位置情報に基づいて、前記移動対象の参考終点の位置情報を決定するように構成される参考終点予測モジュールと、
前記移動対象の位置情報及び前記参考終点の位置情報に基づいて、複数の候補軌跡を含む候補軌跡集合を決定するように構成される候補軌跡決定モジュールであって、ここで、少なくとも２つの前記候補軌跡の終点の位置情報は、前記参考終点の位置情報と異なる、候補軌跡決定モジュールと、
前記候補軌跡集合から、前記移動対象の目標軌跡を決定するように構成される目標軌跡決定モジュールと、を備える、軌跡予測装置。
【請求項17】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令は、プロセッサに、請求項１～１５のうちいずれか一項に記載の方法を実行させる、コンピュータ記憶媒体。
【請求項18】
電子機器であって、メモリと、プロセッサと、を備え、前記メモリにコンピュータによる実行可能な命令が記憶されており、前記プロセッサは前記メモリにおけるコンピュータによる実行可能な命令を実行する時、請求項１～１５のうちいずれか一項に記載の方法のステップを実現することができる、電子機器。
【国際調査報告】