特表 2023-503527 軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-30

(54)【発明の名称】軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230123BHJP

   G06T 7/00 20170101ALI20230123BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022532611

(86)(22)【出願日】2021-03-10

(85)【翻訳文提出日】2022-05-31

(86)【国際出願番号】 CN2021080016

(87)【国際公開番号】W WO2021180130

(87)【国際公開日】2021-09-16

(31)【優先権主張番号】202010177302.1

(32)【優先日】2020-03-13

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520180323

【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】孫 健華

(72)【発明者】

【氏名】蒋 沁宏

(72)【発明者】

【氏名】盧 策吾

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096DA02

5L096EA23

5L096FA77

5L096HA05

5L096HA09

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

本開示の実施例は、軌跡予測方法、装置、電子機器及び媒体を提供する。該軌跡予測方法の一例によれば、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得、かつ前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することができる。次に、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることができる。
【選択図】図1

【特許請求の範囲】

【請求項1】

目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることと、
前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することと、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることと、を含むことを特徴とする軌跡予測方法。

【請求項2】

前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示すために用いられ、
前記目標対象の履歴軌跡データは、前記目標対象の第１期間内の履歴軌跡データを含み、
前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第２期間内の履歴軌跡データを含み、前記第２期間は、前記第１期間と少なくとも局所的に重なり、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第１期間の後の第３期間内の予測軌跡を得ることを含むことを特徴とする請求項１に記載の方法。

【請求項3】

目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることは、
前記目標対象に対応する環境情報のセットを取得することであって、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、前記環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含むことと、
前記環境情報のセットに基づいて、前記目標対象の環境特徴を得ることと、
前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることと、
前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得ることと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含み、
前記方法は、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とすることをさらに含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることは、
符号化ネットワークを介して前記目標対象の第１期間内の履歴軌跡データを符号化し、前記目標対象の軌跡特徴を得ることを含むことを特徴とする請求項３に記載の方法。

【請求項6】

前記符号化ネットワークは、双方向長短期記憶ネットワークＬＳＴＭを含むことを特徴とする請求項５に記載の方法。

【請求項7】

前記目標対象の履歴軌跡データと、前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することは、
前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得ることと、
前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得ることと、
前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得ることと、
予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けることと、
更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける２つずつの対象の間の相互関係値を得ることであって、前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記２つずつの対象の間の歩行行動の関連度を表すために用いられることと、
前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することと、を含むことを特徴とする請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することは、
前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動グラフが複数のノードを含み且ついずれか２つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された２つのノードの間の相互関係値であり、
前記再帰社会行動グラフに畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得ることを含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記目標対象の個体表現ベクトルを得ることは、第１符号化ネットワークを介して前記履歴軌跡データに基づいて個体表現ベクトルを得ることを含み、
前記目標対象のグループ表現ベクトルを取得することは、第２符号化ネットワークを介して前記目標対象のグループ表現ベクトルを取得することを含み、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、復号ネットワークに基づいて前記予測軌跡を得ることを含み、
前記方法は、
前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第１損失関数値を取得することであって、前記第１損失関数値が指数平均二乗誤差損失関数に基づいて得られることと、
前記第１損失関数値に基づいて、前記復号ネットワーク、前記第１符号化ネットワーク及び前記第２符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整することと、をさらに含むことを特徴とする請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記第２符号化ネットワークは、グラフ生成器を含み、前記グラフ生成器は、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、対象セットにおける２つずつの対象の間の相互関係値を得るために用いられ、前記対象セットは、前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値は、前記２つずつの対象の間の歩行行動の関連度を表すために用いられ、
前記方法は、
前記相互関係値の予測値とラベル値との間の第２損失関数値を取得することであって、前記相互関係値のラベル値が前記相互関係値に対応する２つの対象間の歩行行動の関連度が予め設定された関連条件を満たすか否かを示すために用いられることと、
前記第２損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整することと、をさらに含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定することをさらに含むことを特徴とする請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うことをさらに含む請求項１～１０のいずれか一項に記載の方法。

【請求項13】

目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得るための個体表現モジュールと、
前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するためのグループ表現モジュールと、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るための予測処理モジュールと、を含む軌跡予測装置。

【請求項14】

前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示すために用いられ、
前記目標対象の履歴軌跡データは、前記目標対象の第１期間内の履歴軌跡データを含み、
前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第２期間内の履歴軌跡データを含み、前記第２期間は、前記第１期間と少なくとも局所的に重なり、
前記予測処理モジュールは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第１期間の後の第３期間内の予測軌跡を得るために用いられることを特徴とする請求項１３に記載の装置。

【請求項15】

前記個体表現モジュールは、環境処理サブモジュールと軌跡処理サブモジュールと融合処理サブモジュールとを含み、
前記環境処理サブモジュールは、
前記目標対象に対応する環境情報のセットを取得し、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、前記環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含み、
前記環境情報のセットに基づいて、前記目標対象の環境特徴を得るために用いられ、
前記軌跡処理サブモジュールは、
前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得るために用いられ、
前記融合処理サブモジュールは、
前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得るに用いられることを特徴とする請求項１４に記載の装置。

【請求項16】

前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含み、
前記装置は、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とするための座標変換モジュールをさらに含むことを特徴とする請求項１５に記載の装置。

【請求項17】

前記グループ表現モジュールは、関係取得サブモジュールと相互作用取得サブモジュールと表現処理サブモジュールとを含み、
前記関係取得サブモジュールは、
前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得、
前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得、
前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得、
予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けるために用いられ、
前記相互作用取得サブモジュールは、
更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける２つずつの対象の間の相互関係値を得、前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記２つずつの対象の間の歩行行動の関連度を表す、ために用いられ、
前記表現処理サブモジュールは、
前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定するために用いられることを特徴とする請求項１３～１６のいずれか一項に記載の装置。

【請求項18】

前記表現処理サブモジュールは、
前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動グラフが複数のノードを含み且ついずれか２つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された２つのノードの間の相互関係値であり、
前記再帰社会行動グラフに畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得るために用いられることを特徴とする請求項１７に記載の装置。

【請求項19】

コンピュータ可読命令を記憶するためのメモリと、
前記コンピュータ可読命令を呼び出し、請求項１～１２のいずれか一項に記載の予測軌跡方法を実施するためのプロセッサと、を含むことを特徴とする電子機器。

【請求項20】

コンピュータプログラムが記憶されるコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムがプロセッサにより実行される場合に請求項１～１２のいずれか一項に記載の予測軌跡方法が実施されるコンピュータ読み取り可能な記録媒体。

【請求項21】

記憶媒体に記憶されるコンピュータプログラムであって、
プロセッサが前記コンピュータプログラムを実行する場合、前記プロセッサは、請求項１～１２のいずれか一項に記載の予測軌跡方法を実行するために用いられるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習の技術に関し、特に、軌跡予測に関する。

【背景技術】

【0002】

歩行者の歩行行動の分析及び理解は、コンピュータビジョン及びインテリジェントビデオ監視の分野における重要な研究方向である。歩行行動モデルは、現在多くの分野に重要な応用を有し、例えば歩行行動予測、歩行者検出及び追跡などである。人間の歩行行動に対するモデリングは、複雑な問題であり、内的及び外的要因などの多くの重要な要因を考慮する必要がある。例えば、歩行者と歩行者との間の相互関係は、歩行行動の理解と予測に対して非常に重要である。

【0003】

現在、歩行者の歩行行動の予測タスクにおいて、多くの方法は、設計者が人為的で主観的に定義した事前知識に基づいて関係の強さを判断することを採用する。例えば、歩行者間の相対距離の遠さにより歩行者間の相互影響の程度をマッピングし、それにより歩行者間の相互作用をモデリングする。しかしながら、実際のシーンでは、歩行者は、自分に近い人に強い注目を与えないことが多い。このモデリング方法は、複雑なシーンにおける様々な歩行者の行為を扱うことが難しく、大きな制限がある。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の実施例は、少なくとも軌跡予測方法、装置、電子機器及び媒体を提供する。

【0005】

第１態様では、軌跡予測方法を提供し、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることと、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することと、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることとを含む。

【0006】

一部の実施例において、前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示す。前記目標対象の履歴軌跡データは、前記目標対象の第１期間内の履歴軌跡データを含む。前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第２期間内の履歴軌跡データを含み、前記第２期間は、前記第１期間と少なくとも局所的に重なる。前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第１期間の後の第３期間内の予測軌跡を得ることを含む。

【0007】

一部の実施例において、前記目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることは、前記目標対象に対応する環境情報のセットを取得することであって、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、前記環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含むことと、前記環境情報のセットに基づいて、前記目標対象の環境特徴を得ることと、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることと、前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得ることとを含む。

【0008】

一部の実施例において、前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含む。前記方法は、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とすることをさらに含む。

【0009】

一部の実施例において、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることは、符号化ネットワークを介して前記目標対象の第１期間内の履歴軌跡データを符号化し、前記目標対象の軌跡特徴を得ることを含む。ここで、前記符号化ネットワークは、双方向長短期記憶ネットワークＬＳＴＭを含む。

【0010】

一部の実施例において、前記目標対象の履歴軌跡データと、前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することは、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得ることと、前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得ることと、前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得ることと、予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けることと、更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける２つずつの対象の間の相互関係値を得ることであって、前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記２つずつの対象の間の歩行行動の関連度を表すために用いられることと、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することとを含む。

【0011】

一部の実施例において、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することは、前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動グラフが複数のノードを含み且ついずれか２つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された２つのノードの間の相互関係値であり、前記再帰社会行動グラフに畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得ることを含む。

【0012】

一部の実施例において、前記目標対象の個体表現ベクトルを得ることは、第１符号化ネットワークを介して前記履歴軌跡データに基づいて個体表現ベクトルを得ることを含む。前記目標対象のグループ表現ベクトルを取得することは、第２符号化ネットワークを介して前記目標対象のグループ表現ベクトルを取得することを含む。目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、復号ネットワークに基づいて前記予測軌跡を得ることを含む。それに応じて、前記方法は、前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第１損失関数値を取得することであって、前記第１損失関数値が指数平均二乗誤差損失関数に基づいて得られることと、前記第１損失関数値に基づいて、前記復号ネットワーク、前記第１符号化ネットワーク及び前記第２符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整することとをさらに含む。

【0013】

一部の実施例において、前記第２符号化ネットワークは、グラフ生成器をさらに含み、前記グラフ生成器は、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、対象セットにおける２つずつの対象の間の相互関係値を得るために用いられる。それに応じて、前記方法は、前記相互関係値の予測値とラベル値との間の第２損失関数値を取得することであって、前記相互関係値のラベル値が前記相互関係値に対応する２つの対象間の歩行行動の関連度が予め設定された関連条件を満たすか否かを示すために用いられることと、前記第２損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整することと、をさらに含む。

【0014】

一部の実施例において、前記方法は、前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定することをさらに含む。

【0015】

一部の実施例において、前記方法は、前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うことをさらに含む。

【0016】

第２態様では、軌跡予測装置を提供し、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得るための個体表現モジュールと、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するためのグループ表現モジュールと、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るための予測処理モジュールと、を含む。

【0017】

一部の実施例において、前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示す。前記目標対象の履歴軌跡データは、前記目標対象の第１期間内の履歴軌跡データを含む。前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第２期間内の履歴軌跡データを含み、前記第２期間は、前記第１期間と少なくとも局所的に重なる。前記予測処理モジュールは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第１期間の後の第３期間内の予測軌跡を得るために用いられる。

【0018】

一部の実施例において、前記個体表現モジュールは、環境処理サブモジュールと軌跡処理サブモジュールと融合処理サブモジュールとを含み、前記環境処理サブモジュールは、前記目標対象に対応する環境情報のセットを取得し、且つ前記環境情報のセットに基づいて、前記目標対象の環境特徴を得、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含み、前記軌跡処理サブモジュールは、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得、前記融合処理サブモジュールは、前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得る。

【0019】

一部の実施例において、前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含む。それに応じて、前記装置は、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とするための座標変換モジュールをさらに含む。

【0020】

一部の実施例において、前記グループ表現モジュールは、関係取得サブモジュールと、相互作用取得サブモジュールと、表現処理サブモジュールと、を含む。ここで、関係取得サブモジュールは、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得、前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得、前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得、予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けるために用いられる。相互作用取得サブモジュールは、更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける２つずつの対象の間の相互関係値を得るために用いられる。前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記２つずつの対象の間の歩行行動の関連度を表すために用いられることに用いられる。表現処理サブモジュールは、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定するために用いられる。

【0021】

一部の実施例において、前記表現処理サブモジュールは、具体的には前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動図が複数のノードを含み且ついずれか２つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された２つのノードの間の相互関係値であり、前記再帰社会行動図に畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得るために用いられる。

【0022】

一部の実施例において、前記軌跡処理サブモジュールは、具体的には前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得るために用いられる。

【0023】

一部の実施例において、前記個体表現モジュールは、具体的には第１符号化ネットワークを介して目標対象の履歴軌跡データに基づいて前記目標対象の個体表現ベクトルを得るために用いられ、前記第１符号化ネットワークは、双方向長短期記憶ネットワークＬＳＴＭを含む。前記グループ表現モジュールは、具体的には第２符号化ネットワークを介して前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するために用いられる。前記予測処理モジュールは、具体的には復号ネットワークを介して前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るために用いられる。それに応じて、前記装置は、前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第１損失関数値を取得し、前記第１損失関数値が指数平均二乗誤差損失関数に基づいて得られ、前記第１損失関数値に基づいて、前記復号ネットワーク、前記第１符号化ネットワーク及び前記第２符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整するためのネットワークトレーニングモジュールをさらに含むことができる。

【0024】

一部の実施例において、前記第２符号化ネットワークは、グラフ生成器をさらに含み、前記グラフ生成器は、目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象と少なくとも一つの関連対象との２つずつの間の相互関係値を得るために用いられる。それに応じて、前記ネットワークトレーニングモジュールは、さらに前記相互関係値の予測値とラベル値との間の第２損失関数値を取得し、前記相互関係値のラベル値が前記相互関係値に対応する２つの対象間の歩行行動の関連度が予め設定された関連条件を満たすか否かを示すために用いられ、前記第２損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整するために用いられる。

【0025】

一部の実施例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定するための異常決定モジュールをさらに含む。

【0026】

一部の実施例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うための経路処理モジュールをさらに含む。

【0027】

第３態様では、電子機器を提供し、前記機器は、メモリとプロセッサとを含み、前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータ可読命令を呼び出し、本開示のいずれかの実施例に記載の軌跡予測方法を実施するために用いられる。

【0028】

第４態様において、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記録媒体を提供し、前記プログラムがプロセッサにより実行される場合に本開示のいずれかの実施例に記載の軌跡予測方法が実施される。

【0029】

本開示の実施例が提供する軌跡予測方法、装置、電子機器及び媒体は、目標対象の個体表現ベクトルとグループ表現ベクトルとを総合して軌跡予測を行い、且つグループ表現ベクトルは、目標対象及び関連対象の履歴軌跡データに基づいて決定されるものであり、歩行者間の相互作用影響をより正確に表すことができ、軌跡予測結果の正確性を向上させる。

【図面の簡単な説明】

【0030】

本開示の一つ又は複数の実施例又は関連技術における技術的解決手段をより明確に説明するために、以下、実施例又は関連技術の説明に必要な図面を簡単に紹介する。以下の説明における図面は、本開示の一つ又は複数の実施例に記載される一部の実施例である。当業者にとって、創造的な労力を要することなく、これらの図面に基づいて他の関連する図面を取得することができる。

【図1】本開示の少なくとも一つの実施例が提供する軌跡予測方法のフローチャートを示す。

【図2】本開示の少なくとも一つの実施例が提供する他の軌跡予測方法のフローチャートを示す。

【図3】本開示の少なくとも一つの実施例が提供する環境情報の概略図を示す。

【図4】本開示の少なくとも一つの実施例が提供する軌跡予測のネットワークブロック図を示す。

【図5】本開示の少なくとも一つの実施例が提供する軌跡予測装置の構造概略図を示す。

【図6】本開示の少なくとも一つの実施例が提供する軌跡予測装置の構造概略図を示す。

【図7】本開示の少なくとも一つの実施例が提供する軌跡予測装置の構造概略図を示す。

【発明を実施するための形態】

【0031】

当業者が本開示の一つ又は複数の実施例における技術的解決手段をよりよく理解するために、以下に、本開示の一つ又は複数の実施例における図面を参照しながら、本開示の一つ又は複数の実施例における技術的解決手段を明確で、完全に説明する。説明された実施例は、本開示の一部の実施例だけであり、全ての実施例ではない。本開示の一つ又は複数の実施例に基づいて、当業者が創造的労働をしない前提で取得した全ての他の実施例は、いずれも本開示の保護範囲に属するべきである。

【0032】

本開示の実施例は、軌跡予測方法を提供し、該方法は、歩行者の歩行行動を予測するために用いられる。例えば、歩行者が歩いた経路に基づいて該歩行者の将来の歩行軌跡を予測することができる。

【0033】

図１は、該軌跡予測方法のフローチャートを例示し、図１に示すように、該方法は、以下の処理を含むことができる。

【0034】

ステップ１００において、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得る。

【0035】

前記目標対象は、軌跡予測を行う対象であってもよい。例えば、歩行者Ｐ１が歩いた経路に基づいて歩行者Ｐ１のこの先の歩行経路を予測すると、歩行者Ｐ１を目標対象と呼ぶことができる。

【0036】

例示的には、前記目標対象の履歴軌跡データは、該目標対象の第１期間内の履歴軌跡データであってもよい。例えば、該履歴軌跡データは、歩行者Ｐ１の期間[１，Ｔ_ｏｂｓ]内の歩行経路に対応することができ、該期間[１，Ｔ_ｏｂｓ]を第１期間と呼ぶことができる。具体的には、目標対象の第１期間[１，Ｔ_ｏｂｓ]内の履歴軌跡データは、該目標対象の第１期間内の軌跡座標シーケンスを含むことができ、該軌跡座標シーケンスは、複数の軌跡座標を含むことができる。

【0037】

例えば、軌跡座標

【数1】

は、目標対象ｉの時刻ｔにおける座標を示し、横座標がｘであり、縦座標がｙである。前記第１期間内に複数の時刻ｔを含むことができ、対応する履歴軌跡データは、それぞれ各時刻ｔに対応する軌跡座標を含み、一つの軌跡座標シーケンスを形成する。

【0038】

実際の実施において、一つのビデオ（Ｖｉｄｅｏ）を取得し、該ビデオの持続時間は、前記第１期間に対応し、該ビデオは、複数の画像フレームを含み、そのうち少なくとも一部の画像フレームは、目標対象を含むことができる。各画像フレームがいずれも前記目標対象を含むことを例とする。検出追跡アルゴリズムにより該ビデオを前処理し、前記目標対象の各画像フレームにおける軌跡座標を抽出し、最終的に該目標対象の該ビデオにおける履歴軌跡データを得ることができる。

【0039】

目標対象の第１期間内の履歴軌跡データに基づいて処理を行うことにより、目標対象の個体表現（ｉｎｄｉｖｉｄｕａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）ベクトルを得ることができる。例えば、履歴軌跡データに基づいて符号化することにより、前記個体表現ベクトルを得る。

【0040】

ステップ１０２において、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得する。

【0041】

例示的には、少なくとも一つの関連対象は、第１期間内に目標対象と同じシーンにおける対象であってもよい。例えば、以上の一つのビデオを例として、該ビデオは、前記「シーン」であってもよい。該ビデオには、目標対象を含む以外に、他の対象を含む。例えば、目標対象は、歩行者Ｐ１である場合、上記ビデオにおいて、各画像フレームには該行者Ｐ１を含むのみならず、歩行者Ｐ２及び歩行者Ｐ３を含み、歩行者Ｐ２及びＰ３は、目標対象Ｐ１の関連対象と呼ぶことができる。これから分かるように、歩行者Ｐ２及びＰ３は、歩行者Ｐ１と同様に、いずれも前記ビデオの各画像フレームに存在し、この三つの歩行者の履歴軌跡データは、同じ第１期間に対応にしてもよい。関連対象の履歴軌跡データは、目標対象と同じであり、軌跡座標シーケンスでもある。

【0042】

本ステップにおいて、目標対象及び関連対象の履歴軌跡データを符号化することにより、目標対象のグループ表現ベクトルを得ることができる。該グループ表現ベクトルは、前記少なくとも一つの関連対象が目標対象に与える行動影響を示すため用いられるができ、関連対象の履歴軌跡データが目標対象の軌跡予測に与える関連影響を含む。例えば、２人の歩行者が互いに向かって歩いて、ある箇所で集合しようとすると、この２人の歩行者の歩行経路は、関係があり、一方の歩行者の歩行経路に基づいて他方の歩行者の歩行経路を補助予測することができる。

【0043】

ステップ１０４において、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を予測する。

【0044】

ここで、目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、目標対象の将来の歩行軌跡を総合的に予測することができる。例えば、前記個体表現ベクトル及びグループ表現ベクトルは、いずれも符号化処理により得られるものであってもよく、本ステップは、個体表現ベクトル及びグループ表現ベクトルに復号処理を行うことにより、目標対象の軌跡を予測することができる。

【0045】

例示的には、目標対象の履歴軌跡データは、目標対象の第１期間[１，Ｔ_ｏｂｓ]内の軌跡座標シーケンスを含むことができ、該目標対象の関連対象の履歴軌跡データは、該関連対象の第２期間内の軌跡座標シーケンスを含む。ここで、該第２期間は、前記第１期間と少なくとも局所的に重なり、即ち関連対象と目標対象は、同じシーンに出現した。

【0046】

予測を行う場合、該目標対象である歩行者Ｐ１の第３期間[Ｔ_{ｏｂｓ＋１}，Ｔ_{ｏｂｓ＋ｐｒｅｄ}]内の歩行経路を予測してもよく、即ち目標対象の第１期間の後の第３期間内の予測軌跡を予測し、即ち目標対象の第１期間の後の一定時間の軌跡を予測する。

【0047】

なお、図１は、例示的な実現方式に過ぎず、ステップ１００及びステップ１０２の実行順序を限定するものではない。即ち実行過程において、まずステップ１００を実行してからステップ１０２を実行してもよく、又はまずステップ１０２を実行してからステップ１００を実行してもよく、当然のことながら、ステップ１００とステップ１０２を同時に実行してもよい。

【0048】

本実施例の軌跡予測方法は、目標対象の個体表現ベクトルとグループ表現ベクトルとを総合して軌跡予測を行い、且つグループ表現ベクトルは、目標対象及び関連対象の履歴軌跡データに基づいて決定されるものであり、歩行者間の相互作用影響をより正確に表すことができ、軌跡予測結果の正確性を向上させることに役立つ。

【0049】

図２は、他の軌跡予測方法のフローチャートを例示する。図１に示すフローに対して、該方法は、個体表現ベクトルの取得過程を細分化し、目標対象の軌跡予測の影響要因をより正確で全面的に考慮する。図２に示すように、該方法は、以下の処理ステップ２００、２０２、２０４、２０６、２０８、２１０を含むことができる。

【0050】

ステップ２００において、目標対象に対応する環境情報のセットを取得する。

【0051】

前記セットには、異なる時刻にそれぞれ対応する複数の環境情報が含まれる。環境情報は、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域は、前記目標対象の前記画像フレームにおける軌跡座標を含む。例えば、所定領域は、目標対象の軌跡座標を中心とする周囲領域を指す。例示的には、該環境情報は、リアルタイム環境情報であってもよい。リアルタイム環境情報を利用して、シーン環境情報が目標対象に与える軌跡影響を予測することにより、軌跡予測をより正確にすることができる。以下の説明において、リアルタイム環境情報を例として説明する。

【0052】

各リアルタイム環境情報は、目標対象の軌跡座標を含む画像パッチである。例えば、取得された目標対象の第１期間内の複数の画像フレームに対して、該複数の画像フレームは、それぞれ第１期間内の異なる時刻ｔに対応し、各画像フレームは、いずれも目標対象ｉの軌跡座標

【数2】

を含み、該軌跡座標は、目標対象の該画像フレームにおける位置を示すことができ、該画像フレームから画像パッチを切り取り、該画像パッチは、該目標対象の軌跡座標を含み、該画像パッチは、時刻ｔで該目標対象に対応するリアルタイム環境情報と呼ばれる、と理解することができる。該画像パッチは、上記目標対象が位置する画像フレームにおける所定領域の画像コンテンツであり、目標対象の該画像フレームにおける軌跡座標も該所定領域に含まれる。

【0053】

依然として以上の一つのビデオを例として、該ビデオの持続時間は、前記第１期間に対応し、かつ該ビデオは、８つの画像フレームを含み、各画像フレームは、一つの時刻ｔ_０、ｔ_１、ｔ_２、ｔ_３、ｔ_４、ｔ_５、ｔ_６、ｔ_７に対応し、そのうちの各時刻に対応する画像フレームは、目標対象を含む複数の対象を含んでもよい。該目標対象は、各画像フレームにいずれも対応する軌跡座標を有し、目標対象の該第１期間内の履歴軌跡データは、８つの軌跡座標を含むシーケンスである。

【0054】

そのうちの一つの画像フレームでは、該目標対象が位置する軌跡座標

【数3】

を中心として、該軌跡座標の周辺の所定領域の情報をリアルタイム環境情報と呼ぶことができる。例えば、前記軌跡座標を中心として１００＊１００画素の画像パッチを画定することができ、この画像パッチ内の情報は、リアルタイム環境情報と呼ぶことができる。

【0055】

図３を参照し、図３は、時刻ｔ_０に対応する画像フレームを示し、円形の軌跡座標３１は、目標対象の該時点での軌跡座標であり、方形の軌跡座標３２は、他の対象の該時点での軌跡座標であり、楕円形の軌跡座標３３は、別の対象の該時点での軌跡座標である。軌跡座標３１を中心として枠形領域Ａを画定し、該領域Ａは、目標対象の時刻ｔ_０に対応するリアルタイム環境情報であり、同様に、領域Ｂは、前記他の対象の該時刻ｔ_０に対応するリアルタイム環境情報であり、領域Ｃは、前記別の対象の該時刻ｔ_０に対応するリアルタイム環境情報である。ここで上記図３の枠形領域の大きさは、概略的であり、所定領域の大きさは、自由に設定することができる。ここで、上記異なる対象に対応する所定領域の大きさは、同じであり、同じ対象の異なる画像フレームにおける対応する所定領域の大きさも同じである。

【0056】

以上のように、目標対象の履歴軌跡データにおいて、各軌跡座標は、該軌跡座標を中心とする一つの画像パッチ（ｉｍａｇｅ ｐａｔｃｈ）に対応することができ、この画像パッチは、リアルタイム環境情報と呼ぶことができる。第１期間における各時刻に対応するリアルタイム環境情報は、セットを構成することができ、該セット（ｐａｔｃｈ ｓｅｔ）は、

【数4】

に示すことができる。

【0057】

ここで、

【数5】

は、目標対象ｉの時刻ｔにおけるリアルタイム環境情報を示し、該時刻ｔは、前記第１期間内の一つの時刻であり、Ｓ_ｉは、目標対象ｉの第１期間内のリアルタイム環境情報のセットを示し、該セットには、各時刻ｔにおける目標対象ｉに対応するリアルタイム環境情報を含む。

【0058】

ステップ２０２において、前記環境情報のセットに基づいて、前記目標対象の環境特徴を得る。例えば、リアルタイム環境情報のセットを符号化することにより、該環境特徴を得ることができる。

【0059】

ステップ２０４において、前記目標対象の第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る。

【0060】

目標対象の履歴軌跡データがグローバル座標系での軌跡座標であれば、符号化を行う前に、該軌跡座標をグローバル座標系から個体相対座標系に変換することができ、該個体相対座標系は、前記履歴軌跡データにおける初期軌跡点を原点とする。このような座標変換方法は、個体の行動をよりよく注目し、統計学的にはより正確なフィッティングを行いやすい。

【0061】

符号化ネットワークを介して目標対象の第１期間内の履歴軌跡データを符号化し、且つ得られた符号化結果を目標対象の軌跡特徴として扱うことができる。例示的には、歩行者の履歴期間の軌跡と将来期間の軌跡との間に互いに影響を与える可能性があることを考慮して、履歴軌跡データを符号化する過程において、該符号化ネットワークは、双方向長期記憶ネットワークＬＳＴＭ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ－Ｓｈｏｒｔ－Ｔｅｒｍ－Ｍｅｍｏｒｙ、Ｂｉ－ＬＳＴＭ）を採用することができる。Ｂｉ－ＬＳＴＭにより目標対象の第１期間内の履歴軌跡データを符号化し、前記目標対象の軌跡特徴を得る。該方法は、目標対象の履歴軌跡データをより正確で全面的に表すことができる。

【0062】

例えば、目標対象の個体相対座標系での軌跡座標シーケンスを３層のＢｉ－ＬＳＴＭを用いて符号化し、長さが９６の一次元テンソルを軌跡特徴として出力することができる。

【0063】

ステップ２０６において、前記環境特徴と前記軌跡特徴を連結（ｃｏｎｃａｔｅｎａｔｅ）し、前記目標対象の個体表現ベクトルを得る。

【0064】

ステップ２０８において、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得する。

【0065】

ステップ２１０において、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を予測する。

【0066】

本実施例の軌跡予測方法は、目標対象の個体表現ベクトルとグループ表現ベクトルを総合して軌跡予測を行うのみならず、グループ表現ベクトルは、目標対象及び関連対象の履歴軌跡データに基づいて決定されるものであり、歩行者の間の相互作用影響をより正確に表す。且つ、個体表現ベクトルの取得過程において対象のリアルタイム環境情報を総合することにより、軌跡予測への影響要因をより全面的に考慮し、軌跡予測の精度をさらに向上させる。

【0067】

以下は、符号化－復号のネットワークフレームワークにより、本開示の実施例の軌跡予測方法を詳細に説明する。該ネットワークフレームワークにおいて、個体表現ベクトルを生成するための第１符号化ネットワークと、グループ表現ベクトルを生成するための第２符号化ネットワークと、軌跡予測のための復号ネットワークとを含む。

【0068】

図４に示すとおり、図４におけるネットワークフレームワークは、第１符号化ネットワーク４１と、第２符号化ネットワーク４２と、復号ネットワーク４３とを含む。第１符号化ネットワーク４１は、目標対象の履歴軌跡データ及び対応するリアルタイム環境情報のセットに基づいて符号化し、目標対象の個体表現ベクトルを得ることができる。第２符号化ネットワーク４２は、目標対象及び関連対象の履歴軌跡データに基づいて符号化し、目標対象のグループ表現ベクトルを得ることができる。該個体表現ベクトル及びグループ表現ベクトルは、いずれも復号ネットワーク４３に入力され、復号ネットワーク４３により復号処理され、予測される目標対象の軌跡を得る。

【0069】

以下、第１符号化ネットワーク４１、第２符号化ネットワーク４２、及び復号ネットワーク４３の処理について、それぞれ詳細に説明する。図４に示すように、まず、一つのシーンを提供し、該シーンは、一つのビデオであってもよく、ここで例示的に４人の歩行者（図中の各軌跡線ａ、ｂ、ｃ、ｄは、１人の歩行者の歩行軌跡を表す）を含み、該ビデオの各画像フレームにおいていずれも該４人の歩行者を含む。まず検出追跡アルゴリズムにより該シーンを前処理し、歩行者ごとの履歴軌跡データ及びリアルタイム環境情報のセットを抽出することができる。

【0070】

以下、１人の歩行者を例として目標対象として、その軌跡予測の過程を説明する。他の３人の歩行者は、同様の方法で軌跡予測を行うことができ、説明を省略する。図４から分かるように、復号ネットワーク４３から最終的に出力された結果において、これらの４人の歩行者の軌跡は、それぞれ元の軌跡に比べて1セグメントの予測結果が追加されている。例えば、軌跡線ａ（実線で示す）は、1セグメントの軌跡線ａ１（破線で示す）を前方に延長し続ける。軌跡線ａは、歩行者の第１期間での履歴軌跡データに相当し、軌跡線ａ１は、上記第１符号化ネットワーク４１、第２符号化ネットワーク４２及び復号ネットワーク４３の処理により、予測して得られた歩行軌跡に相当する。

【0071】

第１符号化ネットワークによる個体表現ベクトルの符号化及び出力
図４に示すように、目標対象のシーンにおける履歴軌跡データ及びリアルタイム環境情報のセットを第１符号化ネットワーク４１に入力する。ここで、第１符号化ネットワーク４１は、第１サブネットワーク４１１と第２サブネットワーク４１２とを含むことができる。

【0072】

ここで、第１サブネットワーク４１１は、目標対象の履歴軌跡データを符号化し、目標対象の軌跡特徴を得るために用いられる。該第１サブネットワーク４１１がＢｉ－ＬＳＴＭであることを例とする。例えば、該軌跡特徴は、出力長さが９６の一次元テンソルであってもよい。実際の実施において、本実施例は、該軌跡特徴の出力長さを制限せず、９６以外の他の数値であってもよい。

【0073】

第２サブネットワーク４１２は、目標対象のリアルタイム環境情報のセットを符号化し、目標対象の環境特徴を得るために用いられる。該第２サブネットワーク４１２がＣＮＮであることを例とし、ＣＮＮは、目標対象のリアルタイム環境情報のセットを符号化し、全結合層により各リアルタイム環境情報の符号化結果を統合し、長さが４の一次元テンソルを環境特徴として出力することができる。本実施例は、該環境特徴の出力長さを制限せず、４以外の他の数値であってもよい。

【0074】

軌跡特徴と環境特徴に対して連結操作を行い、目標対象の個体表現ベクトルを得ることができる。

【0075】

第２符号化ネットワークによるグループ表現ベクトルの符号化及び出力
図４に示すように、グラフ生成器４２１（ＲＳＢＧ Ｇｅｎｅｒａｔｏｒ）は、目標対象及びその関連対象の履歴軌跡データを受信し、且つこれらの履歴軌跡データに基づいて再帰社会行動グラフ（Ｒｅｃｕｒｓｉｖｅ Ｓｏｃｉａｌ Ｂｅｈａｖｉｏｒ Ｇｒａｐｈ、ＲＳＢＧ）を生成するために用いられる。該ＲＳＢＧは、目標対象とその関連対象との関係を示すためのグラフである。

【0076】

シーンにＮ人の歩行者が含まれることを例として、該Ｎ人の歩行者に目標対象を含む。初期化の過程において、目標対象及び少なくとも一つの関連対象の履歴軌跡データ（グローバル座標系での軌跡座標であってもよい）に基づいて統合して特徴行列Ｆを得ることができる。該特徴行列Ｆは、Ｎ行でＬ列の行列であり、各行は、１人の歩行者の特徴を示し、Ｌ列は、各歩行者の特徴がＬ個の特徴を含むことを示す。該Ｌの値は、例えば２Ｔ_ｏｂｓであってもよく、Ｔ_ｏｂｓは、履歴軌跡データの長さである。２Ｔ_ｏｂｓは例示的なものに過ぎず、本実施例は上記Ｌの具体的な値を限定しない。

【0077】

以下の式（２）を参照すると、２つの異なる全結合層ｇ_ｓ及びｇ_ｏを使用して、それぞれ行列Ｆを２つの異なる関数空間にマッピングした後に関係取得処理を行い、該関係取得処理は、上記変換後の特徴行列に基づいて対象間の関係を計算することを含むことができる。例えば、該関係取得処理は、そのうちの一つの特徴行列を転置した後に他の特徴行列と乗算し、その後にｓｏｆｔｍａｘ関数により正規化し、関係行列Ｒを得、該Ｒ行列の大きさは、Ｎ＊Ｎであり、以下の式（２）に示すとおりである。実際の実施において、関係取得処理は、該式（２）の形式に限定されず、例えば、さらにｓｏｆｔｍａｘ関数以外の他の正規化関数を採用することができる。

【数6】

【0078】

ここで、ｋは、再帰層の深さを示し、例えば、ｋ＝１の場合、Ｒ_ｋは、一回目の再帰演算により得られた関係行列を示し、ｋ＝２の場合、Ｒ_ｋは、２回目の再帰演算により得られた関係行列を示す。

【0079】

式（３）を参照し続ける。

【数7】

【0080】

上記式（３）のように、関係行列Ｒと特徴行列Ｆを融合し、より深い階層の特徴行列（更新後の特徴行列と呼ばれてもよい）を得ることができる。例えば、ｋ層の関係行列Ｒ_ｋと特徴行列Ｆ_ｋを融合した後、ｋ＋１回の演算に用いられる特徴行列Ｆ_ｋ＋１を得る。ここで、ｆ_ｃは、融合時に使用された関数を示す。

【0081】

次に、戻って式（２）及び式（３）を繰り返して実行し、即ち特徴行列Ｆ_ｋ＋１を式（２）に導入し、関係行列Ｒ_ｋ＋１を得、次に特徴行列Ｆ_ｋ＋１及び関係行列Ｒ_ｋ＋１を式（３）に導入して計算して特徴行列Ｆ_ｋ＋２を得る。このように繰り返し、説明を省略する。予め設定された更新停止条件に達すると、該関係行列の更新を停止する。例えば、該更新停止条件は、所定の反復回数に達することであってもよい。

【0082】

上記更新プロセスにおいて複数の関係行列を得ることができ、例えば、一連のＲ_１，…，Ｒ_ｋを抽出し、ｋが再帰層数である。本実施例において、これらの関係行列を算術平均し、総関係行列Ｒを得ることができる。該総関係行列ＲもＮ＊Ｎであり、該行列における各値は、目標対象と少なくとも一つの関連対象との２つずつの間の相互関係値を示す。例えば、Ｎが４であることを例として、４人の歩行者Ｐ１、Ｐ２、Ｐ３及びＰ４のうちの歩行者Ｐ１は、目標対象であり、歩行者Ｐ２～Ｐ４は、目標対象の関連対象と呼ぶことができる。以下に４＊４の関係行列Ｒを例示する。

【数8】

【0083】

ここで、該関係行列において、上から下への順序で４つの行を見ると、各行がそれぞれ「Ｐ１、Ｐ２、Ｐ３及びＰ４」に対応し、左から右への順序で４つの列を見ると、各列がそれぞれ「Ｐ１、Ｐ２、Ｐ３及びＰ４」に対応する。例えば、第１行第２列の値「０．８」は、歩行者Ｐ１と歩行者Ｐ２との間の相互関係値を示す。また例えば、第３行第４列の値「０．３」は、歩行者Ｐ３と歩行者Ｐ４との間の相互関係値を示す。

【0084】

関係行列Ｒにおける各要素の値は、対象セットにおける２つずつの対象の間の歩行行動の関連度を表すことができ、相互関係値と呼ぶことができる。以上の関係行列の例のように、前記対象セットは、目標対象と少なくとも一つの関連対象とを含み、前記２つずつの対象の間は、目標対象と関連対象の間であってもよく、関連対象と関連対象の間であってもよい。前記歩行行動の関連度は、２つの対象の行動の間に関係がある確率を示すために用いられることができ、例えば、２つの対象の歩行行動の間に関係がある確率が８０％であり、又は関係がある確率が２０％だけである。前記行動関連は、様々な状況を含むことができ、例えば、類似する目的地、類似する運動軌跡、類似する運動などのうちの一つ又は複数の組み合わせである。例えば、２人が互いに向かって歩いて、同じ場所で集合すれば、この２人は、同じグループに属する。また例えば、数人の家族が外出し、歩行軌跡及び目的地が基本的に一致し、この家族は、同じグループと見なすことができる。また例えば、横断歩道を青信号で通行する場合、道路を横断する歩行者の大部分は、同じ歩行軌跡を示し、これらの人は、同じグループと見なすことができる。行動関連は、上述した例以外の他の例であってもよい。

【0085】

上記相互関係値に基づいて２つの対象の行動関連を決定する場合、この２つの対象が同じグループ（ｇｒｏｕｐ）に属すると呼ぶこともできる。例えば、以上に例示した関係行列における各要素の値は、相互関係値であり、２つの対象の行動関連度を示す。該相互関係の値がある閾値より大きい場合、同じグループであると考えることができる。例示的には、２つの対象の相互関係値が閾値０．７より大きい０．８であるとすれば、２つの対象が同じグループであると考えることができる。

【0086】

上記得られた総関係行列Ｒに基づいて、目標対象のグループ表現ベクトルを決定することができる。

【0087】

例えば、関係行列Ｒに基づいて再帰社会行動グラフを生成することができ、前記再帰社会行動グラフは、複数のノードを含み、且つ任意の２つのノードの間に接続辺を有する。ここで、各ノードは、前記対象セットにおける一つの対象に対応し、前記ノードの値は、該ノードに対応する対象の履歴軌跡データであり、前記接続辺の値は、前記接続辺により接続された２つのノードの間の相互関係値である。以下の式を参照する。

【数9】

【0088】

ここで、該再帰社会行動グラフＲＳＢＧは、頂点ｔ_ｉを有し、該頂点ｔ_ｉは、目標対象ｉの履歴軌跡データ（合計でＮ個の対象を有し、該歴軌跡データが個体相対座標系での軌跡座標であってもよい）であってもよく、該再帰社会行動グラフにおける接続辺の値は、Ｒ_ａ（ｉ_１，ｉ_２）であり、該接続辺Ｒ_ａ（ｉ_１，ｉ_２）は、総関係行列Ｒの第ｉ_１行第ｉ_２列での値を示し、対象ｉ_１とｉ_２の相互関係値である。

【0089】

ＲＳＢＧを生成した後、該グラフにグラフ畳み込み処理を行い、目標対象に対応するノードの値を得ることができ、前記値を目標対象のグループ表現ベクトルとする。例えば、ＧＣＮ（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）によりグラフ畳み込み処理を行うことができ、関連する処理式は、以下の式７及び式８を参照することができる。

【数10】

【0090】

ここで、ｍは、ＧＣＮの層数を示し、ｆｃは、全結合層の処理を示す。例えば、１つの２層のＧＣＮネットワークを使用する場合、ｍ＝２であり、式（７）及び式（８）に応じて２回計算を行うことができる。例えば、ｍが１である場合に計算してベクトル

【数11】

を得、次に該ベクトル

【数12】

を式に代入してもう一回計算し、最終的にベクトル

【数13】

を得、即ち目標対象ｉのグループ表現ベクトルである。

【0091】

以上のような計算過程において、特徴行列及び関係行列の再帰計算及び融合により、最終的に総関係行列Ｒを得、且つグラフ構造をさらに利用してグラフ畳み込み処理により歩行者間の相互関係を得、得られたグループ表現ベクトルが歩行者間の相互作用への影響を表すことがより正確になっている。

【0092】

復号ネットワークによる予測軌跡の復号及び出力
個体表現ベクトル及びグループ表現ベクトルを取得した後、この２つのベクトルを復号ネットワーク４３に入力することができ、該復号ネットワーク４３は、目標対象の個体表現ベクトル及びグループ表現ベクトルを連結して全体表現ベクトルを得ることができる。該全体表現ベクトルは、ＬＳＴＭの入力とし、ＬＳＴＭは、該目標対象の第２期間内の予測軌跡を出力することができる。

【0093】

上記第１復号ネットワーク４１、第２復号ネットワーク４２及び復号ネットワーク４３は、まずトレーニングされ、次に歩行者の軌跡予測に適用される。

【0094】

ネットワークトレーニング段階において、目標対象の予測軌跡は、予測値及び真の値を有することができ、予測値及び真の値に基づいて第１損失関数を計算する。例えば、該第１損失関数の関数値は、以下の式（９）に基づいて得ることができる。

【数14】

【0095】

以上の式（９）は、指数Ｌ２ ｌｏｓｓ（Ｅｘｐｏｎｅｎｔｉａｌ Ｌ２ Ｌｏｓｓ）、即ち平均二乗誤差損失関数である。ここで、ｔは、予測時間ノードを示し、ｉは、歩行者ｉｄを示し、

【数15】

は、真の値を示し、

【数16】

は、予測値を示し、γは、ハイパーパラメータであり、実験において例えば２０に設定することができる。該ハイパーパラメータγは、予測された第２期間の長さに応じて変化することができ、例えば、第２期間の持続時間が長いほど、該γの値が大きくてもよい。

【0096】

指数Ｌ２ ｌｏｓｓを用いて第１損失関数値を計算することにより、軌跡予測の時に、予測された時間ノードが遠いほど損失重みが漸次増加し、それにより監視トレーニングにおいて各軌跡座標の平均予測結果の正確性及び目的地予測の正確性を両立させ、軌跡予測をより正確にする。

【0097】

上記計算して得られた第１損失関数値に基づいて、前記復号ネットワーク、第１符号化ネットワーク及び第２符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを逆方向に調整することができる。

【0098】

トレーニング段階において、ＲＳＢＧを用いてグラフ畳み込みを行う方式により歩行者の間の相互作用の影響を取得する場合、さらにシーンにおける歩行者の間の実際の相互関係値、即ち関係行列Ｒにおける各要素のラベル値を予め取得することができる。該ラベル値は、前記相互関係値に対応する２つの対象が同じグループに属するか否かを示すために用いられ、ここで、同じグループに属する２つの対象の間の歩行行動関連度が予め設定された関連条件を満たす。該予め設定された関連条件は、例えば以上に例示した相互関係値が予め設定された閾値より大きいことであってもよく、例えば、相互関係値が０．８であり、閾値０．７より大きい場合、該相互関係値に対応する２つの対象の歩行行動の関連度が予め設定された関連条件を満たすと考えられ、この２つの対象が同じグループに属すると考えられる。具体的な実施において、該ラベル値の決定は、専門家同定の方式を採用することができる。例えば、図４のシーンに４人の歩行者があり、専門家同定の方式によりこの４人の歩行者のうちの任意の２人の間の関係を決定することができ、即ち２人の歩行者が同じグループに属するか否かを決定し、同じグループに属すれば、Ｒ_ａ（ｉ_１，ｉ_２）のラベル値を１に設定すし、同じグループに属しなければ、Ｒ_ａ（ｉ_１，ｉ_２）のラベル値を０に設定する。

【0099】

以上の説明で言及したグラフ生成器により再帰的方式で計算して得られた総関係行列Ｒ（例えば、再帰的過程における複数の関係行列を平均化した後に得られた関係行列Ｒ）は、相互関係値の予測値である。上記相互関係値の予測値とラベル値に基づいて第２損失関数値を計算することができる。例えば、クロスエントロピーを利用して該損失値を計算することができる。前記第２損失関数値に基づいて、グラフ生成器におけるネットワークパラメータを調整することができる。例えば、該グラフ生成器は、複数の全結合層を含み、これらの全結合層のネットワークパラメータを調整することができる。

【0100】

本開示の実施例の軌跡予測方法は、予測された軌跡を得た後、様々なシーンに適用することができる。

【0101】

例えば、目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定する。前記マッチングしないことは、実際の軌跡が予測軌跡と異なることであってもよく、実際の軌跡と予測軌跡との偏差が大きいことを含む。ＡＤＥ（Ａｖｅｒａｇｅ Ｄｉｓｐｌａｃｅｍｅｎｔ Ｅｒｒｏｒ）又はＦＤＥ（Ｆｉｎａｌ Ｄｉｓｐｌａｃｅｍｅｎｔ Ｅｒｒｏｒ）という指標により実際の軌跡と予測軌跡との間の距離を判断することができる。上記指標により一定の閾値を設定することにより、２つの軌跡偏差の程度が大きいか否かを判断することができる。実際の応用の一例として、ある歩行者Ｐ２が交差点を左折しようとすることを予測し、結果として実際に彼が交差点を右折する場合、該行者に行動異常のリスクが存在することを確定することができる。例えば、歩行者の行為が異常であると発見した後、該歩行者が不正者（例えば泥棒）である可能性があることを示す。

【0102】

また例えば、目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に基づいて経路計画を行う。例えば、補助知能ロボットが自動的に歩行する時、向こうのある歩行者の軌跡を予測した後、ロボットは、予測された該歩行者の軌跡に基づいて自分の次の行動ルートを決定することができ、例えば、ロボットは、自分の歩行ルートを修正して上記予測された歩行者との衝突を防止することができる。また、該方法は、他の知能歩行装置にさらに適用することができ、該知能歩行装置は、予測された歩行者軌跡に基づいて、自身の次の歩行ルートを修正するか又は計画することにより、歩行者との衝突を回避することができる。

【0103】

本開示の実施例は、軌跡予測装置を提供し、該装置は、本開示のいずれかの実施例の軌跡予測方法を実行することができる。以下に該装置を簡単に説明し、その各モジュールの具体的な処理は、方法の実施例を参照することができる。図５に示すように、該装置は、個体表現モジュール５１と、グループ表現モジュール５２と、予測処理モジュール５３とを含むことができる。

【0104】

ここで、個体表現モジュール５１は、目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得るために用いられる。グループ表現モジュール５２は、前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するために用いられる。予測処理モジュール５３は、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るために用いられる。

【0105】

一例において、前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示すために用いられる。前記目標対象の履歴軌跡データは、前記目標対象の第１期間内の履歴軌跡データを含む。前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第２期間内の履歴軌跡データを含み、前記第２期間は、前記第１期間と少なくとも局所的に重なる。

【0106】

前記予測処理モジュール５３は、具体的には前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の第１期間の後の第３期間内の予測軌跡を得るために用いられる。

【0107】

一例において、図６に示すように、個体表現モジュール５１は、環境処理サブモジュールと５１１、軌跡処理サブモジュール５１２と、融合処理サブモジュール５１３とを含むことができる。

【0108】

ここで、環境処理サブモジュール５１１は、前記目標対象に対応する環境情報のセットを取得し、且つ前記環境情報のセットに基づいて前記目標対象の環境特徴を得るために用いられる。前記セットに異なる時刻にそれぞれ対応する複数の環境情報を含む。環境情報は、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域は、前記目標対象の前記画像フレームにおける軌跡座標を含む。軌跡処理サブモジュール５１２は、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得るために用いられる。融合処理サブモジュール５１３は、前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得るために用いられる。

【0109】

一例において、前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含む。前記装置は、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とするための座標変換モジュール５４をさらに含む。

【0110】

一例において、前記グループ表現モジュール５２は、関係取得サブモジュール５２１、相互作用取得サブモジュール５２２と、表現処理サブモジュール５２３とを含むことができる。

【0111】

ここで、関係取得サブモジュール５２１は、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得、前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得、前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得、予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けるために用いられる。

【0112】

相互作用取得サブモジュール５２２は、更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける２つずつの対象の間の相互関係値を得るために用いられる。ここで、前記対象セットは、目標対象と少なくとも一つの関連対象とを含み、前記相互関係値が前記２つずつの対象の間の歩行行動の関連度を表すために用いられる。

【0113】

表現処理サブモジュール５２３は、前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定するために用いられる。一例において、表現処理サブモジュール５２３は、具体的には前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動図が複数のノードを含み且ついずれか２つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された２つのノードの間の相互関係値であり、前記再帰社会行動図に畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得るために用いられる。

【0114】

一例において、前記個体表現モジュール５１は、具体的には第１符号化ネットワークを介して目標対象の履歴軌跡データに基づいて前記目標対象の個体表現ベクトルを得るために用いられ、前記グループ表現モジュール５２は、具体的には第２符号化ネットワークを介して前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するために用いられ、前記予測処理モジュール５３は、具体的には復号ネットワークを介して前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るために用いられる。ここで、前記第１符号化ネットワークは、双方向長短期記憶ネットワークＬＳＴＭを含む。

【0115】

一例において、図７に示すように、前記装置は、前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第１損失関数値を取得し、前記第１損失関数値が指数平均二乗誤差損失関数に基づいて得られ、前記第１損失関数値に基づいて、前記復号ネットワーク、前記第１符号化ネットワーク及び前記第２符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整するためのネットワークトレーニングモジュール５５をさらに含むことができる。

【0116】

一例において、前記第２符号化ネットワークは、グラフ生成器をさらに含み、前記グラフ生成器は、目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象と少なくとも一つの関連対象との２つずつの間の相互関係値を得るために用いられる。この場合、前記ネットワークトレーニングモジュール５５は、さらに前記相互関係値の予測値とラベル値との間の第２損失関数値を取得し、前記相互関係値のラベル値が前記相互関係値に対応する２つの対象が同じグループに属するか否かを示すために用いられ、ここで、同じグループに属する２つの対象の間の歩行行動の関連度が予め設定された関連条件を満たし、前記第２損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整するために用いられる。

【0117】

一例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象行動が異常であると決定するための異常決定モジュール５６をさらに含むことができる。

【0118】

一例において、前記装置は、前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うための経路処理モジュール５７をさらに含む。

【0119】

一部の実施例において、上記装置は、以上に記載の対応する任意の方法を実行するために用いられてもよく、簡潔のために、ここでは説明を省略する。

【0120】

本開示の実施例は、電子機器をさらに提供し、前記機器は、メモリとプロセッサとを含み、前記メモリは、コンピュータ可読命令を記憶するために用いられ、前記プロセッサは、前記コンピュータコマンドを呼び出し、本明細書のいずれかの実施例の軌跡予測方法を実施するために用いられる。

【0121】

本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体をさらに提供し、前記プログラムがプロセッサにより実行される時に本明細書のいずれかの実施例の軌跡予測方法が実施される。

【0122】

本願は、コンピュータプログラムをさらに提供し、該コンピュータプログラムは、記憶媒体に記憶され、プロセッサが該コンピュータプログラムを実行する時、前記プロセッサは、上記いずれかの実施例の上記軌跡予測方法を実行するために用いられる。

【0123】

当業者に理解されるように、本開示の一つ又は複数の実施例は、方法、システム又はコンピュータプログラム製品として提供することができる。したがって、本開示の一つ又は複数の実施例は、完全なハードウェア実施例、完全なソフトウェア実施例又はソフトウェアとハードウェアを組み合わせる実施例の形式を採用することができる。且つ、本開示の一つ又は複数の実施例は、コンピュータ使用可能なプログラムコードを含む一つ又は複数のコンピュータ使用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むがこれらに限定されない）で実施されたコンピュータプログラム製品の形式を採用することができる。

【0124】

本開示の実施例は、コンピュータ読み取り可能な記録媒体をさらに提供し、該記憶媒体にコンピュータプログラムが記憶されてもよく、前記プログラムがプロセッサにより実行される時に本開示のいずれかの実施例に記載の軌跡予測のためのニューラルネットワークのトレーニング方法のステップが実施され、及び／又は本開示のいずれかの実施例に記載の軌跡予測方法のステップが実施される。

【0125】

ここで、本開示の実施例に記載の「及び／又は」は、少なくとも両者のうちの一つを有することを示し、例えば、「Ａ及び／又はＢ」は、Ａ、Ｂ、及び「Ａ及びＢ」という三種類の解決手段を含む。

【0126】

本開示における各実施例は、いずれも漸進の方式で説明され、各実施例の同じで類似する部分は、互いに参照すればよく、各実施例は、他の実施例との相違点を重点として説明する。特に、データ処理装置の実施例に対して、それは、基本的に方法の実施例と類似するため簡単に説明され、関連する部分は、方法の実施例の部分の説明を参照すればよい。

【0127】

以上、本開示の具体的な実施例について説明した。他の実施例は、添付の特許請求の範囲内にある。いくつかの場合、特許請求の範囲に記載の行為又はステップは、実施例と異なる順序で実行し且つ依然として所望の結果を実現することができる。また、図面に描かれたプロセスは、所望の結果を達成するために、示されている特定の順序又は連続した順序で行われる必ずしも必要としない。いくつかの実施形態において、マルチタスク処理及び並列処理も可能であるか又は有利である可能性がある。

【0128】

本開示に記載の主題及び機能操作の実施例は、デジタル電子回路、実体的に具現化されたコンピュータソフトウェア又はファームウェア、本開示に開示された構造及びその構造的等価物を含むコンピュータハードウェア、又はそれらのうちの一つ又は複数の組み合わせにより実現することができる。本開示に記載の主題の実施例は、一つ又は複数のコンピュータプログラム、即ち有形の非一時的なプログラム担体にコーディングされてデータ処理装置に実行されるか又はデータ処理装置の操作を制御するコンピュータプログラムコマンドのうちの一つ又は複数のモジュールとして実現することができ。代わりに、またはこれに加えて、プログラムコマンドは、機械的に生成された電気、光又は電磁信号などの人工的に生成された伝播信号に符号化されてもよく、該信号が生成されて情報を符号化し且つ適切な受信機装置に伝送してデータ処理装置により実行される。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダム又はシリアルアクセスメモリ装置、又はそれらのうちの一つ又は複数の組み合わせであってもよい。

【0129】

本開示に記載の処理及び論理フローは、一つ又は複数のコンピュータプログラムを実行する一つ又は複数のプログラム可能なコンピュータにより実行されてもよく、入力データに基づいて操作し且つ出力を生成することにより対応する機能を実行する。前記処理及び論理フローは、さらに例えばＦＰＧマルチ（フィールドプログラマブルゲートアレイ）又はマルチＳＩＣ（専用集積回路）などの専用論理回路により実行されてもよく、且つ装置は、専用論理回路として実現されてもよい。

【0130】

コンピュータプログラムの実行に適するコンピュータは、例えば汎用及び／又は専用マイクロプロセッサ、又は任意の他のタイプの中央処理ユニットを含む。一般的に、中央処理ユニットは、リードオンリーメモリ及び／又はランダムアクセスメモリからコマンド及びデータを受信する。コンピュータの基本的な構成要素は、コマンドを実施か実行するための中央処理ユニットとコマンド及びデータを記憶するための一つ又は複数の記憶装置とを含む。一般的に、コンピュータは、データを記憶するための一つ又は複数の大容量記憶装置をさらに含み、例えば磁気ディスク、光磁気ディスク又は光ディスク等であり、又はコンピュータは、この大容量記憶装置と操作可能に結合されてそれとデータの受送信を行い、又は２つの場合があるが、コンピュータは、必ずこのような装置を有する必要がない。また、コンピュータは、他の装置に埋め込むことができ、例えば携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、移動オーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又は例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリドライブなどのポータブル記憶装置であり、いくつかの例のみを挙げる。

【0131】

コンピュータプログラムコマンド及びデータを記憶することに適するコンピュータ可読媒体は、全ての形式の不揮発性メモリ、媒体及びメモリ装置を含み、例えば半導体メモリ装置（例えばＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置）、磁気ディスク（例えば内部ハードディスク又はリムーバブルディスク）、光磁気ディスク、ＣＤＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサ及びメモリは、専用論理回路によって補充されてもよく又は専用論理回路に組み込まれてもよい。

【0132】

本開示は、具体的な実施詳細を多く含むが、これらが任意の開示された範囲又は保護を要求する範囲を限定するものと解釈されるべきではなく、主に特定の開示された具体的な実施例の特徴を説明するために用いられる。本開示における複数の実施例に記載された特徴のいくつかは、単一の実施形態の中で組み合わせて実施されてもよい。他方では、単一の実施例において説明された様々な特徴は、複数の実施例において分けて実施するか又は任意の適切なサブ組み合わせで実施することができる。また、特徴は、上記のようにいくつかの組み合わせにおいて作用し且つ最初にこのように保護を要求することができるが、保護を要求する組み合わせからの一つ又は複数の特徴は、いくつかの場合に該組み合わせから除去することができ、且つ保護を要求する組み合わせは、サブ組み合わせ又はサブ組み合わせの変形を指すことができる。

【0133】

同様に、図面において特定の順序で操作を描いたが、これは、これらの操作が示された特定の順序で実行されるか又は順次実行されることを要求し、又は全ての例示された操作が実行されることを要求して、所望の結果を実現すると理解されるべきではない。いくつかの場合に、マルチタスク及び並列処理は、有利である可能性がある。また、上記実施例における様々なシステムモジュール及びコンポーネントの分離は、全ての実施例においていずれもこのような分離を必要とすると理解されるべきではなく、且つ、説明されたプログラムコンポーネント及びシステムは、一般的に単一のソフトウェア製品に統合されてもよく、又は複数のソフトウェア製品にパッケージされてもよいと理解すべきである。

【0134】

これにより、主題の特定の実施例が説明された。他の実施例は、添付の特許請求の範囲内にある。いくつかの場合、特許請求の範囲に記載の動作は、異なる順序で実行しても所望の結果を実現することができる。また、図面に示された処理は、必ずしも示された特定の順序又は順序で所望の結果を実現しない。いくつかの実現において、マルチタスク及び並列処理は、有利である可能性がある。

【0135】

以上の記載は、本開示の一つ又は複数の実施例の好ましい実施例に過ぎず、本開示の一つ又は複数の実施例を限定するものではなく、本開示の一つ又は複数の実施例の精神及び原則内に行われた任意の修正、同等置換、改善等は、いずれも本開示の一つ又は複数の実施例の保護範囲内に含まれるべきである。

【0136】

本願は、２０２０年３月１３日に提出された出願番号が２０２０１０１７７３０２．１であり、発明名称が「軌跡予測方法、装置、電子機器及び媒体」の中国特許出願の優先権を主張し、以上の中国特許出願の全文は、引用の方式で本明細書に組み込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-05-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることと、
前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することと、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることと、を含むことを特徴とする軌跡予測方法。

【請求項2】

前記グループ表現ベクトルは、前記少なくとも一つの関連対象が前記目標対象に与える行動影響を示すために用いられ、
前記目標対象の履歴軌跡データは、前記目標対象の第１期間内の履歴軌跡データを含み、
前記少なくとも一つの関連対象の履歴軌跡データは、前記少なくとも一つの関連対象の第２期間内の履歴軌跡データを含み、前記第２期間は、前記第１期間と少なくとも局所的に重なり、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の前記第１期間の後の第３期間内の予測軌跡を得ることを含むことを特徴とする請求項１に記載の方法。

【請求項3】

目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得ることは、
前記目標対象に対応する環境情報のセットを取得することであって、前記セットがそれぞれ異なる時刻に対応する複数の環境情報を含み、前記環境情報が、前記目標対象を含む画像フレームにおける所定領域の画像コンテンツを含み、前記所定領域が前記目標対象の前記画像フレームにおける軌跡座標を含むことと、
前記環境情報のセットに基づいて、前記目標対象の環境特徴を得ることと、
前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることと、
前記環境特徴と前記軌跡特徴を連結し、前記目標対象の個体表現ベクトルを得ることと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記目標対象の履歴軌跡データは、前記目標対象のグローバル座標系での複数の軌跡座標を含み、
前記方法は、前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得る前に、前記履歴軌跡データをグローバル座標系から個体相対座標系に変換し、前記個体相対座標系が前記目標対象の履歴軌跡データにおける初期軌跡点を原点とすることをさらに含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記目標対象の前記第１期間内の履歴軌跡データに基づいて、前記目標対象の軌跡特徴を得ることは、
符号化ネットワークを介して前記目標対象の第１期間内の履歴軌跡データを符号化し、前記目標対象の軌跡特徴を得ることを含み、
前記符号化ネットワークは、双方向長短期記憶ネットワークＬＳＴＭを含むことを特徴とする請求項３に記載の方法。

【請求項6】

前記目標対象の履歴軌跡データと、前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得することは、
前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、特徴行列を得ることと、
前記特徴行列をそれぞれ異なる全結合層により複数の関数空間にマッピングした後、関係取得処理を行って関係行列を得ることと、
前記関係行列と前記特徴行列とを融合し、更新後の特徴行列を得ることと、
予め設定された更新停止条件に達するまで、前記更新後の特徴行列に基づいて前記関係行列を更新し続けることと、
更新プロセスにおける複数の前記関係行列に基づいて、対象セットにおける２つずつの対象の間の相互関係値を得ることであって、前記対象セットが前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値が前記２つずつの対象の間の歩行行動の関連度を表すために用いられることと、
前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することと、を含むことを特徴とする請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記相互関係値に基づいて前記目標対象のグループ表現ベクトルを決定することは、
前記相互関係値に基づいて、再帰社会行動グラフを生成し、前記再帰社会行動グラフが複数のノードを含み且ついずれか２つの前記ノードの間に接続辺を有し、各前記ノードが前記対象セットにおける一つの対象に対応し、前記ノードの値が前記ノードに対応する対象の履歴軌跡データであり、前記接続辺の値が前記接続辺により接続された２つのノードの間の相互関係値であり、
前記再帰社会行動グラフに畳み込み処理を行い、前記目標対象に対応するノードの値を前記目標対象のグループ表現ベクトルとして得ることを含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記目標対象の個体表現ベクトルを得ることは、第１符号化ネットワークを介して前記履歴軌跡データに基づいて個体表現ベクトルを得ることを含み、
前記目標対象のグループ表現ベクトルを取得することは、第２符号化ネットワークを介して前記目標対象のグループ表現ベクトルを取得することを含み、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得ることは、復号ネットワークに基づいて前記予測軌跡を得ることを含み、
前記方法は、
前記目標対象の予測軌跡を得た後、前記予測軌跡の予測値と真の値とに基づいて第１損失関数値を取得することであって、前記第１損失関数値が指数平均二乗誤差損失関数に基づいて得られることと、
前記第１損失関数値に基づいて、前記復号ネットワーク、前記第１符号化ネットワーク及び前記第２符号化ネットワークのうちの少なくとも一つのネットワークのネットワークパラメータを調整することと、をさらに含むことを特徴とする請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記第２符号化ネットワークは、グラフ生成器を含み、前記グラフ生成器は、前記目標対象の履歴軌跡データと前記少なくとも一つの関連対象の履歴軌跡データとに基づいて、対象セットにおける２つずつの対象の間の相互関係値を得るために用いられ、前記対象セットは、前記目標対象と前記少なくとも一つの関連対象とを含み、前記相互関係値は、前記２つずつの対象の間の歩行行動の関連度を表すために用いられ、
前記方法は、
前記相互関係値の予測値とラベル値との間の第２損失関数値を取得することであって、前記相互関係値のラベル値が前記相互関係値に対応する２つの対象間の歩行行動の関連度が予め設定された関連条件を満たすか否かを示すために用いられることと、
前記第２損失関数値に基づいて、前記グラフ生成器におけるネットワークパラメータを調整することと、をさらに含むことを特徴とする請求項８に記載の方法。

【請求項10】

前記目標対象の予測軌跡を得た後、前記目標対象の実際の軌跡が前記予測軌跡とマッチングしない場合、前記目標対象の行動が異常であると決定することと、
前記目標対象の予測軌跡を得た後、前記目標対象の予測軌跡に応じて経路計画を行うことと、のうちのいずれか１つまたは複数をさらに含む請求項１～９のいずれか一項に記載の方法。

【請求項11】

目標対象の履歴軌跡データに基づいて、前記目標対象の個体表現ベクトルを得るための個体表現モジュールと、
前記目標対象の履歴軌跡データと、前記目標対象と同じシーンにおける少なくとも一つの関連対象の履歴軌跡データとに基づいて、前記目標対象のグループ表現ベクトルを取得するためのグループ表現モジュールと、
前記目標対象の個体表現ベクトル及びグループ表現ベクトルに基づいて、前記目標対象の予測軌跡を得るための予測処理モジュールと、を含む軌跡予測装置。

【請求項12】

コンピュータ可読命令を記憶するためのメモリと、
前記コンピュータ可読命令を呼び出し、請求項１～１０のいずれか一項に記載の予測軌跡方法を実施するためのプロセッサと、を含むことを特徴とする電子機器。

【請求項13】

コンピュータプログラムが記憶されるコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムがプロセッサにより実行される場合に請求項１～１０のいずれか一項に記載の予測軌跡方法が実施されるコンピュータ読み取り可能な記録媒体。

【請求項14】

記憶媒体に記憶されるコンピュータプログラムであって、
プロセッサが前記コンピュータプログラムを実行する場合、前記プロセッサは、請求項１～１０のいずれか一項に記載の予測軌跡方法を実行するために用いられるコンピュータプログラム。

【国際調査報告】