知財求人 - 知財ポータルサイト「IP Force」
特開2023-166711予め決定した主体対象の経路を利用する経路予測モデル、プログラム、装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023166711
(43)【公開日】2023-11-22
(54)【発明の名称】予め決定した主体対象の経路を利用する経路予測モデル、プログラム、装置及び方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20231115BHJP
G05D 1/02 20200101ALI20231115BHJP
G06N 3/044 20230101ALI20231115BHJP
【ＦＩ】
G08G1/00 D
G05D1/02 H
G06N3/04 145
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022077409
(22)【出願日】2022-05-10
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】西村 仁志
(72)【発明者】
【氏名】小森田 賢史
【テーマコード（参考）】
5H181
5H301
【Ｆターム（参考）】
5H181AA01
5H181AA21
5H181AA25
5H181AA26
5H181BB04
5H181BB15
5H181BB20
5H181CC03
5H181CC04
5H181FF04
5H181FF10
5H181FF13
5H181MB01
5H181MB11
5H301AA01
5H301CC03
5H301CC06
5H301CC10
5H301GG12
(57)【要約】
【課題】ある対象における予測開始直後の経路が、他の対象の経路に与える影響も取り入れた経路予測を実施可能な経路予測モデルを提供する。
【解決手段】対象群に属する対象の経路を予測する本モデルは、対象群に属する主体対象における予測開始時点からみて後となる経路情報を、予測開始時点までに取得された経路情報に基づき決定する主体経路決定部と、対象について予測開始時点までに取得された経路情報に基づき、またこの対象が主体対象である場合には決定された後となる経路情報にも基づき、対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成する特徴量生成部と、経路を予測すべき対象について生成された特徴量に基づいて、経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された後となる経路情報の後の経路情報を決定する経路予測部としてコンピュータを機能させる。
【選択図】図１
【解決手段】対象群に属する対象の経路を予測する本モデルは、対象群に属する主体対象における予測開始時点からみて後となる経路情報を、予測開始時点までに取得された経路情報に基づき決定する主体経路決定部と、対象について予測開始時点までに取得された経路情報に基づき、またこの対象が主体対象である場合には決定された後となる経路情報にも基づき、対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成する特徴量生成部と、経路を予測すべき対象について生成された特徴量に基づいて、経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された後となる経路情報の後の経路情報を決定する経路予測部としてコンピュータを機能させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象群に属する対象の経路を予測する経路予測モデルであって、
前記対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定する主体経路決定部と、
当該対象について当該予測開始時点までに取得された経路情報に基づき、また該対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成する特徴量生成部と、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する経路予測部と
してコンピュータを機能させることを特徴とする経路予測モデル。
前記対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定する主体経路決定部と、
当該対象について当該予測開始時点までに取得された経路情報に基づき、また該対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成する特徴量生成部と、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する経路予測部と
してコンピュータを機能させることを特徴とする経路予測モデル。
【請求項2】
当該後となる経路情報は、当該予測開始時点からみて、当該主体とみなされる対象に対し所定以上近くに存在する対象の数によって決定される所定時間だけ経過した時点までの経路情報であることを特徴とする請求項１に記載の経路予測モデル。
【請求項3】
前記特徴量生成部は、取得又は決定された当該経路情報を入力とする、当該対象について設定された特徴量生成用の再帰型ニューラルネットワーク（ＲＮＮ）セルから出力された隠れ状態量と、当該対象からみて所定以上近くに存在する他の対象について設定された特徴量生成用のＲＮＮセルから出力された隠れ状態量に対しプーリング（pooling）処理を施した結果とを、当該対象についての当該特徴量とし、
前記経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する
ことを特徴とする請求項１又は２に記載の経路予測モデル。
前記経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する
ことを特徴とする請求項１又は２に記載の経路予測モデル。
【請求項4】
前記特徴量生成部は、取得又は決定された当該経路情報を入力とする、当該対象について設定された特徴量生成用のＲＮＮセルから出力された隠れ状態量と、当該対象及び他の対象に係るグラフアテンション情報からグラフアテンションネットワーク（ＧＡＴ）及びＲＮＮを用いて生成された隠れ状態量とを合わせた量を、当該対象についての当該特徴量とし、
前記経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する
ことを特徴とする請求項１又は２に記載の経路予測モデル。
前記経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する
ことを特徴とする請求項１又は２に記載の経路予測モデル。
【請求項5】
前記特徴量生成部は、取得及び決定された当該経路情報を入力とする、前記対象群について設定されたトランスフォーマ・エンコーダ（Transformer Encoder）から出力されるエンコード量を、前記対象群に属する当該対象についての当該特徴量とし、
前記経路予測部は、当該特徴量としてのエンコード量を、前記対象群について設定されたトランスフォーマ・デコーダ（Transformer Decoder）へ入力し、当該トランスフォーマ・デコーダからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する
ことを特徴とする請求項１又は２に記載の経路予測モデル。
前記経路予測部は、当該特徴量としてのエンコード量を、前記対象群について設定されたトランスフォーマ・デコーダ（Transformer Decoder）へ入力し、当該トランスフォーマ・デコーダからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する
ことを特徴とする請求項１又は２に記載の経路予測モデル。
【請求項6】
前記主体経路決定部は、当該主体とみなされる対象の位置を状態として、次の時点における位置への移動を行動とした強化学習を実施し、当該予測開始時点までに取得された経路情報を用いて、設定された価値関数の更新を行い、当該後となる経路情報を決定することを特徴とする請求項１又は２に記載の経路予測モデル。
【請求項7】
請求項１又は２に記載の経路予測モデルを用いて、当該対象の経路を予測する経路予測手段としてコンピュータを機能させることを特徴とする経路予測プログラム。
【請求項8】
請求項１又は２に記載の経路予測モデルを用いて、当該対象の経路を予測する経路予測手段を有することを特徴とする経路予測装置。
【請求項9】
対象群に属する対象の経路を予測する経路予測モデルとして機能するコンピュータによって実施される経路予測方法であって、
前記対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定するステップと、
当該対象について当該予測開始時点までに取得された経路情報に基づき、また該対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成するステップと、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定するステップと
を有することを特徴とする経路予測方法。
前記対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定するステップと、
当該対象について当該予測開始時点までに取得された経路情報に基づき、また該対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成するステップと、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定するステップと
を有することを特徴とする経路予測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象の経路を予測する技術に関する。
【背景技術】
【0002】
現在、人や自動車といった対象（エージェント）の経路を予測する経路予測技術が大いに進展している。例えば、運転支援、自動運転や、動線を考慮した施設等の設計、さらには公共の場における人流等の制御等を行う上で、経路予測技術は今後もますます重要になると考えられる。
【0003】
このような経路予測技術の例として、特許文献１には、複数の歩行者の動きを予測するシステムが開示されている。具体的にこのシステムは、初期軌道モジュール、出口点予測モジュール、経路プラニングモジュール、及び調整モジュールを含む。ここで、これらのモジュールは、当該モジュールを実行するプロセッサに対し、複数の歩行者の軌道を得るようにさせ、複数の歩行者の軌道に基づいて、シーンから複数の歩行者に対する将来の出口点を予測させ、将来の出口点とマップの少なくとも１つのシーンとに基づいて、複数の歩行者の軌道経路を決定させ、複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、軌道経路を調整させるものとなっている。
【0004】
また特許文献２には、運転者が取り得る運転行動に対する周囲状況の未来の展開を予測する車両用周囲状況予測装置が開示されている。具体的にこの装置は、アクセルペダルやステアリングホイールの操作といったような運転者が取り得る運転行動から、周囲の車両の未来位置を予測する。例えば、運転者が加速をした後に右へ車線変更する場合、右車線を走行する車両は車間距離を長くとるように減速するであろう、との予測を取り込んだモデルを用いて周囲の車両の未来位置を予測するのである。
【0005】
さらに特許文献３には、自車の運転者を支援するシステムが開示されている。具体的にこのシステムは、予測した自車の未来の経路から、予測モデルを用い、交通参加者の未来の経路を予測する。ここでこの予測モデルは、交差点情報や標識から抽出された自車と交通参加者との優先関係に基づき、複数の中から選択されたものとなっている。例えば、信号が青であり、自車が交通参加者に対して通行権を有すると判定された場合、予測モデルとして減速モデルが選択されるのである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２１－１５５０２４号公報
【特許文献2】特開２００４－１７５２０４号公報
【特許文献3】特開２０２０－１１９５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、以上に述べた特許文献１～３に開示されたような従来技術では依然として、対象経路の予測精度が十分に高くない場合も少なくないことが問題となっている。
【0008】
ここで、本願発明者等は、例えば周囲の自動車や歩行者の経路を予測するに当たり、自車の直近の未来における経路を利用することによってその予測精度を向上させることができると考えた。実際、自車の直近の未来における経路は、周囲の自動車や歩行者における位置や動き等を考慮せずに事前に推定した方が、むしろ高い確度で決定可能である場合が多い。したがって、そのように推定された自車の直近の未来における経路は、周囲の自動車や歩行者の経路予測において非常に有用な情報となるのである。
【0009】
この点、例えば特許文献１に開示された技術では、そのような自車の直近の未来における経路を利用することは何ら行われていない。一方、特許文献２や特許文献３に開示された技術では、たしかに自車の直近の未来における経路を用いて、周囲の自動車や歩行者の経路予測を行っている。
【0010】
しかしながら、例えば特許文献２に開示された技術は、運転者が取り得る運転行動から、実際の経験に基づく判断を行う単純なモデルを用いて、周囲の自動車や歩行者の経路予測を行っているにすぎない。また、特許文献３に開示された技術にしても、経験則や交通ルールに基づき、状況に合った単純なモデルを選択して利用しているだけである。したがっていずれにしても、経路予測を行う様々な状況において、安定して高い経路予測精度を維持することは相当に困難となっているのである。
【0011】
そこで、本発明は、ある対象における予測開始直後の経路が、他の対象の経路に与える影響も取り入れた経路予測を実施可能な経路予測モデル、プログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明によれば、対象群に属する対象の経路を予測する経路予測モデルであって、
対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定する主体経路決定部と、
当該対象について当該予測開始時点までに取得された経路情報に基づき、またこの対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成する特徴量生成部と、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する経路予測部と
してコンピュータを機能させる経路予測モデルが提供される。
対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定する主体経路決定部と、
当該対象について当該予測開始時点までに取得された経路情報に基づき、またこの対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成する特徴量生成部と、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定する経路予測部と
してコンピュータを機能させる経路予測モデルが提供される。
【0013】
この本発明による経路予測モデルの一実施形態として、後となる経路情報は、予測開始時点からみて、主体とみなされる対象に対し所定以上近くに存在する対象の数によって決定される所定時間だけ経過した時点までの経路情報であることも好ましい。
【0014】
また、本発明による経路予測モデルにおける他の実施形態として、特徴量生成部は、取得又は決定された当該経路情報を入力とする、当該対象について設定された特徴量生成用の再帰型ニューラルネットワーク（ＲＮＮ）セルから出力された隠れ状態量と、当該対象からみて所定以上近くに存在する他の対象について設定された特徴量生成用のＲＮＮセルから出力された隠れ状態量に対しプーリング（pooling）処理を施した結果とを、当該対象についての当該特徴量とし、
経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定することも好ましい。
経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定することも好ましい。
【0015】
さらに、本発明による経路予測モデルにおける更なる他の実施形態として、特徴量生成部は、取得又は決定された当該経路情報を入力とする、当該対象について設定された特徴量生成用のＲＮＮセルから出力された隠れ状態量と、当該対象及び他の対象に係るグラフアテンション情報からグラフアテンションネットワーク（ＧＡＴ）及びＲＮＮを用いて生成された隠れ状態量とを合わせた量を、当該対象についての当該特徴量とし、
経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定することも好ましい。
経路予測部は、当該経路を予測すべき対象について設定された経路予測用のＲＮＮセルに対し、当該経路を予測すべき対象についての当該特徴量を入力し、当該経路予測用のＲＮＮセルからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定することも好ましい。
【0016】
またさらに、本発明による経路予測モデルにおける更なる他の実施形態として、特徴量生成部は、取得及び決定された当該経路情報を入力とする、対象群について設定されたトランスフォーマ・エンコーダ（Transformer Encoder）から出力されるエンコード量を、対象群に属する当該対象についての当該特徴量とし、
経路予測部は、当該特徴量としてのエンコード量を、対象群について設定されたトランスフォーマ・デコーダ（Transformer Decoder）へ入力し、当該トランスフォーマ・デコーダからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定することも好ましい。
経路予測部は、当該特徴量としてのエンコード量を、対象群について設定されたトランスフォーマ・デコーダ（Transformer Decoder）へ入力し、当該トランスフォーマ・デコーダからの出力に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定することも好ましい。
【0017】
また、本発明による経路予測モデルにおける更なる他の実施形態として、主体経路決定部は、当該主体とみなされる対象の位置を状態として、次の時点における位置への移動を行動とした強化学習を実施し、当該予測開始時点までに取得された経路情報を用いて、設定された価値関数の更新を行い、当該後となる経路情報を決定することも好ましい。
【0018】
本発明によれば、また、以上に述べた経路予測モデルを用いて、当該対象の経路を予測する経路予測手段としてコンピュータを機能させる経路予測プログラムが提供される。さらに、本発明によれば、以上に述べた経路予測モデルを用いて、当該対象の経路を予測する経路予測手段を有する経路予測装置が提供される。
【0019】
本発明によれば、またさらに、対象群に属する対象の経路を予測する経路予測モデルとして機能するコンピュータによって実施される経路予測方法であって、
対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定するステップと、
当該対象について当該予測開始時点までに取得された経路情報に基づき、またこの対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成するステップと、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定するステップと
を有する経路予測方法が提供される。
対象群に属する主体とみなされる対象における、予測開始時点からみて後となる経路情報を、当該予測開始時点までに取得された経路情報に基づき決定するステップと、
当該対象について当該予測開始時点までに取得された経路情報に基づき、またこの対象が主体とみなされる対象である場合には決定された当該後となる経路情報にも基づき、当該対象の経路情報に係る特徴量であって、少なくとも１つの他の対象の経路情報による作用を取り入れた特徴量を生成するステップと、
経路を予測すべき対象について生成された当該特徴量に基づいて、当該経路を予測すべき対象における予測開始時点からみて後の経路情報、又は決定された当該後となる経路情報の後の経路情報を決定するステップと
を有する経路予測方法が提供される。
【発明の効果】
【0020】
本発明の経路予測モデル、プログラム、装置及び方法によれば、ある対象における予測開始直後の経路が、他の対象の経路に与える影響も取り入れた経路予測を実施することができる。
【図面の簡単な説明】
【0021】
【図1】本発明による経路予測モデルの一実施形態を示す模式図である。
【図2】本発明に係る経路情報の一態様を説明するための模式図である。
【図3】本発明による経路予測モデルにおける他の実施形態を示す模式図である。
【図4】本発明による経路予測モデルにおける更なる他の実施形態を示す模式図である。
【図5】本発明による経路予測装置の一実施形態における機能構成を示す機能ブロック図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0023】
［経路予測モデル］
図１は、本発明による経路予測モデルの一実施形態を示す模式図である。
図１は、本発明による経路予測モデルの一実施形態を示す模式図である。
【0024】
図１に示した本実施形態の経路予測モデル１は、「対象」（エージェント）における経路を予測する機械学習モデルである。ここで「対象」は本実施形態において、例えば自動車や、歩行者等の人間といったような、環境（周囲の他の対象等）の影響（作用）を受けつつ自律的に移動するものとなっている。なお、「対象」における「環境をみながら自律的に移動するルール」の１つとして本実施形態では、「他の対象（エージェント）との衝突を回避する」が採用される。このルールは、例えば道路の交差点における自動車事故を回避する上で非常に重要なものとなっており、実際、このルールに基づいて自律的に移動する例えば自動車や歩行者等の経路予測が、多くの場合に必要とされるのである。
【0025】
さらに本実施形態において「対象」は複数存在し、また、互いの経路に影響を及ぼし合い得る程度に近くに存在していて１つの対象群をなしている。さらに、この対象群に属するいずれの「対象」についても、予測開始時点までの経路情報、例えば予測開始時点までの各時点における位置（例えば緯度及び経度）の時系列データが取得可能となっている。
【0026】
例えば「対象」は、ＧＰＳ測位機能を備えた通信端末を搭載した自動車や、ＧＰＳ測位機能を備えた携帯端末を所持するユーザであって、刻々のＧＰＳ測位結果が取得可能であってもよい。また、ユーザの所持する携帯端末について、基地局測位方式や無線ＬＡＮ（Local Area Network）のアクセスポイント測位方式による刻々の測位結果が取得可能であってもよい。さらに、街頭カメラや「対象」の備えたカメラ等によるカメラ画像から、画像認識技術によって得られた各「対象」における刻々の位置情報（軌跡情報）が取得されてもよい。またさらに、「対象」の備えたＬｉＤＡＲ（Light Detection And Ranging）等の測距手段による各「対象」における刻々の位置情報（軌跡情報）が取得可能となっていてもよい。
【0027】
また本実施形態では、この対象群に属する「対象」のうち、主体とみなされる対象（以下、主体対象と略される場合もあり）が、１つ又は複数設定される。例えば、ある自動車にとって周囲（所定範囲内）に存在することになる自動車や歩行者の経路を予測するに当たって、観察者であるこの「ある自動車」を主体対象に設定することができる。また、対象群のうちの自動車を全て主体対象に設定してもよい。さらに、歩行者も含め全ての「対象」を主体対象とすることも可能である。いずれにしても、主体対象については、この後説明するように、予測開始時点からみて「後となる経路情報」が予め決定されることになる。なお以下、主体対象ではない「対象」を非主体対象と称する場合もある。
【0028】
このような条件の下、経路予測モデル１は具体的に、
（Ａ）対象群に属する主体対象における、予測開始時点からみて「後となる経路情報」を、この予測開始時点までに取得された経路情報に基づき決定する主体経路決定部（１１２）と、
（Ｂ）「対象」について予測開始時点までに取得された経路情報に基づき、またこの「対象」が主体対象である場合には決定された「後となる経路情報」にも基づき、この「対象」の経路情報に係る特徴量であって、少なくとも１つの他の「対象」の経路情報による作用（影響）を取り入れた特徴量を生成する特徴量生成部（１１１，１２１，１３１，１１１Ｐ，１２１Ｐ，１３１Ｐ）と、
（Ｃ）経路を予測すべき「対象」である経路予測対象について生成された特徴量に基づいて、この経路予測対象における予測開始時点からみて後の経路情報、又は決定された「後となる経路情報」の後の経路情報を決定する経路予測部（１１３，１２３，１３３）と
してコンピュータを機能させるモデルとなっている。
（Ａ）対象群に属する主体対象における、予測開始時点からみて「後となる経路情報」を、この予測開始時点までに取得された経路情報に基づき決定する主体経路決定部（１１２）と、
（Ｂ）「対象」について予測開始時点までに取得された経路情報に基づき、またこの「対象」が主体対象である場合には決定された「後となる経路情報」にも基づき、この「対象」の経路情報に係る特徴量であって、少なくとも１つの他の「対象」の経路情報による作用（影響）を取り入れた特徴量を生成する特徴量生成部（１１１，１２１，１３１，１１１Ｐ，１２１Ｐ，１３１Ｐ）と、
（Ｃ）経路を予測すべき「対象」である経路予測対象について生成された特徴量に基づいて、この経路予測対象における予測開始時点からみて後の経路情報、又は決定された「後となる経路情報」の後の経路情報を決定する経路予測部（１１３，１２３，１３３）と
してコンピュータを機能させるモデルとなっている。
【0029】
このように経路予測モデル１は、主体対象については予測開始時点からみて「後となる経路情報」を予め決定している。またさらに、経路を予測する際に用いる特徴量として、この「後となる経路情報」にも基づいた「対象」の特徴量であって、この「対象」以外の対象の経路情報（この「対象」以外の対象が主体対象であれば「後となる経路情報」も含む）による作用（影響）を取り入れた特徴量を生成している。その結果、主体対象における予測開始直後の経路が、他の対象の経路に与える影響も取り入れた経路予測を実施することができるのである。
【0030】
この点、例えば主体対象である自車の周囲に存在する自動車や歩行者の経路を予測するに当たり、自車の直近の未来における経路を利用することによってその予測精度を向上させることができると考えられる。実際、自車の直近の未来における経路は、周囲の自動車や歩行者における位置や動き等を考慮せずに事前に推定した方が、むしろ高い確度で決定可能である場合が多い。したがって、主体対象における予測開始時点からみて「後となる経路情報」は、自動車や歩行者といったような「対象」の経路予測において非常に有用な情報となる。
【0031】
またこのことから、主体対象の「後となる経路情報」を活用する経路予測モデル１によれば、主体対象の設定や「後となる経路情報」に係る時間区間の設定等を適切に行うことによって、経路予測を行う様々な状況においてより高い精度のロバストな経路予測を実施することも可能となることが理解される。
【0032】
ちなみに、後に詳しく説明するが、図３に示した経路予測モデル２や図４に示した経路予測モデル３も、
（Ａ）主体経路決定部（２１２（図３），３２（図４））と、
（Ｂ）特徴量生成部（２１１（図３），２２１（図３），２３１（図３），２１Ｇ（図３），３１（図４））と、
（Ｃ）経路予測部（２１３（図３），２２３（図３），２３３（図３），３３（図４））と
してコンピュータを機能させる機械学習モデルとなっており、それ故、以上に述べた経路予測モデル１の機能と同様の機能を備え、以上に述べた経路予測モデル１の奏する効果と同様の効果を奏功するものとなっている。
（Ａ）主体経路決定部（２１２（図３），３２（図４））と、
（Ｂ）特徴量生成部（２１１（図３），２２１（図３），２３１（図３），２１Ｇ（図３），３１（図４））と、
（Ｃ）経路予測部（２１３（図３），２２３（図３），２３３（図３），３３（図４））と
してコンピュータを機能させる機械学習モデルとなっており、それ故、以上に述べた経路予測モデル１の機能と同様の機能を備え、以上に述べた経路予測モデル１の奏する効果と同様の効果を奏功するものとなっている。
【0033】
ここで本発明に係る「対象」は勿論、自動車、人間、又は、自動車及び人間に限定されるものではない。すなわち、予測開始時点までの経路情報を取得可能な移動体であって、自らのとる経路が、他の移動体における経路の影響を受け得る及び／又は他の移動体の経路へ影響を与え得る移動体であれば、本発明に係る「対象」とすることができる。例えばドローン等の飛行体、自転車、自動二輪車、電動車椅子等、ヨット、ボートや船舶等、さらには実験用マウス等の動物も「対象」に該当し得る。また、シミュレーションプログラムの実行によって、設定された仮想空間内を移動する仮想移動体を、本発明に係る「対象」とすることも可能である。
【0034】
さらに、取得される「経路情報」や決定される「（後となる）経路情報」も、上述したような刻々の位置情報に限定されるものではない。例えば、各時点における速度、加速度、及び／又は向きに係る情報を含む情報を「経路情報」とすることも可能である。
【0035】
［モデル構成，経路予測方法］
以下、本実施形態の経路予測モデル１の構成について、より詳細に説明を行う。同じく図１において、経路予測モデル１は、
（ａ）主体対象１に係る機能構成部である、特徴量生成部としてのエンコーダ部１１１及びプーリング部１１１Ｐと、主体経路決定部１１２と、経路予測部としてのデコーダ部１１３と、
（ｂ）非主体対象２に係る機能構成部である、特徴量生成部としてのエンコーダ部１２１及びプーリング部１２１Ｐと、経路予測部としてのデコーダ部１２３と、
（ｃ）非主体対象３に係る機能構成部である、特徴量生成部としてのエンコーダ部１３１及びプーリング部１３１Ｐと、経路予測部としてのデコーダ部１３３と
を、コンピュータに搭載されたプログラムの実行によって具現される機能構成部として備えている。言い換えると、これらの機能構成部としてコンピュータを機能させるモデルとなっているのである。
以下、本実施形態の経路予測モデル１の構成について、より詳細に説明を行う。同じく図１において、経路予測モデル１は、
（ａ）主体対象１に係る機能構成部である、特徴量生成部としてのエンコーダ部１１１及びプーリング部１１１Ｐと、主体経路決定部１１２と、経路予測部としてのデコーダ部１１３と、
（ｂ）非主体対象２に係る機能構成部である、特徴量生成部としてのエンコーダ部１２１及びプーリング部１２１Ｐと、経路予測部としてのデコーダ部１２３と、
（ｃ）非主体対象３に係る機能構成部である、特徴量生成部としてのエンコーダ部１３１及びプーリング部１３１Ｐと、経路予測部としてのデコーダ部１３３と
を、コンピュータに搭載されたプログラムの実行によって具現される機能構成部として備えている。言い換えると、これらの機能構成部としてコンピュータを機能させるモデルとなっているのである。
【0036】
ここで図１に明示された（主体対象及び非主体対象を含めた）対象の数は３つとなっているが、実際には２つ又は４つ以上であってもよい。すなわち、経路予測モデル１は、複数（多数）の対象に係る機能構成部を備えたモデルとなる。また図１では、主体経路決定部を備えた対象、すなわち主体対象の数は１つであるが、勿論複数であってもよく、例えば全ての対象を主体対象とすることも可能である。なおこの場合は、全ての対象に係る機能構成部に、主体経路決定部が含まれることになる。
【0037】
以下、上述した各機能構成部について具体的に説明を行うが、その前に、前提となる「経路情報」について図２を用いて説明する。図２は、本発明に係る経路情報の一態様を説明するための模式図である。なお以下、時点の表記について、時点(t＋tx)（txは正の整数）は、所定単位時間をΔtとして時点(t)からみて時間(Δt×tx)だけ経過した時点を指し、一方、時点(t－tx)は、時点(t)からみて時間(Δt×tx)だけ前の（遡った）時点を指すものとする。なおΔtは所定の一定値とすることができるが、変動する値としてもよい。
【0038】
図２によれば、対象ｍ（m＝1：主体対象１，m＝2：非主体対象２，m＝3：非主体対象３）は、２次元平面内を、互いを認識（観察）しながら衝突しないように移動している。なお、この２次元平面を規定するｘｙ座標系は、実世界における地上等の位置座標系（世界座標系）であってもよく、対象がプログラム上の仮想移動体である場合に仮想平面の座標系であってもよい。また勿論、実世界であっても仮想世界であっても３次元空間を規定する座標系を採用し、３次元空間内の経路情報を扱うことも可能である。
【0039】
経路予測モデル１（図１）は、予測開始時点(t)において、それまでの経路情報pm(t-ta), ・・・, pm(t-1), pm(t)（図２ではta＝2）を用い、予測開始時点(t)からみて未来となる経路情報を予測する。ここで主体対象１（m＝1）については、経路情報p1(t-ta), ・・・, p1(t-1), p1(t)を用い、予測開始時点(t)からみて「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)（図２ではtb＝2）が、最初に決定される。次いで、この「後となる経路情報」も用いて、さらにその後の経路情報（図２ではp1(t+3)）が予測されることになる。
【0040】
一方、非主体対象２（m＝2）及び非主体対象３（m＝3）については、予測開始時点(t)の後の経路情報（図２ではpm(t+1), pm(t+2), pm(t+3)）が、上記の「後となる経路情報」による影響（作用）も加味した上で予測されるのである。なお本態様では、pm(t)は対象ｍの位置となっており、その位置のx座標及びy座標をそれぞれxm(t)及びym(t)とすると、pm(t)＝（xm(t), ym(t)）と表される（この点、q1(t+1)等も同様である）。
【0041】
（主体経路決定手段）
図１に戻って、主体経路決定部１１２は、主体対象１における予測開始時点(t)からみて「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を、予測開始時点(t)までに取得された経路情報p1(t-ta), ・・・, p1(t-1), p1(t)に基づき決定する。具体的に、主体経路決定部１１２は本実施形態において、主体対象１の位置を状態sとして、次の時点における位置への移動を行動aとした強化学習（Ｑ学習）を実施し、予測開始時点(t)までに取得された経路情報p1(t-ta), ・・・, p1(t-1), p1(t)を用いて、設定された価値関数（Ｑ関数）の更新を行い、これにより「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を決定する。
図１に戻って、主体経路決定部１１２は、主体対象１における予測開始時点(t)からみて「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を、予測開始時点(t)までに取得された経路情報p1(t-ta), ・・・, p1(t-1), p1(t)に基づき決定する。具体的に、主体経路決定部１１２は本実施形態において、主体対象１の位置を状態sとして、次の時点における位置への移動を行動aとした強化学習（Ｑ学習）を実施し、予測開始時点(t)までに取得された経路情報p1(t-ta), ・・・, p1(t-1), p1(t)を用いて、設定された価値関数（Ｑ関数）の更新を行い、これにより「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を決定する。
【0042】
ここで本実施形態において、状態sは、経路予測エリアを適当な解像度で離散化した結果としての（メッシュの）位置であり、行動aは、直進、停止、右方向へ移動、左方向へ移動、及び後進のうちの１つとする。また、主体対象１が行動aをとる際の方策として、
・決定した経路によって、主体対象１は現在の位置から（物理的に）移動可能であり、
・決定した経路によって、主体対象１は自身の目的地に近づくことができる
ことが採用される。さらに、状態sにおいて行動aを行った際の報酬rが予め設定される。この報酬rは例えば、（道路から離脱する等の）次に取り得ない位置への移動を行った際にマイナスの大きな値とし、目的地との距離がより小さい（次に取り得る）位置への移動を行った際にプラスの大きな値とすることができる。
・決定した経路によって、主体対象１は現在の位置から（物理的に）移動可能であり、
・決定した経路によって、主体対象１は自身の目的地に近づくことができる
ことが採用される。さらに、状態sにおいて行動aを行った際の報酬rが予め設定される。この報酬rは例えば、（道路から離脱する等の）次に取り得ない位置への移動を行った際にマイナスの大きな値とし、目的地との距離がより小さい（次に取り得る）位置への移動を行った際にプラスの大きな値とすることができる。
【0043】
また、状態sにおいて行動aを行った際の価値を表すＱ関数（価値関数）であるQ(s, a)を、全ての(s, a)に対応するQ値を記載したテーブルとして予め設定しておき、このQ(s, a)を、予測開始時点(t)までに取得された経路情報p1(t-ta), ・・・, p1(t-1), p1(t)（さらに取得可能であれば、時点(t-ta）よりも前の経路情報）を用いて更新していく。具体的には、状態sTで行動aTを行って状態sT+1になった際（例えば位置p1(t-1)から直進して位置p1(t)へ移動した際）に報酬rT+1が得られたとき、テーブルのQ値を、次式
（１） Q*(sT, aT)←Q(sT, aT)＋α×{rT+1＋γ×maxaQ(sT, a)－Q(sT, aT)}
によって更新する。ここでα及びγはそれぞれ学習率及び割引率であり、予め0から1までの値に設定される。
（１） Q*(sT, aT)←Q(sT, aT)＋α×{rT+1＋γ×maxaQ(sT, a)－Q(sT, aT)}
によって更新する。ここでα及びγはそれぞれ学習率及び割引率であり、予め0から1までの値に設定される。
【0044】
主体経路決定部１１２は、このように予測開始時点(t)までの経路情報を用いて学習されたQ*(s, a)（のテーブル）を用い、時点(t)における行動a(t)、すなわち次の時点(t+1)での状態s(t+1)に相当する位置q1(t+1)を、次式
（２） a(t)＝argmaxaQ*(s, a)
によって求める。さらに同様にして、q1(t+2), ・・・, q1(t+tb)を求め、これにより「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を決定するのである。
（２） a(t)＝argmaxaQ*(s, a)
によって求める。さらに同様にして、q1(t+2), ・・・, q1(t+tb)を求め、これにより「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を決定するのである。
【0045】
なお、主体経路決定部１１２における主体経路決定処理は、以上に説明したような強化学習を用いた処理に限定されるものではない。例えば、予測開始時点(t)の次の時点(t+1)における経路情報q1(t+1)を、経路情報p1(t-ta), ・・・, p1(t-1), p1(t)に含まれる各時点の位置情報の外挿によって、又は経路情報p1(t-ta), ・・・, p1(t-1), p1(t)から推測される予測開始時点(t)での速度（速度の大きさ及び向き）情報を用いて、決定してもよい。また、上記の経路情報が各時点の速度情報を含む場合、これら速度情報の外挿によって、又は予測開始時点(t)での速度情報をそのまま用いて、経路情報q1(t+1)を決定することも可能である。次いで、同様にして経路情報q1(t+2), ・・・, q1(t+tb)を求めていくことにより、「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を決定することが可能となる。
【0046】
ここで、決定される「後となる経路情報」：
q1(t+1), q1(t+2), ・・・, q1(t+tb)
については、決定すべき時間区間、すなわち時間パラメータtbの値を適切に設定することが重要となる。これは、例えばtbが小さすぎると、本来高い精度の見込まれる「後となる経路情報」を用いて全体の経路予測精度を向上させるとの本発明の効果が薄れてしまう可能性があり、一方tbが大きすぎると、他の対象を考慮しないで決定される「後となる経路情報」自体の決定（予測）精度の低下が懸念されることによる。
q1(t+1), q1(t+2), ・・・, q1(t+tb)
については、決定すべき時間区間、すなわち時間パラメータtbの値を適切に設定することが重要となる。これは、例えばtbが小さすぎると、本来高い精度の見込まれる「後となる経路情報」を用いて全体の経路予測精度を向上させるとの本発明の効果が薄れてしまう可能性があり、一方tbが大きすぎると、他の対象を考慮しないで決定される「後となる経路情報」自体の決定（予測）精度の低下が懸念されることによる。
【0047】
そこで本実施形態において「後となる経路情報」は、予測開始時点(t)からみて、主体対象１に対し所定以上近くに存在する他の対象の数によって決定される「所定時間tb」だけ経過した時点(t+tb)までの経路情報に設定される。すなわち、時間パラメータtbを、主体対象１からみて所定範囲内に存在する対象の数である「混雑度」によって決定するのである。
【0048】
例えば、混雑度が高い場合、主体対象１が他の対象の影響を受けやすくなるので、「後となる経路情報」の決定（予測）精度を確保すべく時間パラメータtbをより小さくし、一方、混雑度が低ければ、時間パラメータtbをより大きくして、高い決定（予測）精度を有する「後となる経路情報」を十分な時間区間だけ決定し、全体の経路予測精度を向上させることが可能となるのである。
【0049】
具体的に、主体経路決定部１１２は本実施形態において、予測開始時点(t)における他の対象（非主体対象２や非主体対象３等）の（経路情報に含まれる）位置情報を取得し、（この位置情報が２次元平面内の位置に係る場合において）予測開始時点(t)における混雑度εを、次式
（３） ε＝M／(π×r2)
によって算出する。ここで、rは主体対象１を中心とした所定の円領域（所定範囲）の半径であり、Mは予測開始時点(t)においてこの円領域内に存在する他の対象の数である。なお勿論、混雑度εは、上式（３）の形に限定されるものではなく、Mの単調増加関数であれば種々の形をもって定義可能である。
（３） ε＝M／(π×r2)
によって算出する。ここで、rは主体対象１を中心とした所定の円領域（所定範囲）の半径であり、Mは予測開始時点(t)においてこの円領域内に存在する他の対象の数である。なお勿論、混雑度εは、上式（３）の形に限定されるものではなく、Mの単調増加関数であれば種々の形をもって定義可能である。
【0050】
次いで主体経路決定部１１２は、次式
（４） tb＝w0×ε＋w1
を用いて時間パラメータtbを決定する。ここでw0（＜0）やw1（＞0）は、所定の定数であってもよいが、混雑度ε及び時間パラメータtbをそれぞれ説明変数及び目的変数とした線形回帰処理によって決定されたもの（回帰係数及び切片）とすることも好ましい。なお、時間パラメータtbも、上式（４）の形に限定されるものではなく、混雑度εの単調減少関数であれば種々の形をもって設定可能である。
（４） tb＝w0×ε＋w1
を用いて時間パラメータtbを決定する。ここでw0（＜0）やw1（＞0）は、所定の定数であってもよいが、混雑度ε及び時間パラメータtbをそれぞれ説明変数及び目的変数とした線形回帰処理によって決定されたもの（回帰係数及び切片）とすることも好ましい。なお、時間パラメータtbも、上式（４）の形に限定されるものではなく、混雑度εの単調減少関数であれば種々の形をもって設定可能である。
【0051】
（特徴量生成手段）
同じく図１において、主体対象１の特徴量生成部としてのエンコーダ部１１１は、
・経路情報p1(t-ta), ・・・, p1(t-1), p1(t)（図１ではta＝2）、及び
・「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)（図１ではtb＝2）
を入力とする、主体対象１について設定された特徴量生成用の再帰型ニューラルネットワーク（ＲＮＮ）セルを含み、上記の経路情報が逐次反映された（過去の経路の推移が埋め込まれた）隠れ状態量x1(t+tb)を生成・出力する。なお、このＲＮＮセルを含め、以下に説明を行うＲＮＮセルとして、ＧＲＵ（Gated Recurrent Unit）やＬＳＴＭ（Long-Short Term Memory）等、種々様々なＲＮＮユニットが採用可能である。
同じく図１において、主体対象１の特徴量生成部としてのエンコーダ部１１１は、
・経路情報p1(t-ta), ・・・, p1(t-1), p1(t)（図１ではta＝2）、及び
・「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)（図１ではtb＝2）
を入力とする、主体対象１について設定された特徴量生成用の再帰型ニューラルネットワーク（ＲＮＮ）セルを含み、上記の経路情報が逐次反映された（過去の経路の推移が埋め込まれた）隠れ状態量x1(t+tb)を生成・出力する。なお、このＲＮＮセルを含め、以下に説明を行うＲＮＮセルとして、ＧＲＵ（Gated Recurrent Unit）やＬＳＴＭ（Long-Short Term Memory）等、種々様々なＲＮＮユニットが採用可能である。
【0052】
具体的にエンコーダ部１１１のＲＮＮセルは、
（１ａ）（例えば予測開始時点(t)において、又は逐次入力を行う際には時点(t-ta)において）経路情報p(t-ta)を所定の（学習済みの）変換行列によって変換した経路埋め込み表現情報を入力として、隠れ状態量x1(t-ta)を生成・出力し、
（１ｂ）（例えば予測開始時点(t)又は時点(t-ta+1)において）隠れ状態量x1(t-ta)と、経路情報p(t-ta+1)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t-ta+1)を生成・出力し、
・・・
（１ｃ）例えば予測開始時点(t)において、隠れ状態量x1(t-1)と、経路情報p(t)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t)を生成・出力し、
（１ｄ）同じく予測開始時点(t)において、隠れ状態量x1(t)と、決定された「後となる経路情報」q1(t+1)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t+1)を生成・出力し、
・・・
（１ｅ）例えば同じく予測開始時点(t)において、隠れ状態量x1(t+tb-1)と、決定された「後となる経路情報」q1(t+tb)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t+tb)を生成・出力し、
最終的に出力された隠れ状態量x1(t+tb)を、この後デコーダ部１１３へ入力する特徴量（の一部）とするのである。
（１ａ）（例えば予測開始時点(t)において、又は逐次入力を行う際には時点(t-ta)において）経路情報p(t-ta)を所定の（学習済みの）変換行列によって変換した経路埋め込み表現情報を入力として、隠れ状態量x1(t-ta)を生成・出力し、
（１ｂ）（例えば予測開始時点(t)又は時点(t-ta+1)において）隠れ状態量x1(t-ta)と、経路情報p(t-ta+1)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t-ta+1)を生成・出力し、
・・・
（１ｃ）例えば予測開始時点(t)において、隠れ状態量x1(t-1)と、経路情報p(t)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t)を生成・出力し、
（１ｄ）同じく予測開始時点(t)において、隠れ状態量x1(t)と、決定された「後となる経路情報」q1(t+1)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t+1)を生成・出力し、
・・・
（１ｅ）例えば同じく予測開始時点(t)において、隠れ状態量x1(t+tb-1)と、決定された「後となる経路情報」q1(t+tb)の経路埋め込み表現情報とを入力として、隠れ状態量x1(t+tb)を生成・出力し、
最終的に出力された隠れ状態量x1(t+tb)を、この後デコーダ部１１３へ入力する特徴量（の一部）とするのである。
【0053】
一方、非主体対象２の特徴量生成部としてのエンコーダ部１２１は、
・経路情報p2(t-ta), ・・・, p2(t-1), p2(t)（図１ではta＝2）
を入力とする、非主体対象２について設定された特徴量生成用のＲＮＮセルを含み、上記の経路情報が逐次反映された隠れ状態量x2(t)を出力する。具体的には上記（１ａ）～（１ｃ）と同様の処理を実施して出力した隠れ状態量x2(t)を、この後デコーダ部１２３へ入力する特徴量（の一部）とする。また、非主体対象３の特徴量生成部としてのエンコーダ部１３１も、このエンコーダ部１２１と同様にして、隠れ状態量x3(t)を出力し、この隠れ状態量x3(t)を、この後デコーダ部１３３へ入力する特徴量（の一部）とするのである。
・経路情報p2(t-ta), ・・・, p2(t-1), p2(t)（図１ではta＝2）
を入力とする、非主体対象２について設定された特徴量生成用のＲＮＮセルを含み、上記の経路情報が逐次反映された隠れ状態量x2(t)を出力する。具体的には上記（１ａ）～（１ｃ）と同様の処理を実施して出力した隠れ状態量x2(t)を、この後デコーダ部１２３へ入力する特徴量（の一部）とする。また、非主体対象３の特徴量生成部としてのエンコーダ部１３１も、このエンコーダ部１２１と同様にして、隠れ状態量x3(t)を出力し、この隠れ状態量x3(t)を、この後デコーダ部１３３へ入力する特徴量（の一部）とするのである。
【0054】
また同じく図１において、主体対象１の特徴量生成部としてのプーリング部１１１Ｐは、主体対象１からみて所定以上近くに存在する他の対象（以下、隣接対象と略称）について設定された特徴量生成用のＲＮＮセルから出力された隠れ状態量に対しプーリング（pooling）処理を施したプーリング結果eを出力し、このプーリング結果eを、この後デコーダ部１１３へ入力する特徴量（の一部）とする。
【0055】
ここでプーリング部１１１Ｐは、主体対象１を中心とした所定半径の円領域といったような所定範囲内に（予測開始時点(t)において）存在している対象を、隣接対象とすることができる。または、上述したように混雑度εを算出する主体経路決定部１１２から、隣接対象の情報を取得してもよい。
【0056】
具体的に図１では、プーリング部１１１Ｐは、隣接対象として非主体対象２及び（図示されていない）他の対象を認識し、
・非主体対象２について出力された隠れ状態量x2(t)と、
・当該他の対象について出力された隠れ状態量x*(t)と
に対しプーリング処理を行い、このプーリング結果eを特徴量として、デコーダ部１１３へ入力している。ここで、隣接対象が３つ以上存在する場合、対応する３つ以上の隠れ状態量に対しプーリング処理が実施される。また、隣接対象が主体対象に設定されたものである場合、プーリング処理を受ける対応する隠れ状態量は、時点(t+tb)での量（x*(t+tb)）となる。
・非主体対象２について出力された隠れ状態量x2(t)と、
・当該他の対象について出力された隠れ状態量x*(t)と
に対しプーリング処理を行い、このプーリング結果eを特徴量として、デコーダ部１１３へ入力している。ここで、隣接対象が３つ以上存在する場合、対応する３つ以上の隠れ状態量に対しプーリング処理が実施される。また、隣接対象が主体対象に設定されたものである場合、プーリング処理を受ける対応する隠れ状態量は、時点(t+tb)での量（x*(t+tb)）となる。
【0057】
また本実施形態においては、非主体対象２のプーリング部１２１Ｐも、上記のプーリング部１１１Ｐと同様、非主体対象２にとっての隣接対象に係るＲＮＮセルから出力された隠れ状態量（図１ではx1(t+2)及びx3(t)）に対しプーリング処理を施したプーリング結果eを出力し、このプーリング結果eを、この後デコーダ部１２３へ入力する特徴量（の一部）とする。さらに、非主体対象３の特徴量生成部としてのプーリング部１３１Ｐも、同様にして出力されたプーリング結果eを、この後デコーダ部１３３へ入力する特徴量（の一部）とするのである。
【0058】
ここで、プーリング部（１１１Ｐ，１２１Ｐ，１３１Ｐ）で実施されるプーリング処理として、例えば非特許文献：Alexandre Alahi, et al., “Social LSTM: Human trajectory prediction in crowded spaces”, Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.961-971, ２０１６年 に開示されたソーシャルプーリング（Social Pooling）を採用することができる。
【0059】
このソーシャルプーリングは、(m,n)セルからなるグリッドに基づくプーリングとなっており、最初に次式
（５） HT i(m,n,:)＝ΣjImn[xT j－xT i, yT j－yT i]×hT-1 j
を用いて、対象(i)についての時点(T)におけるプーリングテンソルHT i(m,n,:)を算出する。ここでΣjは、隣接対象(j)についての総和である。またImn[x, y]は、(x,y)がグリッドの(m,n)セル内にあるか否かを示す指示関数（indicator function）である。さらにht-1 jは、隣接対象(j)についての前の時点(t-1)におけるＲＮＮセルから出力される隠れ状態量である。次いで、このHt i(m,n,:)から、次式
（６） eT i＝φ(aT i, HT i(m,n,:);We)
ここで、aT i＝φ(xT i, yT i;Wr)
を用いて、プーリング結果eT iを生成し、対象(i)についての時点(T)におけるＲＮＮセルへ入力するのである。ここで、φ(;W)は、重みWの埋め込み表現生成関数（変換行列）となっている。
（５） HT i(m,n,:)＝ΣjImn[xT j－xT i, yT j－yT i]×hT-1 j
を用いて、対象(i)についての時点(T)におけるプーリングテンソルHT i(m,n,:)を算出する。ここでΣjは、隣接対象(j)についての総和である。またImn[x, y]は、(x,y)がグリッドの(m,n)セル内にあるか否かを示す指示関数（indicator function）である。さらにht-1 jは、隣接対象(j)についての前の時点(t-1)におけるＲＮＮセルから出力される隠れ状態量である。次いで、このHt i(m,n,:)から、次式
（６） eT i＝φ(aT i, HT i(m,n,:);We)
ここで、aT i＝φ(xT i, yT i;Wr)
を用いて、プーリング結果eT iを生成し、対象(i)についての時点(T)におけるＲＮＮセルへ入力するのである。ここで、φ(;W)は、重みWの埋め込み表現生成関数（変換行列）となっている。
【0060】
具体的に図１において、プーリング部１１１Ｐは、隠れ状態量x2(t)及び隠れ状態量x*(t)を用い、上式（５）及び（６）によって、デコーダ部１１３についての時点(t+3)におけるＲＮＮセルへ入力すべきプーリング結果et+3
1を生成する。また、プーリング部１２１Ｐは、隠れ状態量x1(t+2)及び隠れ状態量x3(t)を用い、上式（５）及び（６）によって、デコーダ部１２３についての時点(t+1)におけるＲＮＮセルへ入力すべきプーリング結果et+1
2を生成する。さらに、プーリング部１３１Ｐは、隠れ状態量x2(t)及び隠れ状態量x*(t)を用い、上式（５）及び（６）によって、デコーダ部１３３についての時点(t+1)におけるＲＮＮセルへ入力すべきプーリング結果et+1
3を生成するのである。
【0061】
以上、特徴量生成部としてのエンコーダ部（１１１，１２１，１３１）及びプーリング部（１１１Ｐ，１２１Ｐ，１３１Ｐ）によって、各「対象」の経路情報に係る特徴量であって、少なくとも１つの他の対象（隣接対象）の経路情報による作用（影響）を取り入れた（他の対象が主体対象であるときは「後となる経路情報」による作用（影響）も取り入れた）特徴量（隠れ状態量x及びプーリング結果e）の生成されることが理解される。
【0062】
（経路予測手段）
同じく図１において、主体対象１の経路予測部としてのデコーダ部１１３は本実施形態において、主体対象１について設定された経路予測用のＲＮＮセルに対し、主体対象１についての特徴量（隠れ状態量x及びプーリング結果e）を入力し、この経路予測用のＲＮＮセルからの出力に基づいて、主体対象１における、決定された「後となる経路情報」の後の経路情報、すなわち時点(t+tb+1)（図１ではtb＝2）以降の経路情報を決定する。ここで、主体対象１についても、直近でない（時点(t+tb)の後の）未来における経路は、他の対象（隣接対象）の経路の作用（影響）を受けると考えられるので、特徴量の一部としてプーリング結果eも取り入れている。
同じく図１において、主体対象１の経路予測部としてのデコーダ部１１３は本実施形態において、主体対象１について設定された経路予測用のＲＮＮセルに対し、主体対象１についての特徴量（隠れ状態量x及びプーリング結果e）を入力し、この経路予測用のＲＮＮセルからの出力に基づいて、主体対象１における、決定された「後となる経路情報」の後の経路情報、すなわち時点(t+tb+1)（図１ではtb＝2）以降の経路情報を決定する。ここで、主体対象１についても、直近でない（時点(t+tb)の後の）未来における経路は、他の対象（隣接対象）の経路の作用（影響）を受けると考えられるので、特徴量の一部としてプーリング結果eも取り入れている。
【0063】
具体的に、デコーダ部１１３のＲＮＮセルは、
（３ａ）（例えば予測開始時点(t)において）特徴量としての隠れ状態量x1(t+tb)及びプーリング結果et+tb+1 1を入力として、時点(t+tb+1)で予測される予測経路情報p1(t+tb+1)^、及び隠れ状態量x1(t+tb+1)を生成・出力し、
（３ｂ）（例えば予測開始時点(t)において）隠れ状態量x1(t+tb+1)と、予測経路情報p1(t+tb+1)^の経路埋め込み表現情報とを入力として、時点(t+tb+2)で予測される予測経路情報p1(t+tb+2)^、及び隠れ状態量x1(t+tb+2)を生成・出力し、
・・・
所定の設定された時点分の予測経路情報p1^を出力するのである。
（３ａ）（例えば予測開始時点(t)において）特徴量としての隠れ状態量x1(t+tb)及びプーリング結果et+tb+1 1を入力として、時点(t+tb+1)で予測される予測経路情報p1(t+tb+1)^、及び隠れ状態量x1(t+tb+1)を生成・出力し、
（３ｂ）（例えば予測開始時点(t)において）隠れ状態量x1(t+tb+1)と、予測経路情報p1(t+tb+1)^の経路埋め込み表現情報とを入力として、時点(t+tb+2)で予測される予測経路情報p1(t+tb+2)^、及び隠れ状態量x1(t+tb+2)を生成・出力し、
・・・
所定の設定された時点分の予測経路情報p1^を出力するのである。
【0064】
また、非主体対象２の経路予測部としてのデコーダ部１２３は本実施形態において、非主体対象２について設定された経路予測用のＲＮＮセルに対し、非主体対象２についての特徴量（隠れ状態量x及びプーリング結果e）を入力し、この経路予測用のＲＮＮセルからの出力に基づいて、非主体対象２における予測開始時点(t)からみて後の経路情報、すなわち時点(t+1)以降の経路情報を決定する。なおこの点、非主体対象３のデコーダ部１３３も同様の機能を有し同様の処理を行うので、以下説明を省略する。
【0065】
具体的に、デコーダ部１２３のＲＮＮセルは、
（３ａ’）（例えば予測開始時点(t)において）特徴量としての隠れ状態量x2(t)及びプーリング結果et+1 2を入力として、時点(t+1)で予測される予測経路情報p2(t+1)^、及び隠れ状態量x2(t+1)を生成・出力し、
（３ｂ’）（例えば予測開始時点(t)において）隠れ状態量x2(t+1)と、予測経路情報p2(t+1)^の経路埋め込み表現情報とを入力として、時点(t+2)で予測される予測経路情報p2(t+2)^、及び隠れ状態量x2(t+2)を生成・出力し、
・・・
所定の設定された時点分の予測経路情報p2^を出力するのである。
（３ａ’）（例えば予測開始時点(t)において）特徴量としての隠れ状態量x2(t)及びプーリング結果et+1 2を入力として、時点(t+1)で予測される予測経路情報p2(t+1)^、及び隠れ状態量x2(t+1)を生成・出力し、
（３ｂ’）（例えば予測開始時点(t)において）隠れ状態量x2(t+1)と、予測経路情報p2(t+1)^の経路埋め込み表現情報とを入力として、時点(t+2)で予測される予測経路情報p2(t+2)^、及び隠れ状態量x2(t+2)を生成・出力し、
・・・
所定の設定された時点分の予測経路情報p2^を出力するのである。
【0066】
以上、本実施形態の経路予測モデル１は、主体対象における予測開始直後の経路情報qが、他の対象の経路情報に与える影響も取り入れた経路予測を実施可能にすることが理解される。
【0067】
［経路予測モデルの他の実施形態］
図３は、本発明による経路予測モデルにおける他の実施形態を示す模式図である。
図３は、本発明による経路予測モデルにおける他の実施形態を示す模式図である。
【0068】
図３によれば、本実施形態の経路予測モデル２は、
（ａ）主体対象１に係る機能構成部である、特徴量生成部としてのエンコーダ部２１１と、主体経路決定部２１２と、経路予測部としてのデコーダ部２１３と、
（ｂ）非主体対象２に係る機能構成部である、特徴量生成部としてのエンコーダ部２２１と、経路予測部としてのデコーダ部２２３と、
（ｃ）非主体対象３に係る機能構成部である、特徴量生成部としてのエンコーダ部２３１と、経路予測部としてのデコーダ部２３３と
を、コンピュータに搭載されたプログラムの実行によって具現される機能構成部として備えている。ここで、これらの機能構成部は、各対象（１，２，３）について、経路予測モデル１（図１）における同名の機能構成部と同様の機能を有し、同様の処理を実施する。
（ａ）主体対象１に係る機能構成部である、特徴量生成部としてのエンコーダ部２１１と、主体経路決定部２１２と、経路予測部としてのデコーダ部２１３と、
（ｂ）非主体対象２に係る機能構成部である、特徴量生成部としてのエンコーダ部２２１と、経路予測部としてのデコーダ部２２３と、
（ｃ）非主体対象３に係る機能構成部である、特徴量生成部としてのエンコーダ部２３１と、経路予測部としてのデコーダ部２３３と
を、コンピュータに搭載されたプログラムの実行によって具現される機能構成部として備えている。ここで、これらの機能構成部は、各対象（１，２，３）について、経路予測モデル１（図１）における同名の機能構成部と同様の機能を有し、同様の処理を実施する。
【0069】
しかしながら、経路予測モデル２は、経路予測モデル１（図１）のプーリング部に相当する手段を備えておらず、代わりに特徴量生成部としてのグラフ情報処理部２１Ｇを有している。すなわち、経路予測モデル２の特徴量生成部（２１１，２２１，２３１、２１Ｇ）は、
・特徴量を生成すべき「対象」のエンコーダ部（２１１，２２１，２３１）のＲＮＮセルから出力された隠れ状態量と、
・グラフ情報処理部２１Ｇから出力された、当該「対象」及び他の対象、図３では主体対象１、非主体対象２及び非主体対象３、に係る「グラフアテンション情報」からグラフアテンションネットワーク（ＧＡＴ）及びＲＮＮ（Ｇ-ＲＮＮ）を用いて生成された隠れ特徴量と
を合わせた量（本実施形態では連結（concatenate）した量）を、当該「対象」についての特徴量とするのである。なお、「グラフアテンション情報」については後に詳述する。
・特徴量を生成すべき「対象」のエンコーダ部（２１１，２２１，２３１）のＲＮＮセルから出力された隠れ状態量と、
・グラフ情報処理部２１Ｇから出力された、当該「対象」及び他の対象、図３では主体対象１、非主体対象２及び非主体対象３、に係る「グラフアテンション情報」からグラフアテンションネットワーク（ＧＡＴ）及びＲＮＮ（Ｇ-ＲＮＮ）を用いて生成された隠れ特徴量と
を合わせた量（本実施形態では連結（concatenate）した量）を、当該「対象」についての特徴量とするのである。なお、「グラフアテンション情報」については後に詳述する。
【0070】
具体的に、グラフ情報処理部２１Ｇの「ＧＡＴ」は、予測開始時点(t)までの各時点における「グラフアテンション情報」を生成し、逐次、グラフ情報処理部２１Ｇの「Ｇ-ＲＮＮ（１，２，３）」の各々へ入力する。ここで、「Ｇ-ＲＮＮ（１，２，３）」は、予測開始時点(t)までの各時点（図３では、時点(t-2), (t-1), (t)）において、
・当該時点で生成された「グラフアテンション情報」と、
・前の時点で自ら生成した隠れ特徴量g(1,2,3)'と
を入力として、当該時点における隠れ特徴量g(1,2,3)'を生成・出力し、最終的に予測開始時点(t)で生成された隠れ特徴量g(1,2,3)'を、経路予測に用いる特徴量g(1,2,3)とする。
・当該時点で生成された「グラフアテンション情報」と、
・前の時点で自ら生成した隠れ特徴量g(1,2,3)'と
を入力として、当該時点における隠れ特徴量g(1,2,3)'を生成・出力し、最終的に予測開始時点(t)で生成された隠れ特徴量g(1,2,3)'を、経路予測に用いる特徴量g(1,2,3)とする。
【0071】
ただし、図３のように「対象」１が主体対象である場合、主体対象１についての「Ｇ-ＲＮＮ１」は、さらに、
・決定した「後となる経路情報」q1(t+1)と、取得された経路情報p2(t)及びp3(t)とに基づき生成された「グラフアテンション情報」と、
・予測開始時点(t)で生成・出力された隠れ特徴量g1'と
を入力として隠れ特徴量g1'を生成・出力して、さらに、同様の処理を時点(t+tb)（図３ではtb＝2）についてまで繰り返し、最終的に出力された隠れ特徴量g1'であって、主体対象１における決定された「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を反映させた隠れ特徴量g1'を、経路予測に用いる特徴量g1とするのである。
・決定した「後となる経路情報」q1(t+1)と、取得された経路情報p2(t)及びp3(t)とに基づき生成された「グラフアテンション情報」と、
・予測開始時点(t)で生成・出力された隠れ特徴量g1'と
を入力として隠れ特徴量g1'を生成・出力して、さらに、同様の処理を時点(t+tb)（図３ではtb＝2）についてまで繰り返し、最終的に出力された隠れ特徴量g1'であって、主体対象１における決定された「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)を反映させた隠れ特徴量g1'を、経路予測に用いる特徴量g1とするのである。
【0072】
ここで、以上に述べた「グラフアテンション情報」は、ＧＮＮ（Graph Neural Network）とアテンション機構（Graph Attention mechanism）とを利用した公知のＧＡＴ技術によって生成される量である。具体的には、例えば次式
（７） mT i＝σ(ΣjαT ij×W×xT j)
を用いて算出されるmT iを、対象(i)についての時点(t)における「グラフアテンション情報」とすることができる。ここでΣjは、対象群に属する全ての対象（又は隣接対象）についての総和であり、xT jは、対象(j)のエンコーダ部（２１１，２２１，２３１）のＲＮＮセルにおいて時点(T)で生成された隠れ状態量である。
（７） mT i＝σ(ΣjαT ij×W×xT j)
を用いて算出されるmT iを、対象(i)についての時点(t)における「グラフアテンション情報」とすることができる。ここでΣjは、対象群に属する全ての対象（又は隣接対象）についての総和であり、xT jは、対象(j)のエンコーダ部（２１１，２２１，２３１）のＲＮＮセルにおいて時点(T)で生成された隠れ状態量である。
【0073】
また、αT
ijは、対象(i)における対象(j)との間のアテンション係数（coefficients in the attention mechanism of the node pair (i,j)）であって、Wは各対象(j)のxT
jに掛かる重み行列となっている。このような「グラフアテンション情報」については、アテンション係数αT
ijを含め、例えば非特許文献：Yingfan Huang, et al.. “STGAT: Modeling Spatial-Temporal Interactions for Human Trajectory Prediction” Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pp.6272-6281, ２０１９年 において詳細に解説されている。なお「グラフアテンション情報」の変更態様として、この非特許文献に開示されているＭ-ＬＳＴＭ（Ｍ-ＲＮＮ）を別途設け、上式（７）において、隠れ状態量xT
jの代わりに、Ｍ-ＬＳＴＭ（Ｍ-ＲＮＮ）から出力される隠れ状態量mT
jを用いることも可能である。
【0074】
同じく図３において、主体対象１における経路予測部としてのデコーダ部２１３は、主体対象１について設定された経路予測用のＲＮＮセルに対し、生成された特徴量（図３では、隠れ状態量x1(t+2)と隠れ特徴量g1との連結（concatenate）結果）を入力し、この経路予測用のＲＮＮセルからの出力に基づいて、主体対象１における、決定された「後となる経路情報」の後の経路情報、すなわち時点(t+tb+1)（図３ではtb＝2）以降の経路情報を決定する。この点、デコーダ部１１３（図１）と同様の経路予測処理を行うのである。
【0075】
また、非主体対象２における経路予測部としてのデコーダ部２２３は、非主体対象２について設定された経路予測用のＲＮＮセルに対し、生成された特徴量（図３では、隠れ状態量x2(t)と隠れ特徴量g2との連結（concatenate）結果）を入力し、この経路予測用のＲＮＮセルからの出力に基づいて、非主体対象２における、予測開始時点(t)からみて後の経路情報、すなわち時点(t+1)以降の経路情報を決定する。この点、デコーダ部２２３もデコーダ部１２３（図１）と同様の経路予測処理を行うのである。また、非主体対象３のデコーダ部２３３もこのデコーダ部２２３と同様の機能を有し同様の処理を行うので、以下説明を省略する。
【0076】
以上、本実施形態の経路予測モデル２についても、主体対象における予測開始直後の経路情報qが、他の対象の経路情報に与える影響も取り入れた経路予測が実施可能となることが理解される。
【0077】
［経路予測モデルの更なる他の実施形態］
図４は、本発明による経路予測モデルにおける更なる他の実施形態を示す模式図である。
図４は、本発明による経路予測モデルにおける更なる他の実施形態を示す模式図である。
【0078】
図４によれば、本実施形態の経路予測モデル３は、
（ａ）トランスフォーマ・エンコーダ（Transformer Encoder）で構成される、特徴量生成部としてのエンコーダ部３１と、
（ｂ）主体経路決定部１１２（図１）や主体経路決定部２１２（図３）と同様の機能を有し同様の処理を行う主体経路決定部３２と、
（ｃ）トランスフォーマ・デコーダ（Transformer Decoder）で構成される、経路予測部としてのデコーダ部３３と
を、コンピュータに搭載されたプログラムの実行によって具現される機能構成部として備えている。
（ａ）トランスフォーマ・エンコーダ（Transformer Encoder）で構成される、特徴量生成部としてのエンコーダ部３１と、
（ｂ）主体経路決定部１１２（図１）や主体経路決定部２１２（図３）と同様の機能を有し同様の処理を行う主体経路決定部３２と、
（ｃ）トランスフォーマ・デコーダ（Transformer Decoder）で構成される、経路予測部としてのデコーダ部３３と
を、コンピュータに搭載されたプログラムの実行によって具現される機能構成部として備えている。
【0079】
ここで、トランスフォーマ・エンコーダ及びトランスフォーマ・デコーダを含むトランスフォーマ（Transformer）は、２０１７年に提案されて以降、特に自然言語処理の分野において盛んに利用されているモデルであり、飛躍的に高い処理能力を発揮するモデルとして大いに注目されている。ちなみにトランスフォーマ・モデルは、TensorFlowやPyTorch等の主要なオープンソース機械学習ライブラリに実装されている。
【0080】
同じく図４において、エンコーダ部３１は具体的に、例えば予測開始時点(t)において、
・取得された経路情報pm(t-ta), ・・・, pm(t-1), pm(t)（図４ではta＝2であり、m＝1, 2, 3であって、m＝は主体対象１，m＝2は非主体対象２，m＝3は非主体対象３）と、
・主体経路決定部３２で決定された「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)（図４ではtb＝2）と
を入力として受け取る。次いでこれらの情報を、「埋め込み部」においてそれぞれの埋め込み表現情報に変換し、さらに「アテンション部」及び「全結合層部」の組が複数（標準的には6つ）積層された構造によって、エンコード量に変換する。なお、このエンコード量は、取得された経路情報及び決定された「後となる経路情報」が（異なる対象に係る情報間や異なる時点に係る情報間を含め）互いに作用（影響）し合った結果の量となっている。
・取得された経路情報pm(t-ta), ・・・, pm(t-1), pm(t)（図４ではta＝2であり、m＝1, 2, 3であって、m＝は主体対象１，m＝2は非主体対象２，m＝3は非主体対象３）と、
・主体経路決定部３２で決定された「後となる経路情報」q1(t+1), q1(t+2), ・・・, q1(t+tb)（図４ではtb＝2）と
を入力として受け取る。次いでこれらの情報を、「埋め込み部」においてそれぞれの埋め込み表現情報に変換し、さらに「アテンション部」及び「全結合層部」の組が複数（標準的には6つ）積層された構造によって、エンコード量に変換する。なお、このエンコード量は、取得された経路情報及び決定された「後となる経路情報」が（異なる対象に係る情報間や異なる時点に係る情報間を含め）互いに作用（影響）し合った結果の量となっている。
【0081】
ここで、この生成されたエンコード量が、
・特徴量xm(t-ta), ・・・, xm(t-1), xm(t) （図４ではta＝2であり、m＝1, 2, 3であって、m＝は主体対象１，m＝2は非主体対象２，m＝3は非主体対象３）、及び
・特徴量x1(t+1), x1(t+2), ・・・, x1(t+tb)（図４ではtb＝2）
となるのである。このようにエンコーダ部３１は、エンコーダ部１１１（図１）やエンコーダ部２１１（図３）で生成されるような過去の経路情報を圧縮して埋め込んだ特徴量ではなく、各対象及び各時点に係る特徴量を、個別に生成（抽出）するものとなっている。その結果、この特徴量は、過去の及び周囲のより詳細な経路情報を反映したものとなっているので、この後、より高い予測精度の経路予測を実施することも可能となるのである。
・特徴量xm(t-ta), ・・・, xm(t-1), xm(t) （図４ではta＝2であり、m＝1, 2, 3であって、m＝は主体対象１，m＝2は非主体対象２，m＝3は非主体対象３）、及び
・特徴量x1(t+1), x1(t+2), ・・・, x1(t+tb)（図４ではtb＝2）
となるのである。このようにエンコーダ部３１は、エンコーダ部１１１（図１）やエンコーダ部２１１（図３）で生成されるような過去の経路情報を圧縮して埋め込んだ特徴量ではなく、各対象及び各時点に係る特徴量を、個別に生成（抽出）するものとなっている。その結果、この特徴量は、過去の及び周囲のより詳細な経路情報を反映したものとなっているので、この後、より高い予測精度の経路予測を実施することも可能となるのである。
【0082】
ちなみに、エンコーダ部３１におけるアテンション処理は、非特許文献：Ye. Yuan, et al., "AgentFormer: Agent-Aware Transformers for Socio-Temporal Multi-Agent Forecasting", Proceedings of 2021 International Conference on Computer Vision (ICCV), pp.9813-9823, ２０２１年 において詳細に説明されているAgent-Aware Attentionによるものとすることが好ましい（例えば同文献で提案されたAgent-Aware Transformerを、経路予測モデル３に採用することが好ましい）。これにより、入力される経路情報における「対象」（エージェント）の情報を保持して、「対象」毎の特徴量生成及び経路予測を確実に実施することが可能となる。
【0083】
また、エンコーダ部３１には、入力される経路情報の順序に係る情報である位置エンコード（positional encode）量が入力されることも好ましい。この位置エンコード量は、入力される各経路情報に係る位置を一意に示す量となっており、トランスフォーマでは通常、sin関数やcos関数を用いて生成される。なお、この位置エンコード量は、「埋め込み部」から出力される各経路情報の埋め込み表現情報に加算される形で入力することができる。
【0084】
またさらに、エンコーダ部３１には、入力される経路情報の時間間隔に係る情報である時間エンコード（time encode）量が入力されることも好ましい。この時間エンコード量は、入力される各経路情報に係る時点（時刻）を一意に示す量となっており、上記の非特許文献に開示されたAgent-Aware Transformerに採用された量となっている（同じくsin関数やcos関数を用いて生成される）。またこの時間エンコード量も、「埋め込み部」から出力される各経路情報の埋め込み表現情報に加算される形で入力することができる。
【0085】
同じく図４において、デコーダ部３３は、エンコーダ部３１で生成された特徴量（エンコード量）を入力として、各「対象」（主体対象１，非主体対象２，非主体対象３）における
・決定された「後となる経路情報」の後の（次となる）予測経路情報p1(t+3)^、及び
・予測開始時点(t)からみて後の（次となる）予測経路情報p2(t+1)^, p3(t+1)^
を生成・出力する。またデコーダ部３３は、これらの予測経路情報を用いて、さらに後の（次となる）予測経路情報p1(t+4)^, p2(t+2)^, p3(t+2)^を生成・出力し、このように、ある時点の予測経路情報を用いてその次の時点の予測経路情報を生成・出力する処理を繰り返すのである。ちなみに本実施形態のデコーダ部３３も、エンコーダ部３１と同様、「アテンション部」及び「全結合層部」の組を複数（標準的には6つ）含む構造となっている。
・決定された「後となる経路情報」の後の（次となる）予測経路情報p1(t+3)^、及び
・予測開始時点(t)からみて後の（次となる）予測経路情報p2(t+1)^, p3(t+1)^
を生成・出力する。またデコーダ部３３は、これらの予測経路情報を用いて、さらに後の（次となる）予測経路情報p1(t+4)^, p2(t+2)^, p3(t+2)^を生成・出力し、このように、ある時点の予測経路情報を用いてその次の時点の予測経路情報を生成・出力する処理を繰り返すのである。ちなみに本実施形態のデコーダ部３３も、エンコーダ部３１と同様、「アテンション部」及び「全結合層部」の組を複数（標準的には6つ）含む構造となっている。
【0086】
以上、本実施形態の経路予測モデル３についても、主体対象における予測開始直後の経路情報qが、他の対象の経路情報に与える影響も取り入れた経路予測が実施可能となることが理解される。
【0087】
［経路予測装置・プログラム・方法］
図５は、本発明による経路予測装置の一実施形態における機能構成を示す機能ブロック図である。
図５は、本発明による経路予測装置の一実施形態における機能構成を示す機能ブロック図である。
【0088】
【0089】
具体的に、本実施形態の経路予測装置８は、
（Ａ）外部の例えば経路情報管理サーバや経路情報管理ユニット（例えば車内のセンサ情報解析・管理ユニット）から、通信機能を有する入力部８０１を介して取得された経路情報（ＧＰＳ、カメラ画像認識や、ＬｉＤＡＲ等の測距手段によって決定された経路データ）に対し、予測精度を高めるべく外れ値除去や平滑化フィルタ処理等の前処理を施すフィルタ部８１１と、
（Ｂ）取得された前処理済みのモデル訓練用の経路情報（学習データ）を用いて、経路予測モデル（１，２，３）を訓練する訓練部８１２と、
（Ｃ）取得された前処理済みの経路情報であって、経路予測対象（各対象）の予測開始時点(t)までの経路情報を、訓練済み（学習済み）の経路予測モデル（１，２，３）へ入力し、この経路予測モデル（１，２，３）の出力から、予測開始時点(t)の後の（時点(t+1)以降の）予測経路情報（「後となる経路情報」を含む）を生成し、この予測経路情報を、通信機能を有する出力部８０２を介して、外部の情報処理装置や予測経路情報利用ユニット（例えば車内の自動運転制御ユニット）へ提供する経路予測部８１３と
を有している。
（Ａ）外部の例えば経路情報管理サーバや経路情報管理ユニット（例えば車内のセンサ情報解析・管理ユニット）から、通信機能を有する入力部８０１を介して取得された経路情報（ＧＰＳ、カメラ画像認識や、ＬｉＤＡＲ等の測距手段によって決定された経路データ）に対し、予測精度を高めるべく外れ値除去や平滑化フィルタ処理等の前処理を施すフィルタ部８１１と、
（Ｂ）取得された前処理済みのモデル訓練用の経路情報（学習データ）を用いて、経路予測モデル（１，２，３）を訓練する訓練部８１２と、
（Ｃ）取得された前処理済みの経路情報であって、経路予測対象（各対象）の予測開始時点(t)までの経路情報を、訓練済み（学習済み）の経路予測モデル（１，２，３）へ入力し、この経路予測モデル（１，２，３）の出力から、予測開始時点(t)の後の（時点(t+1)以降の）予測経路情報（「後となる経路情報」を含む）を生成し、この予測経路情報を、通信機能を有する出力部８０２を介して、外部の情報処理装置や予測経路情報利用ユニット（例えば車内の自動運転制御ユニット）へ提供する経路予測部８１３と
を有している。
【0090】
ここで、上記（Ｂ）の訓練部８１２においては、搭載モデルが経路予測モデル１や経路予測モデル２である場合、ＲＮＮの訓練で通常用いられる通時的誤差逆伝播（Back Propagation Through Time）の仕組みをもって、予測誤差（予測経路データと正解データとの差異）を、（エンコーダ部及びデコーダ部を直列に接続した）モデル全体へ一括して伝播させる形の訓練処理が実施される。
【0091】
一方、搭載モデルが経路予測モデル３である場合、トランスフォーマを利用した自然言語処理モデルとして有名なＢＥＲＴ（Bidirectional Encoder Representations from Transformer）における、マスクされた箇所のデータを当てる問題（単語穴埋め問題）を解くためのＭＬＭ（Masked Language Model）を利用し、経路情報の一部をマスクした学習データにおけるマスク箇所を当てさせる形の訓練処理が実施される。
【0092】
また、上記（Ｃ）の経路予測部８１３は、経路予測対象（各対象）の（実測による）経路情報を、例えば所定の時間間隔で逐次受け取り、受け取った各時点を予測開始時点として、経路情報を受け取る毎に、予測経路情報を生成・出力してもよい。この場合、経路予測装置８は、例えばリアルタイムで常時、近い未来の経路を予測し続けることができる。また変更態様として、生成・出力された予測経路情報を経路予測モデル（１，２，３）へ再入力することを繰り返し、予測開始時点からみて、ある程度又は相当に遠い未来の予測経路情報を生成することも可能である。
【0093】
ちなみに、上記（Ａ）～（Ｃ）のフィルタ部８１１、訓練部８１２及び経路予測部８１３のうちの少なくとも経路予測部８１３は、本発明による経路予測方法の一実施形態を実施する機能構成部であり、また、本発明による経路予測プログラムの一実施形態を保存したプロセッサ・メモリの発揮する機能と捉えることもできる。またこのことから、経路予測装置８は、経路予測の専用装置（例えば車載装置）であってもよいが、本発明による経路予測プログラムを搭載した、例えばクラウドサーバ、非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等とすることも可能である。
【0094】
以上詳細に説明したように、本発明においては、主体対象について予測開始時点からみて「後となる経路情報」を予め決定している。また、経路を予測する際に用いる特徴量として、この「後となる経路情報」にも基づいた「対象」の特徴量であって、この「対象」以外の対象の経路情報による作用（影響）を取り入れた特徴量を生成している。その結果、主体対象における予測開始直後の経路が、他の対象の経路に与える影響も取り入れた経路予測を実施することができる。例えば、主体対象である自車の周囲に存在する自動車や歩行者の経路を予測するに当たり、自車の直近の未来における経路を利用することによってその予測精度を向上させることも可能となるのである。
【0095】
また、例えば本発明による経路予測方法を用いて、都市部における的確且つ詳細な自動車や歩行者等の移動経路予測、ひいてはその行動予測を実施し、道路、歩道、交差点や施設内通路等におけるレジリエントなインフラを整備したり、さらには都市化がもたらす交通上の又は人流に係る課題を解決する効率的な都市計画を実施したりすることもできる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」や、目標１１「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することも可能となるのである。
【0096】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで実施形態の例示であって、不要な制約を行うものではない。本発明は、特許請求の範囲及びその均等物として限定されるものにのみ制約される。
【符号の説明】
【0097】
１、２、３ 経路予測モデル
１１１、１２１、１３１、２１１、２２１、２３１、３１ エンコーダ部（特徴量生成部）
１１１Ｐ、１２１Ｐ、１３１Ｐ プーリング部（特徴量生成部）
１１２、２１２、３２ 主体経路決定部
１１３、１２３、１３３、２１３、２２３、２３３、３３ デコーダ部（経路予測部）
２１Ｇ グラフ情報処理部（特徴量生成部）
８ 経路予測装置
８０１ 入力部
８０２ 出力部
８１１ フィルタ部
８１２ 訓練部
８１３ 経路予測部
１１１、１２１、１３１、２１１、２２１、２３１、３１ エンコーダ部（特徴量生成部）
１１１Ｐ、１２１Ｐ、１３１Ｐ プーリング部（特徴量生成部）
１１２、２１２、３２ 主体経路決定部
１１３、１２３、１３３、２１３、２２３、２３３、３３ デコーダ部（経路予測部）
２１Ｇ グラフ情報処理部（特徴量生成部）
８ 経路予測装置
８０１ 入力部
８０２ 出力部
８１１ フィルタ部
８１２ 訓練部
８１３ 経路予測部
【図1】
【図2】
【図3】
【図4】
【図5】