知財求人 - 知財ポータルサイト「IP Force」
▶ エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートの特許一覧
特開2024-4450自律走行のために多種移動オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004450
(43)【公開日】2024-01-16
(54)【発明の名称】自律走行のために多種移動オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法
(51)【国際特許分類】
G06N 3/08 20230101AFI20240109BHJP
G06N 3/0464 20230101ALI20240109BHJP
G06N 3/0455 20230101ALI20240109BHJP
G06N 3/0442 20230101ALI20240109BHJP
G06T 7/00 20170101ALI20240109BHJP
G08G 1/16 20060101ALI20240109BHJP
【ＦＩ】
G06N3/08
G06N3/0464
G06N3/0455
G06N3/0442
G06T7/00 650A
G06T7/00 350C
G08G1/16 C
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023065693
(22)【出願日】2023-04-13
(31)【優先権主張番号】10-2022-0078986
(32)【優先日】2022-06-28
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】チェ ドゥソプ
(72)【発明者】
【氏名】ミン キョン－ウク
(72)【発明者】
【氏名】イ ドン－ジン
(72)【発明者】
【氏名】ジョ ヨンウ
(72)【発明者】
【氏名】ハン スン ジュン
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB20
5H181FF10
5H181FF12
5H181FF22
5H181FF27
5H181LL09
5L096BA04
5L096EA16
5L096FA64
5L096FA69
5L096GA41
5L096HA11
5L096JA09
(57)【要約】
【課題】本発明は、自律走行のために多種移動オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法と前記学習方法により学習された人工ニューラルネットワークを用いる多種オブジェクト将来軌跡予測装置および予測方法に関する。
【解決手段】本発明による多種オブジェクト将来軌跡予測装置は、自律車周辺の１つ以上のオブジェクトの所定時間の位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成し、前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、前記自律車に対する走行環境フィーチャーマップを生成する共有情報生成モジュールと、前記過去移動軌跡と前記走行環境フィーチャーマップとに基づき、前記１つ以上のオブジェクトに対する将来軌跡を生成する将来軌跡予測モジュールと、を含む。
【選択図】図４
【解決手段】本発明による多種オブジェクト将来軌跡予測装置は、自律車周辺の１つ以上のオブジェクトの所定時間の位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成し、前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、前記自律車に対する走行環境フィーチャーマップを生成する共有情報生成モジュールと、前記過去移動軌跡と前記走行環境フィーチャーマップとに基づき、前記１つ以上のオブジェクトに対する将来軌跡を生成する将来軌跡予測モジュールと、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
自律車周辺の１つ以上のオブジェクトの所定時間の位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成し、前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、前記自律車に対する走行環境フィーチャーマップを生成する共有情報生成モジュールと、
前記過去移動軌跡と前記走行環境フィーチャーマップとに基づき、前記１つ以上のオブジェクトに対する将来軌跡を生成する将来軌跡予測モジュールと、
を含む多種オブジェクト将来軌跡予測装置。
前記過去移動軌跡と前記走行環境フィーチャーマップとに基づき、前記１つ以上のオブジェクトに対する将来軌跡を生成する将来軌跡予測モジュールと、
を含む多種オブジェクト将来軌跡予測装置。
【請求項2】
前記共有情報生成モジュールは、
前記１つ以上のオブジェクトの種類情報を収集し、
前記多種オブジェクト将来軌跡予測装置は、
前記種類情報が有し得るそれぞれの種類に対応する複数の前記将来軌跡予測モジュールを含む、
請求項１に記載の多種オブジェクト将来軌跡予測装置。
前記１つ以上のオブジェクトの種類情報を収集し、
前記多種オブジェクト将来軌跡予測装置は、
前記種類情報が有し得るそれぞれの種類に対応する複数の前記将来軌跡予測モジュールを含む、
請求項１に記載の多種オブジェクト将来軌跡予測装置。
【請求項3】
前記共有情報生成モジュールは、
前記１つ以上のオブジェクトの位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成するオブジェクト毎位置データ受信部と、
前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、走行環境コンテキスト情報イメージを生成する走行環境コンテキスト情報生成部と、
前記走行環境コンテキスト情報イメージを第１畳み込みニューラルネットワークに入力して前記走行環境フィーチャーマップを生成する走行環境フィーチャーマップ生成部と、を含む、
請求項１に記載の多種オブジェクト将来軌跡予測装置。
前記１つ以上のオブジェクトの位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成するオブジェクト毎位置データ受信部と、
前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、走行環境コンテキスト情報イメージを生成する走行環境コンテキスト情報生成部と、
前記走行環境コンテキスト情報イメージを第１畳み込みニューラルネットワークに入力して前記走行環境フィーチャーマップを生成する走行環境フィーチャーマップ生成部と、を含む、
請求項１に記載の多種オブジェクト将来軌跡予測装置。
【請求項4】
前記将来軌跡予測モジュールは、
前記過去移動軌跡に基づき、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いてモーションフィーチャーベクトルを生成するオブジェクト過去軌跡情報抽出部と、
前記走行環境フィーチャーマップに基づき、第２畳み込みニューラルネットワークを用いてオブジェクト環境フィーチャーベクトルを生成するオブジェクト中心コンテキスト情報抽出部と、
前記モーションフィーチャーベクトルおよび前記オブジェクト環境フィーチャーベクトルに基づき、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）とＭＬＰとを用いて前記将来軌跡を生成する将来軌跡生成部と、を含む、
請求項１に記載の多種オブジェクト将来軌跡予測装置。
前記過去移動軌跡に基づき、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いてモーションフィーチャーベクトルを生成するオブジェクト過去軌跡情報抽出部と、
前記走行環境フィーチャーマップに基づき、第２畳み込みニューラルネットワークを用いてオブジェクト環境フィーチャーベクトルを生成するオブジェクト中心コンテキスト情報抽出部と、
前記モーションフィーチャーベクトルおよび前記オブジェクト環境フィーチャーベクトルに基づき、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）とＭＬＰとを用いて前記将来軌跡を生成する将来軌跡生成部と、を含む、
請求項１に記載の多種オブジェクト将来軌跡予測装置。
【請求項5】
前記走行環境コンテキスト情報生成部は、
高精細マップから車路中心線を含む前記道路情報を抽出し、２Ｄイメージ上に前記道路情報と前記過去移動軌跡とを表示する方式で前記走行環境コンテキスト情報イメージを生成する、
請求項３に記載の多種オブジェクト将来軌跡予測装置。
高精細マップから車路中心線を含む前記道路情報を抽出し、２Ｄイメージ上に前記道路情報と前記過去移動軌跡とを表示する方式で前記走行環境コンテキスト情報イメージを生成する、
請求項３に記載の多種オブジェクト将来軌跡予測装置。
【請求項6】
前記走行環境コンテキスト情報生成部は、
高精細マップから車路中心線を含む前記道路情報を抽出し、前記道路情報に基づいて道路イメージを生成し、前記過去移動軌跡に基づいて過去移動軌跡イメージを生成し、前記道路イメージと前記過去移動軌跡イメージとをチャンネル方向に結合して前記走行環境コンテキスト情報イメージを生成する、
請求項３に記載の多種オブジェクト将来軌跡予測装置。
高精細マップから車路中心線を含む前記道路情報を抽出し、前記道路情報に基づいて道路イメージを生成し、前記過去移動軌跡に基づいて過去移動軌跡イメージを生成し、前記道路イメージと前記過去移動軌跡イメージとをチャンネル方向に結合して前記走行環境コンテキスト情報イメージを生成する、
請求項３に記載の多種オブジェクト将来軌跡予測装置。
【請求項7】
前記オブジェクト中心コンテキスト情報抽出部は、
複数の位置点が格子状に配列された格子テンプレートを生成し、前記格子テンプレートに含まれるすべての位置点を特定オブジェクトの位置およびヘディング方向を中心とする座標系に移動させ、移動させた前記すべての位置点に対応する前記走行環境フィーチャーマップ内の位置からフィーチャーベクトルを抽出してエージェントフィーチャーマップを生成し、前記エージェントフィーチャーマップを第２畳み込みニューラルネットワークに入力して前記オブジェクト環境フィーチャーベクトルを生成する、
請求項４に記載の多種オブジェクト将来軌跡予測装置。
複数の位置点が格子状に配列された格子テンプレートを生成し、前記格子テンプレートに含まれるすべての位置点を特定オブジェクトの位置およびヘディング方向を中心とする座標系に移動させ、移動させた前記すべての位置点に対応する前記走行環境フィーチャーマップ内の位置からフィーチャーベクトルを抽出してエージェントフィーチャーマップを生成し、前記エージェントフィーチャーマップを第２畳み込みニューラルネットワークに入力して前記オブジェクト環境フィーチャーベクトルを生成する、
請求項４に記載の多種オブジェクト将来軌跡予測装置。
【請求項8】
前記オブジェクト中心コンテキスト情報抽出部は、
前記特定オブジェクトの種類に基づき、前記格子テンプレートに含まれる位置点間の横間隔および縦間隔の少なくとも１つを設定する、
請求項７に記載の多種オブジェクト将来軌跡予測装置。
前記特定オブジェクトの種類に基づき、前記格子テンプレートに含まれる位置点間の横間隔および縦間隔の少なくとも１つを設定する、
請求項７に記載の多種オブジェクト将来軌跡予測装置。
【請求項9】
特定時点を基準として自律車周辺の所定の距離範囲にある１つ以上のオブジェクトに対する所定時間の位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成し、前記自律車周辺の道路情報と前記過去移動軌跡とを２Ｄイメージに表示する方式により前記自律車に対する走行環境コンテキスト情報イメージを生成し、前記特定時点以後の前記１つ以上のオブジェクトに対する所定時間の位置情報に基づき、前記１つ以上のオブジェクトに対する正解の将来軌跡を生成する学習データ生成ステップと、
前記過去移動軌跡、前記走行環境コンテキスト情報イメージ、および前記正解の将来軌跡をＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に入力してオブジェクトの将来軌跡を生成し、前記オブジェクトの将来軌跡と前記正解の将来軌跡との間の差に基づいて損失関数の値を計算するステップと、
前記損失関数の値が小さくなるように前記ＤＮＮを学習させるステップと、
を含む多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法。
前記過去移動軌跡、前記走行環境コンテキスト情報イメージ、および前記正解の将来軌跡をＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に入力してオブジェクトの将来軌跡を生成し、前記オブジェクトの将来軌跡と前記正解の将来軌跡との間の差に基づいて損失関数の値を計算するステップと、
前記損失関数の値が小さくなるように前記ＤＮＮを学習させるステップと、
を含む多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法。
【請求項10】
前記学習データ生成ステップは、
前記走行環境コンテキスト情報イメージを反転、回転および色相変更の少なくともいずれか１つの方式またはそれらの組み合わせにより増加させる、
請求項９に記載の多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法。
前記走行環境コンテキスト情報イメージを反転、回転および色相変更の少なくともいずれか１つの方式またはそれらの組み合わせにより増加させる、
請求項９に記載の多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法。
【請求項11】
前記損失関数は、
ＥＬＢＯ（Ｅｖｉｄｅｎｃｅ Ｌｏｗｅｒ Ｂｏｕｎｄ）損失である、
請求項９に記載の多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法。
ＥＬＢＯ（Ｅｖｉｄｅｎｃｅ Ｌｏｗｅｒ Ｂｏｕｎｄ）損失である、
請求項９に記載の多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法。
【請求項12】
自律車周辺の１つ以上のオブジェクトの所定時間の位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成するステップと、
前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、走行環境コンテキスト情報イメージを生成するステップと、
前記走行環境コンテキスト情報イメージを第１畳み込みニューラルネットワークに入力して走行環境フィーチャーマップを生成するステップと、
前記過去移動軌跡に基づき、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いてモーションフィーチャーベクトルを生成するステップと、
前記走行環境フィーチャーマップに基づき、第２畳み込みニューラルネットワークを用いてオブジェクト環境フィーチャーベクトルを生成するステップと、
前記モーションフィーチャーベクトルおよび前記オブジェクト環境フィーチャーベクトルに基づき、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）とＭＬＰとを用いて前記１つ以上のオブジェクトに対する将来軌跡を生成するステップと、
を含む多種オブジェクト将来軌跡予測方法。
前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、走行環境コンテキスト情報イメージを生成するステップと、
前記走行環境コンテキスト情報イメージを第１畳み込みニューラルネットワークに入力して走行環境フィーチャーマップを生成するステップと、
前記過去移動軌跡に基づき、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いてモーションフィーチャーベクトルを生成するステップと、
前記走行環境フィーチャーマップに基づき、第２畳み込みニューラルネットワークを用いてオブジェクト環境フィーチャーベクトルを生成するステップと、
前記モーションフィーチャーベクトルおよび前記オブジェクト環境フィーチャーベクトルに基づき、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）とＭＬＰとを用いて前記１つ以上のオブジェクトに対する将来軌跡を生成するステップと、
を含む多種オブジェクト将来軌跡予測方法。
【請求項13】
前記過去移動軌跡を各オブジェクト中心の座標系に変換するステップをさらに含み、
前記モーションフィーチャーベクトルを生成するステップは、
前記オブジェクト中心の座標系に変換された過去移動軌跡に基づき、ＬＳＴＭを用いてモーションフィーチャーベクトルを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
前記モーションフィーチャーベクトルを生成するステップは、
前記オブジェクト中心の座標系に変換された過去移動軌跡に基づき、ＬＳＴＭを用いてモーションフィーチャーベクトルを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
【請求項14】
前記走行環境コンテキスト情報イメージを生成するステップは、
高精細マップから車路中心線を含む前記道路情報を抽出し、２Ｄイメージ上に前記道路情報と前記過去移動軌跡とを表示する方式で前記走行環境コンテキスト情報イメージを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
高精細マップから車路中心線を含む前記道路情報を抽出し、２Ｄイメージ上に前記道路情報と前記過去移動軌跡とを表示する方式で前記走行環境コンテキスト情報イメージを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
【請求項15】
前記走行環境コンテキスト情報イメージを生成するステップは、
高精細マップから車路中心線を含む前記道路情報を抽出し、前記道路情報に基づいて道路イメージを生成し、前記過去移動軌跡に基づいて過去移動軌跡イメージを生成し、前記道路イメージと前記過去移動軌跡イメージとをチャンネル方向に結合して前記走行環境コンテキスト情報イメージを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
高精細マップから車路中心線を含む前記道路情報を抽出し、前記道路情報に基づいて道路イメージを生成し、前記過去移動軌跡に基づいて過去移動軌跡イメージを生成し、前記道路イメージと前記過去移動軌跡イメージとをチャンネル方向に結合して前記走行環境コンテキスト情報イメージを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
【請求項16】
前記オブジェクト環境フィーチャーベクトルを生成するステップは、
複数の位置点が格子状に配列された格子テンプレートを生成し、前記格子テンプレートに含まれるすべての位置点を特定オブジェクトの位置およびヘディング方向を中心とする座標系に移動させ、移動させた前記すべての位置点に対応する前記走行環境フィーチャーマップ内の位置からフィーチャーベクトルを抽出してエージェントフィーチャーマップを生成し、前記エージェントフィーチャーマップを前記第２畳み込みニューラルネットワークに入力して前記オブジェクト環境フィーチャーベクトルを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
複数の位置点が格子状に配列された格子テンプレートを生成し、前記格子テンプレートに含まれるすべての位置点を特定オブジェクトの位置およびヘディング方向を中心とする座標系に移動させ、移動させた前記すべての位置点に対応する前記走行環境フィーチャーマップ内の位置からフィーチャーベクトルを抽出してエージェントフィーチャーマップを生成し、前記エージェントフィーチャーマップを前記第２畳み込みニューラルネットワークに入力して前記オブジェクト環境フィーチャーベクトルを生成する、
請求項１２に記載の多種オブジェクト将来軌跡予測方法。
【請求項17】
前記オブジェクト環境フィーチャーベクトルを生成するステップは、
前記特定オブジェクトの種類に基づき、前記格子テンプレートに含まれる位置点間の横間隔および縦間隔の少なくとも１つを設定する、
請求項１６に記載の多種オブジェクト将来軌跡予測方法。
前記特定オブジェクトの種類に基づき、前記格子テンプレートに含まれる位置点間の横間隔および縦間隔の少なくとも１つを設定する、
請求項１６に記載の多種オブジェクト将来軌跡予測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律走行自動車周辺の多種移動オブジェクトの将来軌跡を予測するための人工ニューラルネットワークの学習方法に関する。さらに詳しくは、多種移動オブジェクトの過去位置記録および高精細マップからオブジェクト毎の複数の将来軌跡を予測する人工ニューラルネットワークの構造を提案し、当該人工ニューラルネットワークを効果的に学習させるための方法に関する。
【背景技術】
【0002】
一般的な自律走行システム（Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ Ｓｙｓｔｅｍ、ＡＤＳ）は、認識、判断、制御の過程を経て車両の自律走行を実現する。
【0003】
認識過程において、自律走行システムは、カメラ、ライダーなどのセンサから取得したデータを活用して、車両周辺の静的あるいは動的オブジェクトを見つけ、それらの位置を追跡する。また、自律走行システムは、車線、周辺のビルを認識して高精細マップ（ＨＤ ｍａｐ）と比較した後、自律走行車両（以下、自律車）の位置および姿勢を予測する。
【0004】
判断過程において、自律走行システムは、認識の結果物から走行意図に合った複数の経路を生成し、各経路の危険度を判断して１つの経路を決定する。
【0005】
最後に、制御過程において、自律走行システムは、判断過程で生成された経路に沿って車が動けるように車両の操舵角と速度を制御する。
【0006】
自律走行システムが判断過程で経路毎に危険度を判断する過程において、周辺の移動オブジェクトの将来の動きの予測が必須である。例えば、車線変更時、自律走行システムは、移動しようとする車線に車両が存在するか、そして当該車両が将来に自律走行車両と衝突を起こすかなどを予め判断しなければならず、そのためには当該車両の将来の動きの予測が非常に重要である。
【0007】
ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＤＮＮ）の発展に伴い、ＤＮＮを用いた移動オブジェクトの将来軌跡予測技術が多く提案されてきている。より正確な将来軌跡予測のために、ＤＮＮは次の条件を満足するように設計される（図１参照）。
（１）将来軌跡の予測時、高精細マップまたは走行環境イメージの活用
（２）将来軌跡の予測時、移動オブジェクト間の相互作用を考慮
（３）オブジェクト毎に複数の将来軌跡を予測して移動オブジェクトの動きの曖昧さ解消
（１）将来軌跡の予測時、高精細マップまたは走行環境イメージの活用
（２）将来軌跡の予測時、移動オブジェクト間の相互作用を考慮
（３）オブジェクト毎に複数の将来軌跡を予測して移動オブジェクトの動きの曖昧さ解消
【0008】
条件（１）は、車両は主に車線に沿って動き、人間は人道などの道に沿って動く状況を反映するためであり、条件（２）は、オブジェクトの動きは周辺オブジェクトの動きに影響を受けるという事実を反映するためである。最後に、条件（３）は、オブジェクトの将来位置はオブジェクトの動き意図の曖昧さによって多重モード分布に従うという点を反映するためである。
【0009】
一方、自律走行車両の周辺には多様な種類のオブジェクト（車両、歩行者、サイクリストなど）が存在し、自律走行システムは、それらの種類に制限なくオブジェクトの将来軌跡を予測できなければならない。しかし、従来のＤＮＮは、特定種類のオブジェクトのみを考慮して提案されてきており、このため、自律走行システムでの活用時、オブジェクトの種類毎にＤＮＮを別途に用いなければならない。しかし、このようなＤＮＮの運用方式は互いに異なるＤＮＮ間の資源共有が不可能で非常に非効率的という問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明では、多種オブジェクトの将来軌跡予測のためのディープニューラルネットワーク（ＤＮＮ）構造を提案し、前記ディープニューラルネットワークを効果的に学習させるための方法を提示することを目的とする。
【0011】
本発明の目的は以上に言及した目的に制限されず、言及されていないさらに他の目的は以下の記載から当業者に明確に理解されるであろう。
【課題を解決するための手段】
【0012】
上記の目的を達成するための、本発明の一実施例による多種オブジェクト将来軌跡予測装置は、自律車周辺の１つ以上のオブジェクトの所定時間の位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成し、前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、前記自律車に対する走行環境フィーチャーマップを生成する共有情報生成モジュールと、前記過去移動軌跡と前記走行環境フィーチャーマップとに基づき、前記１つ以上のオブジェクトに対する将来軌跡を生成する将来軌跡予測モジュールと、を含む。
【0013】
本発明の一実施例において、前記共有情報生成モジュールは、前記１つ以上のオブジェクトの種類情報を収集することができ、前記多種オブジェクト将来軌跡予測装置は、前記種類情報が有し得るそれぞれの種類に対応する複数の前記将来軌跡予測モジュールを含む。
【0014】
本発明の一実施例において、前記共有情報生成モジュールは、前記１つ以上のオブジェクトの位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成するオブジェクト毎位置データ受信部と、前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、走行環境コンテキスト情報イメージを生成する走行環境コンテキスト情報生成部と、前記走行環境コンテキスト情報イメージを第１畳み込みニューラルネットワークに入力して前記走行環境フィーチャーマップを生成する走行環境フィーチャーマップ生成部と、を含むことができる。
【0015】
本発明の一実施例において、前記将来軌跡予測モジュールは、前記過去移動軌跡に基づき、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いてモーションフィーチャーベクトルを生成するオブジェクト過去軌跡情報抽出部と、前記走行環境フィーチャーマップに基づき、第２畳み込みニューラルネットワークを用いてオブジェクト環境フィーチャーベクトルを生成するオブジェクト中心コンテキスト情報抽出部と、前記モーションフィーチャーベクトルおよび前記オブジェクト環境フィーチャーベクトルに基づき、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）とＭＬＰとを用いて前記将来軌跡を生成する将来軌跡生成部と、を含むことができる。
【0016】
本発明の一実施例において、前記走行環境コンテキスト情報生成部は、高精細マップから車路中心線を含む前記道路情報を抽出し、２Ｄイメージ上に前記道路情報と前記過去移動軌跡とを表示する方式で前記走行環境コンテキスト情報イメージを生成することができる。
【0017】
本発明の一実施例において、前記走行環境コンテキスト情報生成部は、高精細マップから車路中心線を含む前記道路情報を抽出し、前記道路情報に基づいて道路イメージを生成し、前記過去移動軌跡に基づいて過去移動軌跡イメージを生成し、前記道路イメージと前記過去移動軌跡イメージとをチャンネル方向に結合して前記走行環境コンテキスト情報イメージを生成することができる。
【0018】
本発明の一実施例において、前記オブジェクト中心コンテキスト情報抽出部は、複数の位置点が格子状に配列された格子テンプレートを生成し、前記格子テンプレートに含まれるすべての位置点を特定オブジェクトの位置およびヘディング方向を中心とする座標系に移動させ、移動させた前記すべての位置点に対応する前記走行環境フィーチャーマップ内の位置からフィーチャーベクトルを抽出してエージェントフィーチャーマップを生成し、前記エージェントフィーチャーマップを第２畳み込みニューラルネットワークに入力して前記オブジェクト環境フィーチャーベクトルを生成することができる。
【0019】
本発明の一実施例において、前記オブジェクト中心コンテキスト情報抽出部は、前記特定オブジェクトの種類に基づき、前記格子テンプレートに含まれる位置点間の横間隔および縦間隔の少なくとも１つを設定することができる。
【0020】
そして、本発明の一実施例による、多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法は、特定時点を基準として自律車周辺の所定の距離範囲にある１つ以上のオブジェクトに対する所定時間の位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成し、前記自律車周辺の道路情報と前記過去移動軌跡とを２Ｄイメージに表示する方式により前記自律車に対する走行環境コンテキスト情報イメージを生成し、前記特定時点以後の前記１つ以上のオブジェクトに対する所定時間の位置情報に基づき、前記１つ以上のオブジェクトに対する正解の将来軌跡を生成する学習データ生成ステップと、前記過去移動軌跡、前記走行環境コンテキスト情報イメージ、および前記正解の将来軌跡をＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に入力してオブジェクトの将来軌跡を生成し、前記オブジェクトの将来軌跡と前記正解の将来軌跡との間の差に基づいて損失関数の値を計算するステップと、前記損失関数の値が小さくなるように前記ＤＮＮを学習させるステップと、を含む。
【0021】
本発明の一実施例において、前記学習データ生成ステップは、前記走行環境コンテキスト情報イメージを反転、回転および色相変更の少なくともいずれか１つの方式またはそれらの組み合わせにより増加させるものであってもよい。
【0022】
本発明の一実施例において、前記損失関数は、ＥＬＢＯ（Ｅｖｉｄｅｎｃｅ Ｌｏｗｅｒ Ｂｏｕｎｄ）損失であってもよい。
【0023】
そして、本発明の一実施例による多種オブジェクト将来軌跡予測方法は、自律車周辺の１つ以上のオブジェクトの所定時間の位置情報を収集し、前記位置情報に基づき、前記１つ以上のオブジェクトに対する過去移動軌跡を生成するステップと、前記自律車周辺の道路情報と前記過去移動軌跡とに基づき、走行環境コンテキスト情報イメージを生成するステップと、前記走行環境コンテキスト情報イメージを第１畳み込みニューラルネットワークに入力して走行環境フィーチャーマップを生成するステップと、前記過去移動軌跡に基づき、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を用いてモーションフィーチャーベクトルを生成するステップと、前記走行環境フィーチャーマップに基づき、第２畳み込みニューラルネットワークを用いてオブジェクト環境フィーチャーベクトルを生成するステップと、前記モーションフィーチャーベクトルおよび前記オブジェクト環境フィーチャーベクトルに基づき、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）とＭＬＰとを用いて前記１つ以上のオブジェクトに対する将来軌跡を生成するステップと、を含む。
【0024】
前記多種オブジェクト将来軌跡予測方法は、前記過去移動軌跡を各オブジェクト中心の座標系に変換するステップをさらに含むことができる。この場合、前記モーションフィーチャーベクトルを生成するステップは、前記オブジェクト中心の座標系に変換された過去移動軌跡に基づき、ＬＳＴＭを用いてモーションフィーチャーベクトルを生成するものである。
【0025】
本発明の一実施例において、前記走行環境コンテキスト情報イメージを生成するステップは、高精細マップから車路中心線を含む前記道路情報を抽出し、２Ｄイメージ上に前記道路情報と前記過去移動軌跡とを表示する方式で前記走行環境コンテキスト情報イメージを生成するものであってもよい。
【0026】
本発明の一実施例において、前記走行環境コンテキスト情報イメージを生成するステップは、高精細マップから車路中心線を含む前記道路情報を抽出し、前記道路情報に基づいて道路イメージを生成し、前記過去移動軌跡に基づいて過去移動軌跡イメージを生成し、前記道路イメージと前記過去移動軌跡イメージとをチャンネル方向に結合して前記走行環境コンテキスト情報イメージを生成するものであってもよい。
【0027】
本発明の一実施例において、前記オブジェクト環境フィーチャーベクトルを生成するステップは、複数の位置点が格子状に配列された格子テンプレートを生成し、前記格子テンプレートに含まれるすべての位置点を特定オブジェクトの位置およびヘディング方向を中心とする座標系に移動させ、移動させた前記すべての位置点に対応する前記走行環境フィーチャーマップ内の位置からフィーチャーベクトルを抽出してエージェントフィーチャーマップを生成し、前記エージェントフィーチャーマップを前記第２畳み込みニューラルネットワークに入力して前記オブジェクト環境フィーチャーベクトルを生成するものであってもよい。
【0028】
本発明の一実施例において、前記オブジェクト環境フィーチャーベクトルを生成するステップは、前記特定オブジェクトの種類に基づき、前記格子テンプレートに含まれる位置点間の横間隔および縦間隔の少なくとも１つを設定するものであってもよい。
【発明の効果】
【0029】
本発明の一実施例によれば、オブジェクトの種類に関係なく多様な種類のオブジェクトに対する将来軌跡を予測することができる。
【0030】
図２は、本発明により同一の走行環境における車両と人間の将来軌跡を予測した例示図である。図２の（ａ）は、車両の将来軌跡予測結果を示し、（ｂ）は、歩行者の将来軌跡予測結果を示す。図２にて、大きな円および小さな円は、それぞれ車両と歩行者の過去軌跡を示す。円に付けられた実線は、各オブジェクトの将来軌跡を示す。図２から明らかなように、本発明によれば、多様な種類のオブジェクトに対する将来軌跡をよく予測することが分かる。
【0031】
本発明から得られる効果は以上に言及した効果に制限されず、言及していないさらに他の効果は以下の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
【図面の簡単な説明】
【0032】
【図1】移動オブジェクトの将来軌跡を予測するディープニューラルネットワークの設計条件に関する図。
【図2】同一の走行環境における車両と人間の将来軌跡を予測した例示図。
【図3】本発明の一実施例による多種オブジェクト将来軌跡予測装置の構成を示すブロック図。
【図4】本発明の一実施例による多種オブジェクト将来軌跡予測装置の詳細構成を示すブロック図。
【図5A】車路中心線および横断歩道に関する２Ｄイメージ。
【図5B】オブジェクトの過去移動軌跡に関する２Ｄイメージ。
【図6】格子テンプレートを用いて走行環境フィーチャーマップから特定オブジェクトのためのエージェントフィーチャーマップを抽出する過程を示す図。
【図7】オブジェクトの種類による格子テンプレートと中心点の例示図。
【図8】本発明によりオブジェクトの将来軌跡を生成するＤＮＮの構造を示す図。
【図9】走行環境コンテキスト情報イメージに任意の角度を加えて新しい走行環境コンテキスト情報イメージを生成するケースを示す図。
【図10】本発明の一実施例による多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法を説明するためのフローチャート。
【図11】本発明の一実施例による多種オブジェクト将来軌跡予測方法を説明するためのフローチャート。
【発明を実施するための形態】
【0033】
本発明の利点および特徴、そしてそれらを達成する方法は添付した図面とともに詳細に後述する実施例を参照すれば明確になる。しかし、本発明は以下に開示される実施例に限定されるものではなく、互いに異なる多様な形態で実現され、単に本実施例は本発明の開示が完全となるようにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によってのみ定義される。一方、本明細書で使用される用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は文言で特に言及しない限り、複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素、段階、動作および／または素子が１つ以上の他の構成要素、段階、動作および／または素子の存在または追加を排除しないものと解釈されるべきである。本明細書において、「移動」には「停止」も含まれる。例えば、オブジェクトが停止している場合にも、時間の流れによるオブジェクトの位置シーケンスであるオブジェクトの「移動軌跡」は存在できる。
【0034】
本発明を説明するにあたり、かかる公知の技術に関する具体的な説明が本発明の要旨を不必要に曖昧にしうると判断される場合、その詳細な説明を省略する。
【0035】
以下、本発明の実施例を、添付した図面を参照して詳細に説明する。本発明を説明するにあたり、全体的な理解を容易にするために、図面番号に関係なく同一の手段に対しては同一の参照番号を付すこととする。
【0036】
図３は、本発明の一実施例による多種オブジェクト将来軌跡予測装置の構成を示すブロック図である。
【0037】
本発明の一実施例による多種オブジェクト将来軌跡予測装置１００は、自律車周辺のオブジェクト、道路、交通状況情報に基づき、予測によりオブジェクトの将来軌跡を生成する装置であって、自律走行システムを支援するか、自律走行システムに含まれる。多種オブジェクト将来軌跡予測装置１００は、共有情報生成モジュール１１０と、将来軌跡予測モジュール１２０と、を含み、学習モジュール１３０をさらに含むことができる。将来軌跡予測モジュール１２０は、オブジェクトの種類に応じて複数のモジュールで構成される。例えば、オブジェクトの種類がＭ個であるとすれば、Ｍ個の将来軌跡予測モジュール１２０－１，１２０－２，・・・，１２０－Ｍが将来軌跡予測モジュール１２０として多種オブジェクト将来軌跡予測装置１００に含まれる。
【0038】
共有情報生成モジュール１１０は、自律車周辺の移動オブジェクトの位置および姿勢情報（オブジェクト情報）に基づき、オブジェクトの過去移動軌跡を生成し、自律車周辺の道路／交通情報（例：車線情報）と前記過去移動軌跡とに基づき、自律車に対する走行環境フィーチャーマップ（ｓｃｅｎｅ ｃｏｎｔｅｘｔ ｆｅａｔｕｒｅ ｍａｐ）を生成する。共有情報生成モジュール１１０は、自律車周辺の移動オブジェクトの位置および姿勢情報（例：ヘディング角）を自律車のオブジェクト検出およびトラッキングモジュール（３Ｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ＆ｔｒａｃｋｉｎｇ ｍｏｄｕｌｅ）から受信して、複数の移動オブジェクトに対する過去移動軌跡を生成することができる。例えば、学習モジュール１３０が多種オブジェクト将来軌跡予測装置１００に含まれる将来軌跡の予測に関する人工ニューラルネットワークを学習させる場合に、共有情報生成モジュール１１０は、自律車のオブジェクト検出およびトラッキングモジュールから移動オブジェクトの位置および姿勢情報（例：５秒）を予め取得して、その一部（例：２秒）に基づいて過去移動軌跡（Ｘｉ）を生成し、残りの一部（例：３秒）に基づいて正解の将来軌跡（Ｙ）を生成して、将来軌跡予測モジュール１２０に伝達することができる。
【0039】
ここで、自律車のオブジェクト検出およびトラッキングモジュールから受信される移動オブジェクトの位置および姿勢情報またはオブジェクト移動軌跡データは、人が手動で補正するか、予め設定されたアルゴリズムによって補正されてもよいことは言うまでもない。
【0040】
そして、共有情報生成モジュール１１０は、自律車の位置を中心に所定の距離以内の範囲の道路／交通情報と前記所定の距離以内にある移動オブジェクトの過去移動軌跡とに基づき、走行環境コンテキスト情報イメージを生成することができる。「走行環境コンテキスト情報」とは、走行中の自律車周辺の道路および交通状況とオブジェクトに関する情報であって、車線、道路標識、交通信号とともに、自律車周辺の移動オブジェクトの種類、移動軌跡などが含まれる。「走行環境コンテキスト情報イメージ」は、前記「走行環境コンテキスト情報」を２Ｄイメージで表現したものをいう。共有情報生成モジュール１１０は、走行環境コンテキスト情報イメージを人工ニューラルネットワークに入力して走行環境フィーチャーマップを生成する。したがって、「走行環境フィーチャーマップ」は、走行環境コンテキスト情報イメージがエンコーディングされた形態のフィーチャーマップといえる。
【0041】
将来軌跡予測モジュール１２０は、オブジェクトの過去移動軌跡と走行環境フィーチャーマップとに基づき、オブジェクトの将来軌跡を生成する。将来軌跡予測モジュール１２０は、オブジェクトの過去移動軌跡をエンコーディングしてモーションフィーチャーベクトル（ｍｏｔｉｏｎ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を生成し、走行環境フィーチャーマップに基づき、オブジェクト環境フィーチャーベクトル（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｓｃｅｎｅ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を生成する。「モーションフィーチャーベクトル（ｍｏｔｉｏｎ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）」は、オブジェクトの過去移動軌跡情報がエンコーディングされたベクトルであり、「オブジェクト環境フィーチャーベクトル」は、オブジェクト周辺の道路および交通状況と他のオブジェクトの種類および移動軌跡に関する情報がエンコーディングされたベクトルである。そして、将来軌跡予測モジュール１２０は、モーションフィーチャーベクトル、オブジェクト環境フィーチャーベクトル、およびランダムノイズベクトルに基づき、オブジェクトの将来軌跡を生成する。
【0042】
学習モジュール１３０は、共有情報生成モジュール１１０および将来軌跡予測モジュール１２０に含まれる人工ニューラルネットワークを学習させる。学習モジュール１３０は、共有情報生成モジュール１１０および将来軌跡予測モジュール１２０を制御して学習を進行させ、必要に応じて学習データを増加させることができる。
【0043】
図４は、本発明の一実施例による多種オブジェクト将来軌跡予測装置の詳細構成を示すブロック図である。
【0044】
共有情報生成モジュール１１０は、自律車周辺の多種オブジェクトが共有する走行環境フィーチャーマップ（ｓｃｅｎｅ ｃｏｎｔｅｘｔ ｆｅａｔｕｒｅ ｍａｐ、Ｆ）を生成する。オブジェクトの将来軌跡は、共有情報Ｆからオブジェクト中心の走行環境フィーチャーマップを抽出して予測される。将来軌跡予測モジュール１２０－Ｋは、オブジェクトの種類Ｃｋのための将来軌跡予測モジュールである。自律走行システムが処理するオブジェクトの種類が計Ｍ個ある場合、計Ｍ個の将来軌跡予測モジュールが存在する。
【0045】
共有情報生成モジュール１１０は、オブジェクト毎位置データ受信部１１１と、走行環境コンテキスト情報生成部１１２と、走行環境フィーチャーマップ生成部１１３と、を含み、高精細マップデータベース１１４をさらに含むことができる。以下、共有情報生成モジュール１１０の各構成要素の機能について詳しく説明する。
【0046】
オブジェクト毎位置データ受信部１１１は、認識過程で検出された自律車周辺の移動オブジェクトの種類、位置および姿勢情報（以下、オブジェクト情報）をリアルタイムに受信し、オブジェクト毎に格納および管理する役割を果たす。現在時刻ｔで得られる移動オブジェクトＡｉの過去Ｔｏｂｓ秒間の移動軌跡はＸｉ＝［ｘｔ－Ｈｏｂｓ，・・・，ｘｔ］で表される。ここで、ｘｔ＝［ｘ，ｙ］は時刻ｔでのオブジェクトＡｉの位置であり、グローバル座標系で表現されることが一般的である。そして、Ｈｏｂｓ＝Ｔｏｂｓ＊Ｓａｍｐｌｉｎｇ Ｒａｔｅ（Ｈｚ）である。もし、現在時刻ｔで計Ｎ個のオブジェクトが検出されたならば、［Ｘ１，・・・，ＸＮ］を得ることができる。オブジェクト毎位置データ受信部１１１は、オブジェクトの移動軌跡情報を走行環境コンテキスト情報生成部１１２と将来軌跡予測モジュール１２０に伝達する。もし、将来軌跡予測モジュール１２０がオブジェクトの種類に応じて複数のモジュール１２０－１，１２０－２，・・・，１２０－Ｍで構成されていれば、オブジェクト毎位置データ受信部１１１は、オブジェクト情報に含まれるオブジェクトの種類と符合する将来軌跡予測モジュールにオブジェクト移動軌跡情報を伝達する。例えば、特定の将来軌跡予測モジュール１２０－Ｋがオブジェクトの種類のうち「歩行者」に相当するモジュールの場合、オブジェクト毎位置データ受信部１１１は、オブジェクトの種類が「歩行者」であるオブジェクト移動軌跡情報を前記将来軌跡予測モジュール１２０－Ｋに伝達する。
【0047】
走行環境コンテキスト情報生成部１１２は、現在時刻ｔで自律車の位置を中心に所定距離（例：Ｒメートル）以内のすべての車線情報およびオブジェクトの過去移動軌跡［Ｘ１，・・・，ＸＮ］をＨ＊Ｗの大きさの２Ｄイメージ上に描いて走行環境コンテキスト情報イメージ（Ｉ）を生成する。
【0048】
図５Ａは、車路中心線および横断歩道に関する２Ｄイメージの例示である。走行環境コンテキスト情報生成部１１２は、前記のようなイメージを得るために、まず、自律車の時刻ｔの時の位置を中心に所定の距離以内のすべての車路中心線セグメントを高精細マップから取得する。Ｌｍ＝［ｌ１，・・・，ｌＭ］をｍ番目の車路中心線セグメントとする。ここで、ｌｋ＝［ｘ，ｙ］は車路中心線セグメントを構成する位置点座標である。走行環境コンテキスト情報生成部１１２は、Ｌｍをイメージに描くために、まず、セグメント内のすべての位置点座標を自律車の時刻ｔでの位置およびヘディング（ｈｅａｄｉｎｇ）を中心とする座標系に変換する。以後、走行環境コンテキスト情報生成部１１２は、Ｌｍ内の位置座標を結ぶ直線をイメージ上に描く。この時、走行環境コンテキスト情報生成部１１２は、連続した２つの位置座標を結ぶ直線の方向に応じて直線の色を異ならせる。例えば、ｌｋ＋１とｌｋとを結ぶ直線の色は次のように決定される。
【0049】
１）２つの座標を結ぶベクトルｖｋ＋１＝ｌｋ＋１－ｌｋ＝［ｖｘ，ｖｙ］を計算した後、ベクトルの方向ｄ＝ｔａｎ－１（ｖｙ，ｖｘ）を計算する。
【0050】
２）ｈｕｅをベクトルの方向（ｄｅｇｒｅｅ）を３６０で割った値で決定し、ｓａｔｕｒａｔｉｏｎとｖａｌｕｅを１に指定した後、（ｈｕｅ，ｓａｔｕｒａｔｉｏｎ，ｖａｌｕｅ）値を（Ｒ，Ｇ，Ｂ）値に変換する。
【0051】
走行環境コンテキスト情報生成部１１２は、変換された（Ｒ，Ｇ，Ｂ）値をｌｋ＋１とｌｋとを結ぶ直線の色で決定してイメージ上に描く。図５Ａにおいて、実線は赤色線を示し、点線は緑色線を示し、一点鎖線は青色線を示し、２点鎖線は黄色線を示す（図２、図６及び図９においても同様である）。
【0052】
次に、走行環境コンテキスト情報生成部１１２は、横断歩道セグメントを同一のイメージあるいは異なるイメージ上に描く。例えば、走行環境コンテキスト情報生成部１１２は、横断歩道セグメントを車路中心線イメージに描いてもよいが、別の横断歩道イメージを生成した後、横断歩道セグメントを横断歩道イメージに描いてもよい。横断歩道の場合、特定明るさの灰色（ｇｒａｙ）の値で描く。参照として、走行環境コンテキスト情報生成部１１２が横断歩道セグメントを横断歩道イメージ上に描く場合、走行環境コンテキスト情報生成部１１２は、車路中心線イメージのチャンネル方向に横断歩道イメージを結合してイメージセット（ｉｍａｇｅ ｓｅｔ）を構成する。
【0053】
走行環境コンテキスト情報生成部１１２は、車路中心線、横断歩道以外の他の高精細マップの構成要素を描くことができ、上述した方式のように方向に応じて色を異ならせて決定するか、特定明るさの灰色（ｇｒａｙ）の値で描くことができる。走行環境コンテキスト情報生成部１１２が既存のイメージではない、別のイメージ上に高精細マップの構成要素を描く場合、高精細マップの構成要素が描かれた前記別のイメージを車路中心線イメージのチャンネル方向に結合してイメージセットを構成する。走行環境コンテキスト情報生成部１１２は、高精細マップの構成要素を外部から受信して活用してもよく、高精細マップデータベース１１４から抽出して活用してもよい。前記高精細マップの構成要素に車路中心線セグメントと横断歩道セグメントが含まれることは言うまでもない。
【0054】
次に、走行環境コンテキスト情報生成部１１２は、移動オブジェクトの過去移動軌跡をイメージ上に描く。図５Ｂは、オブジェクトの過去移動軌跡に関する２Ｄイメージの例示である。走行環境コンテキスト情報生成部１１２は、移動オブジェクトＡｉの過去移動軌跡Ｘｉをイメージ上に描くために次の過程を経る。まず、Ｘｉ内のすべての位置座標を自律車の時刻ｔでの位置およびヘディング（ｈｅａｄｉｎｇ）を中心とする座標系に変換する。次に、Ｘｉ内の各位置をイメージ上に円のような特定図形の形状で描く。この時、現在時刻ｔに近い時刻での位置は明るく、遠い時刻の位置は暗く描く。また、オブジェクトの種類に応じて図形の形状を異ならせるか、あるいは図形の大きさを異ならせる。生成されたイメージは、車路中心線イメージのチャンネル方向につなげてつける。
【0055】
走行環境コンテキスト情報生成部１１２で生成された走行環境コンテキスト情報イメージ（Ｉ）の大きさはＨ＊Ｗ＊Ｃで表すことができる。ここで、Ｃは走行環境コンテキスト情報生成部１１２で生成されたイメージのチャンネルの数と同じである。
【0056】
走行環境フィーチャーマップ生成部１１３は、走行環境コンテキスト情報イメージ（Ｉ）をＣＮＮ（畳み込みニューラルネットワーク、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して走行環境フィーチャーマップ（ｓｃｅｎｅ ｃｏｎｔｅｘｔ ｆｅａｔｕｒｅ ｍａｐ、Ｆ）を生成する。走行環境フィーチャーマップ生成部１１３で用いられるＣＮＮは、走行環境フィーチャーマップ生成のために特化されたレイヤを含むことができる。また、ＲｅｓＮｅｔのような従来広く用いられるニューラルネットワークがそのままＣＮＮとして用いられてもよいし、従来知られたニューラルネットワークを一部修正してＣＮＮを構成してもよい。
【0057】
将来軌跡予測モジュール１２０は、座標系変換部１２１と、オブジェクト過去軌跡情報抽出部１２２と、オブジェクト中心コンテキスト情報抽出部１２３と、将来軌跡生成部１２４と、を含む。
【0058】
もし、自律走行システムが処理するオブジェクトの種類がＭ個である場合、同一の構造を有する将来軌跡予測モジュール１２０は、計Ｍ個が存在する。もし、移動オブジェクトＡｉの種類がＣｋである場合、前記移動オブジェクトＡｉに対する将来軌跡は、将来軌跡予測モジュール１２０－Ｋによって生成される。将来軌跡予測モジュール１２０が複数ある場合（１２０－１，・・・，１２０－Ｍ）、将来軌跡予測モジュール１２０－１は、座標系変換部１２１－１と、オブジェクト過去軌跡情報抽出部１２２－１と、オブジェクト中心コンテキスト情報抽出部１２３－１と、将来軌跡生成部１２４－１と、を含んで構成され、将来軌跡予測モジュール１２０－Ｍは、座標系変換部１２１－Ｍと、オブジェクト過去軌跡情報抽出部１２２－Ｍと、オブジェクト中心コンテキスト情報抽出部１２３－Ｍと、将来軌跡生成部１２４－Ｍと、を含んで構成される。各将来軌跡予測モジュールは、処理するオブジェクトの種類のみ異なるだけで、基本的な機能は同一である。以下、将来軌跡予測モジュール１２０の各構成要素の機能について詳しく説明する。
【0059】
座標系変換部１２１は、共有情報生成モジュール１１０から受信したオブジェクトの過去軌跡情報をオブジェクト中心の座標系に変換し、オブジェクト中心の座標系によるオブジェクト移動軌跡情報をオブジェクト過去軌跡情報抽出部１２２およびオブジェクト中心コンテキスト情報抽出部１２３に伝達する。座標系変換部１２１は、オブジェクトの過去軌跡に含まれているオブジェクトの過去位置情報をすべて現在時刻ｔでの移動オブジェクトの位置およびヘディング（ｈｅａｄｉｎｇ）を中心とする座標系に変換する。
【0060】
オブジェクト過去軌跡情報抽出部１２２は、オブジェクトＡｉの過去移動軌跡をＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）ネットワークを用いてエンコーディングしてモーションフィーチャーベクトル（ｍｉ）を生成する。オブジェクト過去軌跡情報抽出部１２２は、ＬＳＴＭから最も最近出力された隠れ状態ベクトル（ｈｉｄｄｅｎ ｓｔａｔｅ ｖｅｃｔｏｒ）をオブジェクトＡｉのモーションフィーチャーベクトルｍｉとして用いる。前記隠れ状態ベクトルは、現在までのオブジェクトＡｉの過去移動軌跡情報が反映されたベクトルといえる。
【0061】
オブジェクト中心コンテキスト情報抽出部１２３は、走行環境フィーチャーマップ（Ｆ）から特定オブジェクトに対するフィーチャーマップであるエージェントフィーチャーマップ（ａｇｅｎｔ ｆｅａｔｕｒｅ ｍａｐ、Ｆｉ）を抽出する。このために、オブジェクト中心コンテキスト情報抽出部１２３は、次のタスクを行う。
【0062】
１）オブジェクト中心コンテキスト情報抽出部１２３は、（０，０）位置を中心にｘ、ｙ方向にＧメートルずつ一定の距離をおく格子テンプレートＲ＝［ｒ０，．．．，ｒＫ］を生成する。ここで、ｒｋ＝［ｒｘ，ｒｙ］は格子テンプレート内の１つの位置点を意味する。図６の（ａ）は、格子テンプレートの例を示す。ここで、黒い円は中心位置点ｒ０＝［０，０］を示し、斜線で覆われた円は互いにＧメートルの間隔だけ離れている残りの位置点である。
【0063】
２）オブジェクトＡｉの現在時刻ｔでの位置および姿勢を中心とする座標系に格子テンプレート内のすべての位置を移動させる。図６の（ｂ）は、その例を示している。
【0064】
３）変換された格子テンプレート内の各位置点に対応する走行環境フィーチャーマップ（Ｆ）内の位置からフィーチャーベクトルを抽出して当該オブジェクトに対するエージェントフィーチャーマップ（Ｆｉ）を生成する。図６の（ｃ）は、この過程を示している。
【0065】
オブジェクト中心コンテキスト情報抽出部１２３は、エージェントフィーチャーマップ（Ｆｉ）をＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）に入力してオブジェクト中心コンテキスト情報抽出部１２３の最終的な産出物であるオブジェクト環境フィーチャーベクトル（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｓｃｅｎｅ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ、ｓｉ）を生成する。
【0066】
オブジェクト中心コンテキスト情報抽出部１２３は、オブジェクトの種類に応じて格子テンプレート内の位置点間の距離を異ならせることができ、その結果、格子テンプレートの横／縦の長さが互いに異なる。例えば、車両の場合、前方の領域が後方の領域よりも重要なため、横より縦の長さをさらに長くし、中心位置点を格子テンプレートの下端領域に位置させることができる。図７は、その例を示している。
【0067】
将来軌跡生成部１２４は、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）、およびランダムノイズベクトル（ｚ）に基づき、オブジェクト（Ａｉ）の将来軌跡情報を生成する。将来軌跡生成部１２４は、まず、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）、およびランダムノイズベクトル（ｚ）をフィーチャー次元（ｆｅａｔｕｒｅ ｄｉｍｅｎｓｉｏｎ）方向に結合したベクトル（ｆｉ）をＭＬＰ（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）に入力してオブジェクト（Ａｉ）の将来軌跡情報（
）を生成する。将来軌跡（
）は［ｙｔ＋１，・・・，ｙｔ＋Ｈｐｒｅｄ］で表現することができる。ここで、ｙｔ＋１は時刻（ｔ＋１）でのオブジェクトの位置であり、Ｈｐｒｅｄ＝Ｔｐｒｅｄ＊Ｓａｍｐｌｉｎｇ Ｒａｔｅ（Ｈｚ）である。Ｔｐｒｅｄは将来軌跡の時間的範囲を意味する。将来軌跡生成部１２４は、ランダムノイズベクトル（ｚ）を追加的に生成して上述した過程を繰り返すことにより、オブジェクト（Ａｉ）の将来軌跡をさらに生成することができる。
【数1】
【数2】
【0068】
将来軌跡生成部１２４は、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）手法を用いてランダムノイズベクトル（ｚ）を生成する。具体的には、将来軌跡生成部１２４は、エンコーダ（ｅｎｃｏｄｅｒ）およびプライア（ｐｒｉｏｒ）で定義されるニューラルネットワーク（ＮＮ）を用いてランダムノイズベクトル（ｚ）を生成する。将来軌跡生成部１２４は、学習時には、エンコーダ（ｅｎｃｏｄｅｒ）によって生成された平均（ｍｅａｎ）ベクトルと分散（ｖａｒｉａｎｃｅ）ベクトルに基づいてランダムノイズベクトル（ｚ）を生成し、テスト時には、プライア（ｐｒｉｏｒ）によって生成された平均ベクトルと分散ベクトルに基づいてランダムノイズベクトル（ｚ）を生成する。エンコーダ（ｅｎｃｏｄｅｒ）とプライア（ｐｒｉｏｒ）は、ＭＬＰ（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）で構成される。
【0069】
正解の将来軌跡（Ｙ）をＬＳＴＭネットワークでエンコーディングした結果をｍｉ
Ｙとした時、エンコーダ（ｅｎｃｏｄｅｒ）は、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）、エンコーディングされた正解の将来軌跡（ｍｉ
Ｙ）をつなげてつけた入力から平均（ｍｅａｎ）ベクトルと分散（ｖａｒｉａｎｃｅ）ベクトルを出力する。また、プライア（ｐｒｉｏｒ）は、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）をつなげてつけた入力から平均（ｍｅａｎ）ベクトルと分散（ｖａｒｉａｎｃｅ）ベクトルを出力する。
【0070】
学習モジュール１３０は、共有情報生成モジュール１１０および将来軌跡予測モジュール１２０に含まれる人工ニューラルネットワークを学習させる。図８に示されるように、共有情報生成モジュール１１０は、走行環境コンテキスト情報イメージ（Ｉ）に基づき、ＣＮＮを用いて走行環境フィーチャーマップ（Ｆ）を生成し、将来軌跡予測モジュール１２０は、オブジェクト中心の座標系に変換されたオブジェクトの過去移動軌跡（Ｘｉ）および走行環境フィーチャーマップ（Ｆ）に基づき、ＬＳＴＭ、ＣＮＮ、ＶＡＥ（ＭＬＰ）、ＭＬＰを用いてオブジェクトの将来軌跡（
）を生成する。ここで、走行環境フィーチャーマップ生成部１１３のＣＮＮ、オブジェクト過去軌跡情報抽出部１２２のＬＳＴＭ、オブジェクト中心コンテキスト情報抽出部１２３のＣＮＮ、将来軌跡生成部１２４のＬＳＴＭ、ＶＡＥ、ＭＬＰは、図８のように互いに連結されて１つのＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を形成する。学習モジュール１３０は、定義された損失関数を最小化する方向にＤＮＮにある各ニューラルネットワークのパラメータ（例：重み付け）を調整する方法により多種オブジェクト予測のためのＤＮＮを学習させる。学習モジュール１３０が前記ＤＮＮを学習させるための損失関数としてＥＬＢＯ ｌｏｓｓ（Ｅｖｉｄｅｎｃｅ Ｌｏｗｅｒ Ｂｏｕｎｄ ｌｏｓｓ）が用いられる。この場合、学習モジュール１３０は、損失関数であるＥＬＢＯ ｌｏｓｓを最小化する方向にＤＮＮを学習させる。式（１）はＥＬＢＯ ｌｏｓｓを示す。
【数3】
【数4】
【0071】
式（１）中、βは任意の定数であり、ＫＬ（｜｜）はＫＬダイバージェンス（ＫＬ ｄｉｖｅｒｇｅｎｃｅ）を示す。ＱとＰはそれぞれエンコーダ（ｅｎｃｏｄｅｒ）とプライア（ｐｒｉｏｒ）の出力（平均ベクトル、分散ベクトル）で定義されるガウス分布である。
【0072】
学習モジュール１３０は、ＤＮＮの学習性能を改善するために学習データを増加させることができる。例えば、学習モジュール１３０は、走行環境フィーチャーマップ生成部１１３のＣＮＮに入力される走行環境コンテキスト情報イメージ（Ｉ）を下記のように増加させてＤＮＮの学習効果を高めることができる。このために、学習モジュール１３０は、走行環境コンテキスト情報生成部１１２を制御することができる。
【0073】
（１）走行環境コンテキスト情報イメージ（Ｉ）の左右反転：学習時に用いられるイメージＩを左右反転させる。これと同時に、オブジェクトの過去移動位置点のｙ方向（自律車の進行方向の９０度回転した方向）の成分の値の符号を変える。その結果、学習データが２倍増加する効果を得ることができる。
【0074】
（２）走行環境コンテキスト情報イメージ（Ｉ）の生成時、車路中心線セグメント内の連続した２つの位置座標を結ぶ直線の方向（ｄｅｇｒｅｅ）に任意の角度ΔＤ（ｄｅｇｒｅｅ）を加える：前述のように、２つの位置座標を結ぶ直線の方向に応じて色を決定する方式は以下の通りである。
【0075】
１）２つの座標を結ぶベクトルｖｋ＋１＝ｌｋ＋１－ｌｋ＝［ｖｘ，ｖｙ］を計算した後、ベクトルの方向ｄ＝ｔａｎ－１（ｖｙ，ｖｘ）を計算する。
【0076】
２）ｈｕｅをベクトルの方向（ｄｅｇｒｅｅ）を３６０で割った値で決定し、ｓａｔｕｒａｔｉｏｎとｖａｌｕｅを１に指定した後、（ｈｕｅ，ｓａｔｕｒａｔｉｏｎ，ｖａｌｕｅ）値を（Ｒ，Ｇ，Ｂ）値に変換する。
【0077】
前記過程１）において、ｄに任意の角度ΔＤを加えた後、３６０で割った値を新しいｄ’に決定することができる。これをまとめると式（２）の通りである。
【数5】
【0078】
参照として、走行環境コンテキスト情報生成部１１２が１つの走行環境コンテキスト情報イメージ（Ｉ）を生成する時、ΔＤはすべての車路中心線セグメントに適用可能である。次のイメージ（Ｉ）を生成する時、ΔＤは学習モジュール１３０によってランダムな新しい値に変更可能である。図９は、走行環境コンテキスト情報イメージに任意の角度を加えて新しい走行環境コンテキスト情報イメージを生成するケースを示す図である。（ａ）は、ΔＤ＝０の場合の走行環境コンテキスト情報イメージ（Ｉ）を示し、（ｂ）は、ΔＤ＝９０の場合の走行環境コンテキスト情報イメージ（Ｉ）を示す。ｈｕｅ値の差によって車路中心線などの色相が変化したことが分かる。
【0079】
学習モジュール１３０は、上述した（１）、（２）の方法により学習データを増加させることができ、ＤＮＮは、互いに異なる方向の車線をより容易に認知するように学習可能である。例えば、任意の角度ΔＤ（ｄｅｇｒｅｅ）を加えて学習に用いられる走行環境コンテキスト情報イメージ（Ｉ）を増加させることにより、ＤＮＮは、特定の色相値そのものよりは、色相値間の差に基づいて将来軌跡を生成することができる。
【0080】
図１０は、本発明の一実施例による多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法を説明するためのフローチャートである。
【0081】
本発明の一実施例による多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法は、Ｓ２１０ステップと、Ｓ２２０ステップと、Ｓ２３０ステップと、を含む。
【0082】
前記人工ニューラルネットワークは、前述のように、オブジェクトの過去移動軌跡（Ｘｉ）と走行環境コンテキスト情報イメージ（Ｉ）とを受信して、オブジェクト（Ａｉ）の将来軌跡情報（
）を生成するＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。前記ＤＮＮは、図８のように構成することができる。前記人工ニューラルネットワークは、学習時にオブジェクト（Ａｉ）の正解の将来軌跡（Ｙ）をさらに受信する。
【数6】
【0083】
Ｓ２１０ステップは、学習データ生成ステップである。多種オブジェクト将来軌跡予測装置１００は、認識過程で検出された自律車周辺の移動オブジェクトの種類、位置および姿勢情報（オブジェクト情報）に基づき、オブジェクトの過去移動軌跡情報（Ｘｉ）を生成する。多種オブジェクト将来軌跡予測装置１００は、基準時点ｔ前の所定時間範囲の間のオブジェクト情報を収集し、オブジェクト毎に前記オブジェクト情報に含まれるオブジェクトの位置情報を時間の順序によって組み合わせてオブジェクト毎の過去移動軌跡情報を生成することができる。多種オブジェクト将来軌跡予測装置１００は、ＤＮＮ入力のために前記過去移動軌跡情報をオブジェクト中心の座標系に沿うように変換することができる。この時、自律車周辺のオブジェクトは、複数個であってもよい。また、多種オブジェクト将来軌跡予測装置１００は、基準時点ｔで自律車の位置を中心に所定距離（例：Ｒメートル）以内のすべての車線情報およびオブジェクトの過去移動軌跡［Ｘ１，・・・，ＸＮ］をＨ＊Ｗの大きさの２Ｄイメージ上に描いて走行環境コンテキスト情報イメージ（Ｉ）を生成する。本実施例による学習過程において、基準時点ｔは、過去の特定の時点である。多種オブジェクト将来軌跡予測装置１００は、前述した左右反転やΔＤ合算のような方法により学習に用いられる走行環境コンテキスト情報イメージ（Ｉ）を増加させることができる。さらに、多種オブジェクト将来軌跡予測装置１００は、基準時点ｔ以後のオブジェクトの軌跡（正解の将来軌跡、Ｙ）を受信して学習データとして活用することができる。あるいは、多種オブジェクト将来軌跡予測装置１００は、基準時点ｔ以後のオブジェクトの所定時間の位置情報を時間の順序によって組み合わせて前記オブジェクトの軌跡（正解の将来軌跡、Ｙ）を生成することができる。ＤＮＮ学習のためのデータ、すなわち学習データは、オブジェクトの過去移動軌跡情報（Ｘｉ）、走行環境コンテキスト情報イメージ（Ｉ）、および正解の将来軌跡（Ｙ）を含んで構成される。Ｓ２１０ステップに関する詳しい事項は、共有情報生成モジュール１１０、将来軌跡予測モジュール１２０、および学習モジュール１３０について前述した内容を参照することができる。
【0084】
Ｓ２２０ステップは、ＤＮＮに学習データを入力して将来軌跡情報を生成し、損失関数値を計算するステップである。多種オブジェクト将来軌跡予測装置１００は、学習データ（オブジェクトの過去移動軌跡情報（Ｘｉ）、走行環境コンテキスト情報イメージ（Ｉ）、および正解の将来軌跡（Ｙ））をＤＮＮに入力してオブジェクトの将来軌跡（
）を生成し、正解の将来軌跡（Ｙ）とオブジェクトの将来軌跡（
）との間の差に基づいて損失関数値を計算する。ここで、損失関数は、ＥＬＢＯ ｌｏｓｓ（Ｅｖｉｄｅｎｃｅ Ｌｏｗｅｒ Ｂｏｕｎｄ ｌｏｓｓ）であってもよい。ＥＬＢＯ ｌｏｓｓの例は式（１）の通りである。Ｓ２２０ステップに関する詳しい事項は、学習モジュール１３０について前述した内容を参照することができる。
【数7】
【数8】
【0085】
Ｓ２３０ステップは、ＤＮＮアップデートステップである。多種オブジェクト将来軌跡予測装置１００は、損失関数値を最小化する方向にＤＮＮにある各ニューラルネットワークのパラメータ（例：重み付け）を調整する方法により多種オブジェクト予測のためのＤＮＮを学習させる。Ｓ２３０ステップに関する詳しい事項は、学習モジュール１３０について前述した内容を参照することができる。
【0086】
本実施例による学習方法において、Ｓ２１０ステップ～Ｓ２３０ステップは繰り返されてもよいし、Ｓ２２０ステップおよびＳ２３０ステップだけが繰り返されてもよい。また、Ｓ２２０ステップを進行させた結果、損失関数値が所定範囲以内にある場合、Ｓ２３０ステップへ進まず、学習が終了できる。
【0087】
図１１は、本発明の一実施例による多種オブジェクト将来軌跡予測方法を説明するためのフローチャートである。
【0088】
本発明の一実施例による多種オブジェクト将来軌跡予測方法は、Ｓ３１０ステップ～Ｓ３７０ステップを含む。
【0089】
Ｓ３１０ステップは、オブジェクトの過去軌跡を生成するステップである。多種オブジェクト将来軌跡予測装置１００は、認識過程で検出された自律車周辺の移動オブジェクトの種類、位置および姿勢情報（オブジェクト情報）をリアルタイムに受信し、オブジェクト毎に格納および管理する。多種オブジェクト将来軌跡予測装置１００は、オブジェクトの位置情報に基づき、オブジェクトの過去軌跡を生成する。現在時刻ｔで得られる移動オブジェクトＡｉの過去Ｔｏｂｓ秒間の移動軌跡はＸｉ＝［ｘｔ－Ｈｏｂｓ，・・・，ｘｔ］で表される。ここで、ｘｔ＝［ｘ，ｙ］は時刻ｔでのオブジェクトＡｉの位置であり、グローバル座標系で表現されることが一般的である。そして、Ｈｏｂｓ＝Ｔｏｂｓ＊Ｓａｍｐｌｉｎｇ Ｒａｔｅ（Ｈｚ）である。多種オブジェクト将来軌跡予測装置１００は、現在時刻ｔで計Ｎ個のオブジェクトが検出された場合、Ｎ個のオブジェクトに対する過去移動軌跡［Ｘ１，…，ＸＮ］を得ることができる。
【0090】
Ｓ３２０ステップは、走行環境コンテキスト情報イメージ生成ステップである。多種オブジェクト将来軌跡予測装置１００は、現在時刻ｔで自律車の位置を中心に所定距離（例：Ｒメートル）以内のすべての車線情報およびオブジェクトの過去移動軌跡［Ｘ１，…，ＸＮ］をＨ＊Ｗの大きさの２Ｄイメージ上に描いて走行環境コンテキスト情報イメージ（Ｉ）を生成する。Ｓ３２０ステップに関する詳しい内容は、走行環境コンテキスト情報生成部１１２を参照する。
【0091】
Ｓ３３０ステップは、走行環境フィーチャーマップ生成ステップである。多種オブジェクト将来軌跡予測装置１００は、走行環境コンテキスト情報イメージ（Ｉ）をＣＮＮ（畳み込みニューラルネットワーク、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して走行環境フィーチャーマップ（ｓｃｅｎｅ ｃｏｎｔｅｘｔ ｆｅａｔｕｒｅ ｍａｐ、Ｆ）を生成する。Ｓ３３０ステップで用いられるＣＮＮは、走行環境フィーチャーマップ生成のために特化されたレイヤを含むことができる。また、ＲｅｓＮｅｔのような従来広く用いられるニューラルネットワークがそのままＣＮＮとして用いられてもよいし、従来知られたニューラルネットワークを一部修正してＣＮＮを構成してもよい。
【0092】
Ｓ３４０ステップは、オブジェクトの過去移動軌跡をオブジェクト中心の座標系に変換するステップである。多種オブジェクト将来軌跡予測装置１００は、オブジェクトの過去移動軌跡（オブジェクトの過去軌跡情報）をオブジェクト中心の座標系に変換する。具体的には、多種オブジェクト将来軌跡予測装置１００は、オブジェクトの過去軌跡に含まれているオブジェクトの過去位置情報をすべて現在時刻ｔでの移動オブジェクトの位置およびヘディング（ｈｅａｄｉｎｇ）を中心とする座標系に変換する。
【0093】
Ｓ３５０ステップは、モーションフィーチャーベクトルを生成するステップである。前述の通り、「モーションフィーチャーベクトル（ｍｏｔｉｏｎ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）」は、オブジェクトの過去移動軌跡情報がエンコーディングされたベクトルである。多種オブジェクト将来軌跡予測装置１００は、オブジェクトＡｉの過去移動軌跡をＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）ネットワークを用いてエンコーディングしてモーションフィーチャーベクトル（ｍｉ）を生成する。多種オブジェクト将来軌跡予測装置１００は、ＬＳＴＭから最も最近出力された隠れ状態ベクトル（ｈｉｄｄｅｎ ｓｔａｔｅ ｖｅｃｔｏｒ）をオブジェクトＡｉのモーションフィーチャーベクトルｍｉとして用いる。
【0094】
Ｓ３６０ステップは、オブジェクト環境フィーチャーベクトルを生成するステップである。前述の通り、「オブジェクト環境フィーチャーベクトル」は、オブジェクト周辺の道路および交通状況と他のオブジェクトの種類および移動軌跡に関する情報がエンコーディングされたベクトルである。多種オブジェクト将来軌跡予測装置１００は、走行環境フィーチャーマップ（Ｆ）から特定オブジェクトに対するフィーチャーマップであるエージェントフィーチャーマップ（ａｇｅｎｔ ｆｅａｔｕｒｅ ｍａｐ、Ｆｉ）を抽出する。このために、多種オブジェクト将来軌跡予測装置１００は、次のタスクを行う。
【0095】
１）（０，０）位置を中心にｘ、ｙ方向にＧメートルずつ一定の距離をおく格子テンプレートＲ＝［ｒ０，．．．，ｒＫ］を生成する。ここで、ｒｋ＝［ｒｘ，ｒｙ］は格子テンプレート内の１つの位置点を意味する。図６の（ａ）は、格子テンプレートの例を示す。ここで、黒い円は中心位置点ｒ０＝［０，０］を示し、斜線で覆われた円は互いにＧメートルの間隔だけ離れている残りの位置点である。
【0096】
２）オブジェクトＡｉの現在時刻ｔでの位置および姿勢を中心とする座標系に格子テンプレート内のすべての位置を移動させる。図６の（ｂ）は、その例を示している。
【0097】
３）変換された格子テンプレート内の各位置点に対応する走行環境フィーチャーマップ（Ｆ）内の位置からフィーチャーベクトルを抽出して当該オブジェクトに対するエージェントフィーチャーマップ（Ｆｉ）を生成する。図６の（ｃ）は、この過程を示している。
【0098】
多種オブジェクト将来軌跡予測装置１００は、エージェントフィーチャーマップ（Ｆｉ）をＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）に入力してオブジェクト環境フィーチャーベクトル（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｓｃｅｎｅ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ、ｓｉ）を生成する。
【0099】
多種オブジェクト将来軌跡予測装置１００は、オブジェクトの種類に応じて格子テンプレート内の位置点間の距離を異ならせることができ、その結果、格子テンプレートの横／縦の長さが互いに異なる。例えば、車両の場合、前方の領域が後方の領域よりも重要なため、横より縦の長さをさらに長くし、中心位置点を格子テンプレートの下端領域に位置させることができる。
【0100】
Ｓ３７０ステップは、オブジェクトの将来軌跡生成ステップである。多種オブジェクト将来軌跡予測装置１００は、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）、およびランダムノイズベクトル（ｚ）に基づき、オブジェクト（Ａｉ）の将来軌跡情報を生成する。多種オブジェクト将来軌跡予測装置１００は、まず、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）、およびランダムノイズベクトル（ｚ）をフィーチャー次元（ｆｅａｔｕｒｅ ｄｉｍｅｎｓｉｏｎ）方向に結合したベクトル（ｆｉ）をＭＬＰ（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）に入力してオブジェクト（Ａｉ）の将来軌跡情報（
）を生成する。将来軌跡（
）は［ｙｔ＋１，・・・，ｙｔ＋Ｈｐｒｅｄ］で表現することができる。ここで、ｙｔ＋１は時刻（ｔ＋１）でのオブジェクトの位置であり、Ｈｐｒｅｄ＝Ｔｐｒｅｄ＊Ｓａｍｐｌｉｎｇ Ｒａｔｅ（Ｈｚ）である。Ｔｐｒｅｄは将来軌跡の時間的範囲を意味する。多種オブジェクト将来軌跡予測装置１００は、ランダムノイズベクトル（ｚ）を追加的に生成して上述した過程を繰り返すことにより、オブジェクト（Ａｉ）の将来軌跡をさらに生成することができる。
【数9】
【数10】
【0101】
多種オブジェクト将来軌跡予測装置１００は、ＶＡＥ（ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）手法を用いてランダムノイズベクトル（ｚ）を生成する。具体的には、多種オブジェクト将来軌跡予測装置１００は、エンコーダ（ｅｎｃｏｄｅｒ）およびプライア（ｐｒｉｏｒ）で定義されるニューラルネットワーク（ＮＮ）を用いてランダムノイズベクトル（ｚ）を生成する。多種オブジェクト将来軌跡予測装置１００は、学習時には、エンコーダ（ｅｎｃｏｄｅｒ）によって生成された平均（ｍｅａｎ）ベクトルと分散（ｖａｒｉａｎｃｅ）ベクトルに基づいてランダムノイズベクトル（ｚ）を生成し、テスト時には、プライア（ｐｒｉｏｒ）によって生成された平均ベクトルと分散ベクトルに基づいてランダムノイズベクトル（ｚ）を生成する。エンコーダ（ｅｎｃｏｄｅｒ）とプライア（ｐｒｉｏｒ）は、ＭＬＰ（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）で構成される。
【0102】
学習のための情報である正解の将来軌跡（Ｙ）をＬＳＴＭネットワークでエンコーディングした結果をｍｉ
Ｙとした時、エンコーダ（ｅｎｃｏｄｅｒ）は、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）、エンコーディングされた正解の将来軌跡（ｍｉ
Ｙ）をつなげてつけた入力から平均（ｍｅａｎ）ベクトルと分散（ｖａｒｉａｎｃｅ）ベクトルを出力する。また、プライア（ｐｒｉｏｒ）は、モーションフィーチャーベクトル（ｍｉ）、オブジェクト環境フィーチャーベクトル（ｓｉ）をつなげてつけた入力から平均（ｍｅａｎ）ベクトルと分散（ｖａｒｉａｎｃｅ）ベクトルを出力する。
【0103】
前述した多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法と多種オブジェクト将来軌跡予測方法は、図面に提示されたフローチャートを参照して説明された。簡単に説明するために、前記方法は一連のブロックで図示および説明されたが、本発明は前記ブロックの順序に限定されず、いくつかのブロックは他のブロックと本明細書において図示および記述されたものと異なる順序でまたは同時に起こってもよいし、同一または類似の結果を達成する多様な他の分岐、流れ経路、およびブロックの順序が実現可能である。また、本明細書で記述される方法の実現のために示されたすべてのブロックが要求されなくてもよい。
【0104】
前述した多種オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法と多種オブジェクト将来軌跡予測方法とは連動可能である。すなわち、前記学習方法により本発明による多種オブジェクトの将来軌跡を予測するＤＮＮを学習させた後、前記予測方法が実行できる。
【0105】
一方、図１０～図１１を参照した説明において、各ステップは、本発明の実施形態により、追加的なステップにさらに分割されるか、より少ないステップで組み合わされてもよい。また、一部のステップは、必要に応じて省略されてもよく、ステップ間の順序が変更されてもよい。これとともに、その他省略された内容であっても、図１～図９の内容は、図１０～図１１の内容に適用可能である。また、図１０～図１１の内容は、図１～図９の内容に適用可能である。
【0106】
参照として、本発明の実施例による構成要素は、ソフトウェアまたはＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のようなハードウェア形態で実現可能であり、所定の役割を果たすことができる。
【0107】
ところが、「構成要素」は、ソフトウェアまたはハードウェアに限定される意味ではなく、各構成要素は、アドレッシング可能な記憶媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサを再生させるように構成されてもよい。
【0108】
したがって、一例として、構成要素は、ソフトウェアの構成要素、オブジェクト指向ソフトウェアの構成要素、クラスの構成要素およびタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。
【0109】
構成要素と当該構成要素内で提供される機能は、より小さい数の構成要素で結合されるか、追加的な構成要素にさらに分離されてもよい。
【0110】
この時、フローチャート図面の各ブロックとフローチャート図面の組み合わせは、コンピュータプログラム命令によって実行できることを理解するであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用コンピュータまたはその他プログラム可能なデータ処理装置のプロセッサに搭載可能なため、コンピュータまたはその他プログラム可能なデータ処理装置のプロセッサを介して実行されるその命令がフローチャートのブロックで説明された機能を行う手段を生成する。これらのコンピュータプログラム命令は、特定の方式で機能を実現するためにコンピュータまたはその他プログラム可能なデータ処理装置を指向できるコンピュータを用いるか、またはコンピュータ可読メモリに格納されることも可能なため、そのコンピュータを用いるか、コンピュータ可読メモリに格納された命令は、フローチャートのブロックで説明された機能を行う命令手段を含む製品を生産することも可能である。コンピュータプログラム命令は、コンピュータまたはその他プログラム可能なデータ処理装置上に搭載されることも可能なため、コンピュータまたはその他プログラム可能なデータ処理装置上で一連の動作ステップが行われて、コンピュータで実行されるプロセスを生成し、コンピュータまたはその他プログラム可能なデータ処理装置で実行される命令は、フローチャートのブロックで説明された機能を実行するためのステップを提供することも可能である。
【0111】
また、各ブロックは、特定された論理的機能を実行するための１つ以上の実行可能な命令を含むモジュール、セグメントまたはコードの一部を示すことができる。さらに、いくつかの代替実行例では、ブロックで言及された機能が順序を逸脱して発生することも可能であることに注目しなければならない。例えば、続けて示されている２つのブロックは、実際、実質的に同時に行われることも可能であり、またはそのブロックが時々該当する機能によって逆順に行われることも可能である。
【0112】
この時、本実施例で用いられる「～部」または「モジュール」という用語は、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェアの構成要素を意味し、「～部」または「モジュール」は、何らかの役割を果たす。ところが、「～部」または「モジュール」は、ソフトウェアまたはハードウェアに限定される意味ではない。「～部」または「モジュール」は、アドレッシング可能な記憶媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「～部」または「モジュール」は、ソフトウェアの構成要素、オブジェクト指向ソフトウェアの構成要素、クラスの構成要素およびタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。複数の構成要素、「～部」または「モジュール」内で提供される機能は、より小さい数の構成要素、「～部」またはモジュールで結合されるか、追加的な構成要素と「～部」または「モジュール」にさらに分離されてもよい。それだけでなく、構成要素、「～部」および「モジュール」は、デバイスまたはセキュリティマルチメディアカード内の１つまたはそれ以上のＣＰＵを再生させるように実現されてもよい。
【0113】
以上、本発明の好ましい実施例を参照して説明したが、当該技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想および領域を逸脱しない範囲内で本発明を多様に修正および変更させることができることを理解するであろう。
【符号の説明】
【0114】
１００：多種オブジェクト将来軌跡予測装置
１１０：共有情報生成モジュール
１１１：オブジェクト毎位置データ受信部
１１２：走行環境コンテキスト情報生成部
１１３：走行環境フィーチャーマップ生成部
１１４：高精細マップデータベース
１２０：将来軌跡予測モジュール
１２１：座標系変換部
１２２：オブジェクト過去軌跡情報抽出部
１２３：オブジェクト中心コンテキスト情報抽出部
１２４：将来軌跡生成部
１３０：学習モジュール
１１０：共有情報生成モジュール
１１１：オブジェクト毎位置データ受信部
１１２：走行環境コンテキスト情報生成部
１１３：走行環境フィーチャーマップ生成部
１１４：高精細マップデータベース
１２０：将来軌跡予測モジュール
１２１：座標系変換部
１２２：オブジェクト過去軌跡情報抽出部
１２３：オブジェクト中心コンテキスト情報抽出部
１２４：将来軌跡生成部
１３０：学習モジュール
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】