特開 2023-98864 グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023098864

(43)【公開日】2023-07-11

(54)【発明の名称】グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法

(51)【国際特許分類】

   G08G 1/01 20060101AFI20230704BHJP

   G06N 3/04 20230101ALI20230704BHJP

【ＦＩ】

G08G1/01 A

G06N3/04 100

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022211313

(22)【出願日】2022-12-28

(31)【優先権主張番号】202111683649.4

(32)【優先日】2021-12-29

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】クァンツェー リー

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC24

5H181LL01

(57)【要約】

【課題】本発明は、交通シーン環境モデル化の分野に関し、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法が提供される。
【解決手段】本方法は、交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ（Ｓ１）と、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ（Ｓ２）であって、当該グラフは、当該交通シーン内のエンティティ間の時間及び／又は空間関係を描画する、ステップ（Ｓ２）と、構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、当該交通シーンデータから特徴を抽出するステップ（Ｓ３）と、を含む。本発明はまた、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置及びコンピュータプログラム製品にも関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

グラフニューラルネットワークに基づいて、交通シーンデータの特徴を抽出する方法であって、
交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ（Ｓ１）と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ（Ｓ２）であって、前記グラフは、前記交通シーン内のエンティティ間の時間及び／又は空間関係を描画する、ステップ（Ｓ２）と、
構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、前記交通シーンデータから特徴を抽出するステップ（Ｓ３）と、
を含む方法。

【請求項2】

前記グラフニューラルネットワークと他のタスクの深層学習アルゴリズムとを結合して、１つの新しいニューラルネットワークを形成するステップ（Ｓ４）であって、前記グラフニューラルネットワークによって抽出された特徴を他のタスクの深層学習アルゴリズムの入力として、結合された新しいニューラルネットワークを訓練する、ステップ（Ｓ４）と、
結合された新しいニューラルネットワークを訓練することにより、前記グラフニューラルネットワークを最適化し、ステップ（Ｓ３）に戻るステップ（Ｓ５）と、
をさらに含む、請求項１に記載の方法。

【請求項3】

結合された新しいニューラルネットワークの出力を使用して、前記交通シーンデータのラベルを調整するステップ（Ｓ５１）をさらに含む、請求項２に記載の方法。

【請求項4】

前記データ表現は、幾何学情報及び注釈情報を含み、前記幾何学情報及び注釈情報は、一緒に記憶され得る、請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記グラフのノードが、前記交通シーン内のエンティティを表現し、前記グラフの辺が、前記ノード間の時間及び／又は空間関係を表現する、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記交通シーン内のエンティティは、車線境界、交通信号若しくは交通標識、交通参加者、障害物、及び／又は、インスタンスを含む、請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記深層学習アルゴリズムは、異なるタスクの深層学習アルゴリズムのためのものであり、前記タスクは、特に予測及び計画であり、行動計画、軌道計画、ＶＲＵ予測、知的エージェント予測、及び、ＤＲＬに基づく計画を含む、請求項２乃至６のいずれか一項に記載の方法。

【請求項8】

前記深層学習アルゴリズムは、例えば、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、及び／又は、グラフニューラルネットワークアルゴリズムなどである、請求項２乃至７のいずれか一項に記載の方法。

【請求項9】

ステップ（Ｓ３）において、抽出される特徴は、高度に抽象化された特徴であり、交通シーンの環境モデルを構築するために使用される、請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

グラフニューラルネットワークに基づいて、交通シーンデータの特徴を抽出する装置（１）であって、請求項１乃至９のいずれか一項に記載の方法を実施するために構成されている装置（１）において、
異なるデータソースから交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成し得るように構成されたデータ取得及び前処理モジュール（２０）と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されたグラフ構築モジュール（３０）と、
構築されたグラフを記憶し、前記交通シーンデータの特徴を抽出し、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化し得るように構成されたグラフニューラルネットワークモジュール（４０）と、
を備える装置（１）。

【請求項11】

前記グラフニューラルネットワークモジュール（４０）は、特徴抽出モジュール（４０１）と、深層学習モジュール（４０２）と、を備え、前記特徴抽出モジュール（４０１）は、前記交通シーンデータについてグラフニューラルネットワークの学習によって特徴を抽出するように構成されており、前記深層学習モジュール（４０２）は、他のタスクの深層学習アルゴリズムを使用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化する、請求項１０に記載の装置（１）。

【請求項12】

コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータプログラムを含み、前記コンピュータプログラムは、コンピュータによって実行されたときに、請求項１乃至９のいずれか１項に記載の方法を実施するためのものである、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、グラフニューラルネットワーク基づいて交通シーンデータの特徴を抽出する方法に関し、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置及びコンピュータプログラム製品に関する。

【背景技術】

【0002】

背景技術
現在、深層学習技術は、さまざまな自動運転機能、例えば、検知、予測、計画を実現するための強力なツールとして、自動運転分野でますます注目されている。典型的な適用シーンにおいては、シーン深層学習技術は、交通シーンからの大量のデータに基づいて、交通シーンの環境モデルを作成することができる。しかし、この交通シーンからのデータは、通常、異なるセンサ（例えば、異なるサプライヤの画像センサ、ＬｉＤＡＲセンサ、及び／又は、位置センサなど）から、さらには異なるデータソース（例えば、センサ、車載地図、及び／又は、路側機など）から取得されるため、このデータの品質及び／又は仕様は、互いに大きく異なっている。深層学習技術にはデータの品質及び／又は仕様に関する厳しい要件があるため、深層学習技術の利用に悪影響を及ぼすことは間違いない。

【0003】

従来技術において、交通シーンのデータソースから特徴を抽出するための多くの方法が提案されており、これらの特徴を使用して交通シーンの環境モデルを作成し、車両又はＶＲＵ（Ｖｕｌｎｅｒａｂｌｅ Ｒｏａｄ Ｕｓｅｒｓ、損傷を受けやすい道路利用者）の動き予測、この車両の行動計画などに使用することができる。しかし、これらの方法はいずれも、人手で設計されたモデル化に焦点を当て、特定の交通シーンに強く依存するか、又は、単に効果的な情報抽出のために構造的に最適化されるかのいずれかであるため、使用には限界がある。こうした状況において、交通シーン環境のモデル化に深層学習技術をより活用するために、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法を提供することが期待されている。

【発明の開示】

【発明が解決しようとする課題】

【0004】

発明の概要
本発明の目的は、従来技術の問題の少なくとも一部を解決するために、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置及びコンピュータプログラム製品を提供することである。

【課題を解決するための手段】

【0005】

本発明の第１の態様によれば、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法が提供され、当該方法は、
交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ（Ｓ１）と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ（Ｓ２）であって、当該グラフは、当該交通シーンのエンティティ間の時間及び／又は空間関係を描画する、ステップ（Ｓ２）と、
構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、当該交通シーンデータの特徴を抽出するステップ（Ｓ３）と、
を含む。

【0006】

本発明は、特に以下の技術思想を含む。異なるデータソースからの並びに異なる仕様及び／又は品質を有する交通シーンデータに対して、一律に定義されたデータ表現を作成し、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し、グラフは、当該交通シーン内のエンティティ間の時間及び／又は空間関係を描画することができ、また、グラフニューラルネットワークの優れた学習機能を利用して特徴抽出を完了するため、高度に抽象化された堅牢性が高く互換性のあるデータモデル化を実現することができる。

【0007】

本発明の意味において、「一律に定義する」とは、以下のように理解することができる。異なるデータソースからのデータを互いに共通する形式で表現することができるようにし、当該形式は、例えば、点、矢印、正方形、多角形又は分割などである。点で表現されたデータとベクトルで表現されたデータとを共通に使用することができるということに留意されたい。特に、データを一律のメトリックを有する形式で表現することができる。異なるデータソースからのデータは、既存のデータセットであるものとしてもよく、又は、異なるサプライヤのセンサ（例えば、画像センサ、ＬｉＤＡＲセンサ、及び／又は、位置センサなど）からの画像若しくは点群、及び／又は、異なるサプライヤによって提供された高精度地図から得られるものとしてもよく、又は、異なる機能モジュール（例えば、検知、予測、計画などのモジュール）の出力（例えば、診断結果、インスタンス分割など）から得られるものとしてもよく、又は、シミュレーション若しくはゲームのデータなどから得られるものとしてもよい。任意選択的に、当該データ表現は、幾何学情報及び注釈情報を含むものとしてもよく、当該幾何学情報及び注釈情報は、一緒に記憶されるものとしてもよい。

【0008】

深層学習アルゴリズムは、データへの依存度が高く、そのようなデータの品質及び／又は、仕様が互いに異なることによって、深層学習アルゴリズムの性能に悪影響を及ぼす可能性があることに留意されたい。例示的に、車両の重複する部分が異なる仕様でボックスに含まれる可能性があり、またボックスから除外される可能性があるので、バウンディングボックスの定義は、予測アルゴリズムの精度に影響を与える可能性がある。２つの異なる検知モジュール（例えば、異なるサプライヤによって提供されたセンサ）は、異なる検知の不確実性を有し、両方の検知モジュールからのデータを使用するときに問題を生じさせることは間違いないであろう。

【0009】

ここでは特に、以下の利点が実現される。交通シーン内の各エンティティの情報をわずかに変更するだけで、データ再構築又はデータ再編成を実現することができ、これは、後続の方法ステップにおいて、グラフを構築するために使用される。

【0010】

任意選択的に、構築されたグラフにおいて、当該グラフのノードは、当該交通シーン内のエンティティを表現し、当該グラフの辺は、当該ノード間の時間及び／又は空間関係を表現する。当該交通シーン内のエンティティは、車線境界、交通信号若しくは交通標識、交通参加者、障害物、及び／又は、インスタンスを含む。本発明の意味において、「ノード間の時間及び／又は空間関係」は、ノード間の時間関係、ノード間の空間関係、並びに、ノード間の時間及び空間関係を含む。

【0011】

任意選択的に、抽出された特徴は、高度に抽象化された特徴であり、交通シーンの環境モデルを構築するために使用されるものとしてもよい。

【0012】

任意選択的に、当該方法は、
当該グラフニューラルネットワークと他のタスクの深層学習アルゴリズムとを結合して、１つの新しいニューラルネットワークを形成するステップ（Ｓ４）であって、当該グラフニューラルネットワークによって抽出された特徴を他のタスクの深層学習アルゴリズムの入力とし、結合された新しいニューラルネットワークを訓練する、ステップ（Ｓ４）と、
結合された新しいニューラルネットワークを訓練することにより、当該グラフニューラルネットワークを最適化し、ステップ（Ｓ３）に戻るステップ（Ｓ５）と、
をさらに含む。

【0013】

任意選択的に、当該深層学習アルゴリズムは、異なるタスクの深層学習アルゴリズムに使用されるものとしてもよく、当該タスクは、特に予測及び計画であり、行動計画、軌道計画、ＶＲＵ予測、知的エージェント（Ａｇｅｎｔ）予測、及び、ＤＲＬ（Ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、深層強化学習）に基づく計画を含む。ここで、当該深層学習アルゴリズムは、例えば、畳み込みニューラルネットワークアルゴリズム又はリカレントニューラルネットワークアルゴリズムであるものとしてもよく、また、グラフニューラルネットワークアルゴリズムであるものとしてもよい。

【0014】

ここで、特に以下の利点が実現される。結合された新しいニューラルネットワークを訓練することにより、グラフニューラルネットワークを新しいニューラルネットワークの一部分として組み立て、異なるタスクの深層学習アルゴリズムを利用して、訓練の過程で新しいニューラルネットワークを最適化すると同時にグラフニューラルネットワークも最適化することができ、これにより、異なる的深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化するという目的を達成する。さらに、異なるタスクに基づく学習を繰り返すことにより、グラフニューラルネットワークは、仕様及び／又は品質の異なるデータに対する適応性を高めるだけでなく、抽出された特徴を高度に抽象化された堅牢性が高く互換性のあるものにする。

【0015】

任意選択的に、当該方法は、結合された新しいニューラルネットワークの出力を使用して、当該交通シーンデータのラベルを調整するステップ（Ｓ５１）をさらに含む。

【0016】

本発明の意味において、「ラベル」は、機械学習（教師あり学習及び教師なし学習を含む）におけるデータのラベルと理解することができ、教師あり学習におけるラベル、及び、教師なし学習におけるシミュレーションシステムの出力のラベルを含む。機械学習の過程で、当該ラベルにより、機械学習モデルが識別に関する特徴を訓練し、学ぶように導くことができる。

【0017】

ここで、特に以下の利点が実現される。深層学習アルゴリズムを利用して、当該交通シーンデータに対してラベルを調整して、手動ラベリングを支援し、手動ラベリングの品質をチェックすることにより、データ品質を改善し、深層学習アルゴリズムの性能を効果的に向上させる。

【0018】

本発明の第２の態様によれば、グラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出するための装置が提供され、当該装置は、本発明の第１の態様に記載の方法を実施するように構成されている。当該装置は、
異なるデータソースから交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成するように構成されたデータ取得及び前処理モジュールと、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されたグラフ構築モジュールと、
構築されたグラフを入力として学習を行い、当該交通シーンデータの特徴を抽出し、抽出された特徴を入力として他のタスクの深層学習アルゴリズムを訓練し得るように構成されたグラフニューラルネットワークモジュールと、
を備える。

【0019】

任意選択的に、当該グラフニューラルネットワークモジュールは、特徴抽出モジュールと、深層学習モジュールと、を備え、当該特徴抽出モジュールは、当該交通シーンデータについて、グラフニューラルネットワークの学習により特徴を抽出するように構成されており、当該深層学習モジュールは、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化する。

【0020】

本発明の第３の態様によれば、コンピュータプログラム製品が提供され、当該コンピュータプログラム製品は、コンピュータプログラムを含み、当該コンピュータプログラムは、コンピュータによって実行されたときに、本発明の第１の態様に記載の方法を実施するためのものである。

【図面の簡単な説明】

【0021】

【図1】本発明の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図である。

【図2】本発明の他の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図である。

【図3】本発明の他の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図である。

【図4】本発明の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置の概略図である。

【発明を実施するための最良の形態】

【0022】

発明を実施するための形態
本発明によって解決される技術的問題、技術的解決手段及び有益な技術的効果をより明確に理解するために、以下に、添付の図面及びいくつかの例示的な実施例を組み合わせて、本発明をさらに詳細に説明する。本明細書に記載された具体的な実施例は、本発明を説明することのみに使用され、本発明の保護範囲を限定するためのものではないことを理解されたい。

【0023】

図１は、本発明の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図を示す。以下の例示的な実施例においては、本発明に係る方法について、より詳細に説明する。

【0024】

ステップＳ１において、交通シーンデータに対して、一律に定義されたデータ表現を作成する。ここで、当該交通シーンデータは、異なるデータソースから取得されるものとしてもよい。例示的に、異なるデータソースからのこれらの交通シーンデータは、既存のデータセットであるものとしてもよく、又は、異なるサプライヤのセンサ（例えば、画像センサ、ＬｉＤＡＲセンサ、及び／又は、位置センサなど）からの画像又は点群から得られるものとしてもよく、及び／又は、異なるサプライヤから提供された高精度地図から得られるものとしてもよく、又は、異なる機能モジュール（例えば、検知、予測、計画などのモジュール）の出力（例えば、診断結果、インスタンス分割など）から得られるものとしてもよく、又は、シミュレーション若しくはゲームのデータなどから得られるものとしてもよい。

【0025】

本発明の現在の実施例において、当該データ表現は、幾何学情報及び注釈情報を含むものとしてもよく、当該幾何学情報及び注釈情報は、一緒に記憶されるものとしてもよい。例示的に、車線境界の幾何学情報は、一連の点又はベクトルのセットとして表現され、また、車線境界の位置は、注釈情報として当該幾何学情報と一緒に記憶されるものとしてもよい。交通参加者（例えば、自動車、トラック、自転車、歩行者など）の幾何学情報は、ボックス又は多角形で表現され、また、交通参加者の位置及び方向は、注釈情報として当該幾何学情報と一緒に記憶されるものとしてもよい。交通信号又は交通標識の幾何学情報は、ボックス又は多角形で表現し、交通信号又は交通標識の状態、意味などを注釈情報として当該幾何学情報と一緒に記憶するものとしてもよい。

【0026】

ステップＳ２において、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し、当該グラフは、当該交通シーンのエンティティ間の時間及び／又は空間関係を描画する。本発明の現在の実施例においては、構築されたグラフにおいて、当該グラフのノードは、当該交通シーン内のエンティティを表現し、当該グラフの辺は、当該ノード間の時間及び／又は空間関係を表現し、当該関係は、ノード間の時間関係、ノード間の空間関係、並びに、ノード間の時間及び空間関係を含む。当該交通シーン内のエンティティは、例えば、車線境界、交通信号若しくは交通標識、交通参加者、障害物、及び／又は、インスタンスを含む。例示的に、２台の車両間の距離、位置、速度差などの情報は、ノード間の空間関係を描画することができる。実線及び破線の車線境界は、車両の潜在的な走行行動の空間関係を描画する。交通信号又は交通標識の情報は、時間及び／又は空間的に車両の法的な運転行動、例えば、車両がどの時間帯にどの車線を走行することが許可されているかを定義する。さらに、さまざまな時間ステップに沿って、ノード間の時間関係、例えば、分岐点を通過するときの車両の時間変化過程の位置変化情報を作成するものとしてもよい。

【0027】

ステップＳ３において、構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行って、当該交通シーンデータの特徴が抽出されるようにする。本発明の現在の実施例において、抽出された特徴は、高度に抽象化された特徴であり、交通シーンの環境モデルを構築するために使用される。

【0028】

図２は、本発明の他の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図を示す。以下、図１に示した実施例と異なる点のみを説明し、同一のステップについては、簡潔にするために説明を繰り返さない。当該実施例において、当該方法は、ステップＳ４及びＳ５をさらに含む。

【0029】

ステップＳ４において、当該グラフニューラルネットワークと他のタスクに使用される深層学習ネットワークとを結合して、新しいニューラルネットワークにする。ここでは、ステップＳ２において構築されたグラフから他のタスクまで、エンドツーエンド（ｅｎｄ－ｔｏ－ｅｎｄ）の訓練プロセスを設計しており、深層学習モジュールは、さまざまな異なるタスクに対して深層学習アルゴリズムを実行するために使用されるものとしてもよく、また、複数の層を備える。一方、各タスクは、異なる深層学習方法、例えば、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、及び／又は、グラフニューラルネットワークアルゴリズムなどに対応するものとしてもよい。他方、深層学習アルゴリズムは、異なるタスクに使用されるものとしてもよく、当該タスクは、特に予測及び計画であり、行動計画、軌道計画、ＶＲＵ予測、知的インテリジェント予測、及び、ＤＲＬに基づく計画を含むが、これらに限定されない。このように、異なるタスクに対応した深層学習アルゴリズムにより、異なる交通シーンのデータに深層学習を行うものとしてもよい。

【0030】

ステップＳ５において、結合されたニューラルネットワークを訓練することにより、当該グラフニューラルネットワークを最適化し、ステップＳ３に戻り、これにより、最適化されたグラフニューラルネットワークを利用して特徴を抽出するものとしてもよい。ここで、結合された新しいニューラルネットワークの出力が、結合に関与する当該深層学習アルゴリズムが適用されるタスクとなる。例えば、結合に関与する深層学習アルゴリズムが歩行者の軌跡を予測するためのものである場合、結合された新しいニューラルネットワークの出力は歩行者の軌道となる。出力された歩行者軌道が性能向上を有する場合、当該グラフニューラルネットワークを最適化し、ステップＳ３に戻り、最適化されたグラフニューラルネットワークを利用して特徴を抽出するものとしてもよい。

【0031】

本実施例においては、異なるタスク及び対応する深層学習アルゴリズムを選択し、継続的に学習を繰り返すことにより、目標グラフニューラルネットワークを最適化するものとしてもよく、これによって、複数のアルゴリズムの複合学習の結果において、より多くの情報が得られ、より高度に抽象化された堅牢が高く互換性のある特徴を抽出することができる。

【0032】

図３は、本発明の他の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する方法のフロー図を示す。以下においては、図２に示した実施例と異なる点のみを説明し、同一のステップについては簡潔にするために説明を繰り返さない。本実施例において、当該方法は、ステップＳ５１をさらに含む。

【0033】

ステップＳ５１において、結合された新しいニューラルネットワークの出力を使用して、当該交通シーンデータのラベルを調整する。具体的には、特定のタスクに対応する深層学習アルゴリズムの出力がステップＳ４及び、Ｓ５において性能向上を有する場合、そのアルゴリズムの出力から情報を抽出してラベルを形成するものとしてもよい。当該ラベルは、データラベリング作業を支援するために使用することができ、これにより、例えば、ラベルの自動事前ラベリング及びラベルの誤り訂正などを実現する。

【0034】

従来の深層学習方法においては、通常、手動によるラベリング方法又はその他の補助アルゴリズムによりラベルのラベリングを行う必要があったが、本発明の本実施例においては、深層学習結果から抽出された情報により、より効果的にラベルのラベリングを最適化することができ、これにより、データの品質、ひいては深層学習アルゴリズムの性能を向上させることができることに留意されたい。

【0035】

本明細書に記載されたステップの番号は、必ずしも連続した順序を表すものではなく、単なる図面記号であり、本発明の技術的目的が達成される限り、実際の状況に応じて順序を変更することができることに留意されたい。

【0036】

図４は、本発明の例示的な実施例によるグラフニューラルネットワークに基づいて交通シーンデータの特徴を抽出する装置の概略図を示す。

【0037】

図４に示すように、装置１は、データ取得及び前処理モジュール２０と、グラフ構築モジュール３０と、グラフニューラルネットワークモジュール４０と、を備える。ここで、データ取得及び前処理モジュール２０は、異なるデータソースからの交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成し得るように構成されている。グラフ構築モジュール３０は、一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されている。グラフニューラルネットワークモジュール４０は、構築されたグラフを記憶し、当該交通シーンデータの特徴を抽出し、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのアルゴリズム（即ち、グラフニューラルネットワークアルゴリズム）を最適化し得るように構成されている。

【0038】

具体的には、当該グラフニューラルネットワークモジュールが、特徴抽出モジュール４０１と、深層学習モジュール４０２と、を備え、当該特徴抽出モジュール４０１は、当該交通シーンデータについてグラフニューラルネットワークの学習によって特徴を抽出するように構成されており、当該深層学習モジュール４０２は、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化する。

【0039】

本明細書においては、本発明の特定の実施形態が詳細に説明されているが、それらは、単に説明のためにのみ与えられており、本発明の範囲を限定するものとみなすべきではない。本発明の趣旨及び範囲から逸脱することなく、さまざまな置換、変更及び改造を考えることができる。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2023-03-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

グラフニューラルネットワークに基づいて、交通シーンデータの特徴を抽出する方法であって、
交通シーンデータに対して、一律に定義されたデータ表現を作成するステップ（Ｓ１）と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築するステップ（Ｓ２）であって、前記グラフは、前記交通シーン内のエンティティ間の時間及び／又は空間関係を描画する、ステップ（Ｓ２）と、
構築されたグラフをグラフニューラルネットワークの入力とし、グラフニューラルネットワークの学習を行い、前記交通シーンデータから特徴を抽出するステップ（Ｓ３）と、
を含む方法。

【請求項2】

前記グラフニューラルネットワークと他のタスクの深層学習アルゴリズムとを結合して、１つの新しいニューラルネットワークを形成するステップ（Ｓ４）であって、前記グラフニューラルネットワークによって抽出された特徴を他のタスクの深層学習アルゴリズムの入力として、結合された新しいニューラルネットワークを訓練する、ステップ（Ｓ４）と、
結合された新しいニューラルネットワークを訓練することにより、前記グラフニューラルネットワークを最適化し、ステップ（Ｓ３）に戻るステップ（Ｓ５）と、
をさらに含む、請求項１に記載の方法。

【請求項3】

結合された新しいニューラルネットワークの出力を使用して、前記交通シーンデータのラベルを調整するステップ（Ｓ５１）をさらに含む、請求項２に記載の方法。

【請求項4】

前記データ表現は、幾何学情報及び注釈情報を含み、前記幾何学情報及び注釈情報は、一緒に記憶され得る、請求項１に記載の方法。

【請求項5】

前記グラフのノードが、前記交通シーン内のエンティティを表現し、前記グラフの辺が、前記ノード間の時間及び／又は空間関係を表現する、請求項１に記載の方法。

【請求項6】

前記交通シーン内のエンティティは、車線境界、交通信号若しくは交通標識、交通参加者、障害物、及び／又は、インスタンスを含む、請求項１に記載の方法。

【請求項7】

前記深層学習アルゴリズムは、異なるタスクの深層学習アルゴリズムのためのものであり、前記タスクは、予測及び計画であり、行動計画、軌道計画、ＶＲＵ予測、知的エージェント予測、及び、ＤＲＬに基づく計画を含む、請求項２に記載の方法。

【請求項8】

前記深層学習アルゴリズムは、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、及び／又は、グラフニューラルネットワークアルゴリズムを含む、請求項２に記載の方法。

【請求項9】

ステップ（Ｓ３）において、抽出される特徴は、高度に抽象化された特徴であり、交通シーンの環境モデルを構築するために使用される、請求項１に記載の方法。

【請求項10】

グラフニューラルネットワークに基づいて、交通シーンデータの特徴を抽出する装置（１）であって、請求項１に記載の方法を実施するために構成されている装置（１）において、
異なるデータソースから交通シーンデータを取得し、取得された交通シーンデータに対して、一律に定義されたデータ表現を作成し得るように構成されたデータ取得及び前処理モジュール（２０）と、
一律に定義されたデータ表現を有する交通シーンデータに基づいてグラフを構築し得るように構成されたグラフ構築モジュール（３０）と、
構築されたグラフを記憶し、前記交通シーンデータの特徴を抽出し、他のタスクの深層学習アルゴリズムを利用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化し得るように構成されたグラフニューラルネットワークモジュール（４０）と、
を備える装置（１）。

【請求項11】

前記グラフニューラルネットワークモジュール（４０）は、特徴抽出モジュール（４０１）と、深層学習モジュール（４０２）と、を備え、前記特徴抽出モジュール（４０１）は、前記交通シーンデータについてグラフニューラルネットワークの学習によって特徴を抽出するように構成されており、前記深層学習モジュール（４０２）は、他のタスクの深層学習アルゴリズムを使用して、特徴を抽出するためのグラフニューラルネットワークアルゴリズムを最適化する、請求項１０に記載の装置（１）。

【請求項12】

コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータによって実行されたときに、請求項１に記載の方法を実施するためのものである、コンピュータプログラム。

【外国語明細書】