特許 7555839 歩行者の動きを予測するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】歩行者の動きを予測するためのシステムおよび方法

(51)【国際特許分類】

   B60W 30/08 20120101AFI20240917BHJP

   B60W 40/02 20060101ALI20240917BHJP

   G08G 1/16 20060101ALI20240917BHJP

【ＦＩ】

B60W30/08

B60W40/02

G08G1/16 C

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2021012911

(22)【出願日】2021-01-29

(65)【公開番号】P2021155024

(43)【公開日】2021-10-07

【審査請求日】2023-12-25

(31)【優先権主張番号】16/787,523

(32)【優先日】2020-02-11

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】518102470

【氏名又は名称】トヨタ リサーチ インスティテュート，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】カルッティケヤ マンガラム

(72)【発明者】

【氏名】リー コアン－ホイ

(72)【発明者】

【氏名】アドリアン ダビド ガイドン

【審査官】稲本 遥

(56)【参考文献】

【文献】国際公開第２０１４／１９２１３７（ＷＯ，Ａ１）

【文献】特開２００９－２１７４４８（ＪＰ，Ａ）

【文献】特開２００８－１８６１７０（ＪＰ，Ａ）

【文献】特開２０１３－２４６７９４（ＪＰ，Ａ）

【文献】米国特許第０９７６６６２６（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１６／０３００４８５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００５／００７３４３８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３４４８５５（ＵＳ，Ａ１）

【文献】米国特許第１０８５４０７９（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－１０／３０

３０／００－６０／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

複数の歩行者の動きを予測するためのシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサと通信するメモリであって、初期軌道モジュール、出口点予測モジュール、経路プラニングモジュール、および調整モジュールを有しているメモリと、を備えており、
前記初期軌道モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の軌道を得るようにさせる命令を含んでおり、
前記出口点予測モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の軌道に基づいてシーンから、前記複数の歩行者に対する将来の出口点を予測させる命令を含んでおり、
前記経路プラニングモジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、前記複数の歩行者の、前記複数の歩行者が前記将来の出口点に到達するために取ると予測される経路である軌道経路を決定させる命令を含んでおり、
前記調整モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整させる命令を含んでいる、
システム。

【請求項2】

少なくとも１つの予測される相互作用は衝突である、請求項１に記載のシステム。

【請求項3】

前記調整モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の前記少なくとも２人の間の衝突を回避するために、前記複数の歩行者の前記少なくとも２人の前記軌道経路を調整させる命令を更に備えている、請求項２に記載のシステム。

【請求項4】

前記初期軌道モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、混合密度ネットワークモデルを使用することにより、前記複数の歩行者の軌道を得るようにさせる命令を更に備えている、請求項１に記載のシステム。

【請求項5】

前記調整モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、グラフニューラルネットワークモデルを利用することにより、前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、軌道経路を調整させる命令を更に備えている、請求項１に記載のシステム。

【請求項6】

前記複数の歩行者に対する軌道は、前記グラフニューラルネットワークモデルのノード特徴として前記グラフニューラルネットワークモデルに埋め込まれる、請求項５に記載のシステム。

【請求項7】

前記シーンは固定シーンである、請求項１に記載のシステム。

【請求項8】

前記シーンは、エゴ車両の動きに基づいて移動する、請求項１に記載のシステム。

【請求項9】

複数の歩行者の動きを予測するためのシステムが実行する方法であって、
前記複数の歩行者の軌道を得るステップと、
前記複数の歩行者の前記軌道に基づいてシーンから、前記複数の歩行者に対する将来の出口点を予測するステップと、
前記将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、前記複数の歩行者の、前記複数の歩行者が前記将来の出口点に到達するために取ると予測される経路である軌道経路を決定するステップと、
前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整するステップと、
を有している、方法。

【請求項10】

少なくとも１つの予測される相互作用は衝突である、請求項９に記載の方法。

【請求項11】

前記複数の歩行者の前記少なくとも２人の間の前記衝突を回避するために、前記複数の歩行者の前記少なくとも２人の前記軌道経路を調整するステップを更に有している、請求項１０に記載の方法。

【請求項12】

前記複数の歩行者の軌道を得るステップは、混合密度ネットワークモデルにより実行される、請求項９に記載の方法。

【請求項13】

前記複数の歩行者の少なくとも２人の間の前記少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整するステップは、グラフニューラルネットワークモデルにより実行される、請求項９に記載の方法。

【請求項14】

前記複数の歩行者に対する軌道は、前記グラフニューラルネットワークモデルのノード特徴として前記グラフニューラルネットワークモデルに埋め込まれる、請求項１３に記載の方法。

【請求項15】

前記シーンは固定シーンである、請求項９に記載の方法。

【請求項16】

前記シーンは、エゴ車両の動きに基づいて移動する、請求項９に記載の方法。

【請求項17】

複数の歩行者の動きを予測するための非一時的コンピュータ可読媒体であって、
１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、
前記複数の歩行者の軌道を得るようにさせ、
前記複数の歩行者の軌道に基づいてシーンから、前記複数の歩行者に対する将来の出口点を予測させ、
前記将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、前記複数の歩行者の、前記複数の歩行者が前記将来の出口点に到達するために取ると予想される経路である軌道経路を決定させ、
前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整させる、
命令を備えている、
非一時的コンピュータ可読媒体。

【請求項18】

少なくとも１つの予測される相互作用は衝突である、請求項１７に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記非一時的コンピュータ可読媒体は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の前記少なくとも２人の間の衝突を回避するために、前記複数の歩行者の前記少なくとも２人の前記軌道経路を調整させる命令を更に備えている、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記シーンは、エゴ車両の動きに基づいて移動する、請求項１７に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

ここにおいて記述される主題は、概して、歩行者の動きを予測するためのシステムおよび方法に関する。

【背景技術】

【0002】

提供される背景技術の記述は、全体的に開示の状況を提示するためである。発明者の研究は、この背景技術のセクションにおいて記述できる範囲で、および、出願時において先行技術であると認めることができない記述の態様は、本技術に対する先行技術であるとは明示的にも黙示的にも認められない。

【0003】

幾つかの現在の車両は、車両が動作している環境において見出される対象物を検出できるセンサを有している。これらの検出された対象物の幾つかは、他の車両および歩行者などの移動対象物を含んでいる。歩行者に関して、歩行者の予測された動きは、経路プラニングおよび意思決定などの、自律車両システムの幾つかの下流部門の構成要素により利用できる。

【0004】

幾つかの現在の方法は、歩行者の動きの動態を、社会的、シーン(scene)、および／または他の合図(cures)に直接依存することによりモデル化している。例えば、幾つかの現在の方法は、シーン要素、シーンにおける他の歩行者などとの衝突を回避するために、エネルギー項を生成する「ソーシャルフォース」モデルを使用している。幾つかの他の方法は、明示的なモデル化をすることなく、根源的なメカニズムを学習するためのディープモデルに依存することにより、動的モデル化への、よりデータ駆動的なアプローチを利用している。

【発明の概要】

【0005】

このセクションは、開示の大要を全体的に記述するものであって、開示の全体の範囲または開示のすべての特徴を網羅している説明ではない。

【0006】

１つの実施形態においては、複数の歩行者の動きを予測するためのシステムは、１つ以上のプロセッサと、その１つ以上のプロセッサと通信するメモリを含んでいる。メモリは、初期軌道モジュール、出口点予測モジュール、経路プラニングモジュール、および調整モジュールを含んでいる。初期軌道モジュールは、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、複数の歩行者の軌道を得るようにさせる命令を含んでいる。出口点予測モジュールは、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、複数の歩行者の軌道に基づいてシーンから、複数の歩行者に対する将来の出口点を予測させる命令を含んでいる。経路プラニングモジュールは、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、将来の出口点と、マップの少なくとも１つのシーン要素に基づいて、複数の歩行者の軌道経路を決定させる命令を含んでおり、ここにおいて、軌道経路は、複数の歩行者が、将来の出口点に到達するために取ると予測される経路である。調整モジュールは、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、軌道経路を調整させる命令を含んでいる。

【0007】

他の実施形態においては、複数の歩行者の動きを予測するための方法は、複数の歩行者の軌道を得るステップと、複数の歩行者の軌道に基づいてシーンから、複数の歩行者に対する将来の出口点を予測するステップと、将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、複数の歩行者の軌道経路を決定するステップと、複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、軌道経路を調整するステップを含んでいる。

【0008】

更に他の実施形態においては、複数の歩行者の動きを予測するための非一時的コンピュータ可読媒体は、１つ以上のプロセッサにより実行されると、その１つ以上のプロセッサに、複数の歩行者の軌道を得るようにさせ、複数の歩行者の軌道に基づいてシーンから、複数の歩行者に対する将来の出口点を予測させ、将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、複数の歩行者の軌道経路を決定させ、複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、軌道経路を調整させる命令を含んでいる。

【0009】

適用可能性の更なる領域および開示される技術を向上する種々の方法は、提供される記述から明白になるであろう。この大要における記述よび特定の例は、例示のためのみであることが意図されており、本開示の範囲を制限することは意図されていない。

【図面の簡単な説明】

【0010】

明細者に組み込まれ、その一部を構成している付随する図面は、開示の種々のシステム、方法、および他の実施形態を例示している。図における例示されている要素の境界（例えば、ボックス、ボックスのグループ、または他の形状）は、境界の１つの実施形態を表わしているということは認識されるであろう。幾つかの実施形態においては、１つの要素は、多数の要素として設計でき、または、多数の要素は、１つの要素として設計できる。幾つかの実施形態においては、他の要素の内部構成要素として示されている要素は、外部構成要素として実現でき、逆もまた可能である。更に、要素は寸法通りに描かれていないこともある。

【0011】

【図1】歩行者の動きを予測するためのシステムを組み入れている車両を有しているシーンを例示している。

【図2】２人の歩行者の間の予測される相互作用と、図１のシステムにより予測される、調整された経路の、より詳細な図を例示している。

【図3】歩行者の動きを予測するためのシステムを組み入れている車両の、より詳細な図を例示している。

【図4】歩行者の動きを予測するためのシステムの、より詳細な図を例示している。

【図5】歩行者の動きを予測するためのシステムにより利用される処理の１つの例を示しているフロー図を例示している。

【図6】歩行者の動きを予測するための方法を例示している。

【発明を実施するための形態】

【0012】

１人以上の歩行者の動きを予測するためのシステムおよび方法が記述される。１つの例においては、システムは、歩行者の軌道に基づいてシーンから、歩行者の出口点を決定する。システムにより決定される出口点は、混合密度ネットワークを使用して決定できる。次に、システムは、出口点および少なくとも１つのシーン要素に基づいて、歩行者が取るであろう経路を予測する。例えば、シーン要素は、歩行者と、将来の出口点との間に位置している歩道であってよい。最も予想されるのは、歩行者は、出口点に到達するために歩道を利用するであろうということである。そのため、歩行者が取ることができる経路を予測するときは、システムは、予測される経路を決定するときにシーン要素を考慮できる。

【0013】

そして、歩行者の経路は、同時に互いの経路を横切ろうとしており、そのため衝突を引き起こそうとしている歩行者のような、歩行者の何れかの間で予期される何らかの相互作用があるかどうかを決定するために比較される。歩行者の間で潜在的な相互作用が起こると決定された場合、システムは、社会的合図、道路の規則などを遵守するために経路を調整する。例えば、２人の歩行者の経路が衝突という結果になると決定された場合、システムは、衝突を防止するために経路を調整する。システムは、歩行者間の相互作用、社会的合図、道路の規則などに基づいて、どのように経路を調整すべきかを決定するためにグラフニューラルネットワークを利用できる。

【0014】

図１を参照すると、車両１００の外部の１つ以上の対象物を知覚するためのセンサシステム１２０および歩行者予測システム１７０を有している車両１００を含んでいるシーン１０が例示されている。シーン１０は、後述されるように、シーン１０内の１人以上の歩行者の動きを決定できる歩行者予測システム１７０を例示している１つの例に過ぎないということは理解されるべきである。この例においては、車両１００は道路１２に沿って走行している。道路１２の両側には歩道１４と１６がある。歩道１４および１６は、歩行者、自転車に乗っている人、および非自動車に関連するものがその上を進むことを可能にする歩道であってよい。

【0015】

シーン１０内には、歩行者２０および３０も位置している。歩行者２０は、軌道２２としての矢印で示されている軌道を有して例示されている。軌道２２は、歩行者２０が移動している位置、方向、および／または速度を表わしている。同様に、歩行者３０もまた、矢印で示されている軌道３２を有している。前記と同様に、軌道３２は、歩行者３０が進んでいる位置、方向、および／または速度を全体的に示している。この例においては、歩行者２０は、歩道１６から歩道１４に、道路１２を横切ろうとしている。歩行者３０については、歩行者３０は、歩道１４に沿って進んでいる。

【0016】

より詳細に後で説明されるように、歩行者予測システム１７０は、シーン１０から、歩行者２０および３０それぞれの将来の出口点２６および３６を予測可能である。この例においては、歩行者予測システム１７０は、シーン１０内の軌道２２および１つ以上の要素に基づいて、歩行者２０は将来の出口点２６においてシーン１０が出て行くと予測している。シーン１０の１つ以上の要素は、歩道１４および１６を含むことができる。そのため、歩行者予測システム１７０は、歩行者２０により利用されると予想される歩道１４へと続く軌道２２に基づいて、歩行者２０は、将来の出口点２６においてシーン１０から出て行くであろうと決定している。これらの要素を使用して、歩行者予測システム１７０は将来の出口点２６を予測する。歩行者２０が、将来の出口点２６まで取る経路２４もまた、歩行者予測システム１７０により決定される。同様に、歩行者３０に関しても、歩行者予測システム１７０はまた、将来の出口点３６に到達するために歩行者３０が取るであろう経路３４と共に、将来の出口点３６も予測する。

【0017】

歩行者予測システム１７０はまた、歩行者２０および３０が経路２４と３４それぞれに沿って進むと、両者の間に起こり得る相互作用を考慮するために、歩行者２０および３０それぞれの経路２４と３４を調整できる。例えば、図２において最も良好に示されているように、歩行者２０および３０それぞれの経路２４と３４は、両者間の衝突という結果になるであろう領域４０という結果になる。システム１７０は、歩行者２０および３０のような歩行者の動きをより精度よく予測するために、これらの相互作用を、衝突を回避するために考慮しない機能を有している。更に、歩行者２０および／または３０、または他の対象物であっても、それらの動きは、車両１００を制御するために、１つ以上の車両システムにより利用できる。繰り返すが、前記のパラグラフは、歩行者予測システム１７０の全体的な概要を提供するためのみである。歩行者予測システム１７０のより詳細な説明は、この開示において後述される。

【0018】

図３を参照すると、車両１００の例が示されている。ここで使用されているように、「車両」は、動力で動く輸送装置の任意の形状である。１つ以上の実現形態においては、車両１００は自動車である。ここにおいては、配置は自動車に関して記述されるが、実施形態は自動車に制限されないということは理解されるであろう。幾つかの実現形態においては、車両１００は、例えば、１つ以上の自動化または自律システムを含んでおり、そのため、ここにおいて検討される機能の恩恵を受ける如何なるロボット装置または、動力で動く輸送装置の如何なる形状であってもよい。

【0019】

種々の実現形態においては、自動化／自律システムまたはシステムの組み合わせは変わり得る。例えば、１つの態様においては、自動化システムは、米国自動車技術者協会（ＳＡＥ）により定義されているレベル（例えば、レベル０～５）のような、自動化の１つ以上のレベルに従って、車両の自律制御を提供するシステムである。そのため、自律システムは、自律運転モジュール１６０と関連して検討されるように、半自律制御または完全自律制御を提供できる。

【0020】

車両１００はまた、種々の要素も含んでいる。種々の実施形態においては、車両１００は、図３に示されているすべての要素を有する必要はないということは理解されるであろう。車両１００は、図３に示されている種々の要素の如何なる組み合せも有することができる。更に、車両１００は、図３に示されている要素に加えて、追加的要素を有することができる。幾つかの配置においては、車両１００は、図３に示されている要素の１つ以上の要素なしでも実現できる。図３においては、種々の要素は、車両１００内に位置しているように示されているが、これらの要素の１つ以上は、車両１００の外部に位置することができるということは理解されるであろう。更に、示されている要素は、相当な距離だけ物理的に離すことができ、遠隔装置（例えば、クラウドコンピューティングサービス）として提供できる。

【0021】

車両１００の可能な要素の幾つかが図３に示されており、後続する図と共に記述される。しかし、図３の要素の多くの記述は、この記述の簡潔性の目的のために、図１および図４～６の検討の後に提供される。追加的に、例示の簡潔性および明確性のために、適切な場合は、参照番号は、対応する、または類似の要素を示すために、異なる図の間で繰り返されているということは認識されるであろう。加えて、検討は、ここにおいて記述される実施形態の完全な理解を提供するための多数の特定の詳細の概要を示す。ここにおいて記述される実施形態は、これらの要素の種々の組み合わせを使用して実践できる。

【0022】

何れの場合においても、車両１００は、歩行者予測システム１７０を含んでいる。歩行者予測システム１７０は、車両１００の自律運転モジュール１６０内に組み込むことができ、または、示されているように別個であることができる。図４を参照すると、歩行者予測システム１７０の１つの実施形態が更に例示されている。示されているように、歩行者予測システム１７０は１つ以上のプロセッサ１１０を含んでいる。従って、プロセッサ１１０は歩行者予測システム１７０の一部であることができ、または、歩行者予測システム１７０は、データバスまたは他の通信経路を通してプロセッサ１１０にアクセスできる。１つ以上の実施形態においては、プロセッサ１１０は、初期軌道モジュール２５０、出口点予測モジュール２５２、経路プラニングモジュール２５６、および調整モジュール２５８と関連付けられている機能を実現するように構成されている特定用途向け集積回路である。一般的には、プロセッサ１１０は、ここにおいて記述される種々の機能を実行できるマイクロプロセッサのような電子プロセッサである。１つの実施形態においては、歩行者予測システム１７０は、初期軌道モジュール２５０、出口点予測モジュール２５２、経路プラニングモジュール２５６、および調整モジュール２５８を格納しているメモリ２１０を含んでいる。メモリ２１０は、ランダムアクセス（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ、フラッシュメモリ、または、モジュール２５０、２５２、２５６、および２５８を格納するための他の適切なメモリである。モジュール２５０、２５２、２５６、および２５８は、例えば、プロセッサ１１０により実行されると、プロセッサ１１０に、ここにおいて開示される種々の機能を実行させるコンピュータ可読命令である。

【0023】

更に、１つの実施形態においては、歩行者予測システム１７０はデータ格納装置２４０を含んでいる。データ格納装置２４０は、１つの実施形態においては、メモリ２１０または他のメモリに格納され、格納データを解析し、格納データを提供し、格納データを編成するなどをするためにプロセッサ１１０により実行できるルーチンを備えて構成されているデータベースなどのような電子データ構造体である。そのため、１つの実施形態においては、データ格納装置２４０は、種々の機能を実行するときに、モジュール２５０、２５２、２５６、および２５８により使用されるデータを格納する。１つの実施形態においては、データ格納装置２４０は、例えば、モジュール２５０、２５２、２５６、および２５８により使用される他の情報と共に、センサデータ２４２を含んでいる。センサデータ２４２は、図３に示され、この開示において後述されるセンサデータ１１９の幾つか、またはすべてを含むことができる。

【0024】

センサデータ２４２に加えて、データ格納装置２４０はまた、種々の機能を実行するときに、モジュール２５０、２５２、２５６、および２５８が利用できる他の情報も含んでいる。１つの例においては、データ格納装置２４０はまた、１つ以上の人工知能モデルも含むことができる。例えば、データ格納装置２４０は、混合密度ネットワーク２４４、グラフニューラルネットワーク２４６、および逆強化学習モデル２４８を含むことができる。後述するように、出口点予測モジュール２５２は、シーン１０からの出口点を予測するために混合密度ネットワーク２４４を利用できる。経路プラニングモジュール２５６は、歩行者単独の軌道経路を決定するために、逆強化学習モデルを利用できる。調整モジュール２５８は、衝突などのような、他の歩行者との如何なる相互作用も考慮して歩行者の経路を調整するために、グラフニューラルネットワーク２４６を利用できる。

【0025】

従って、初期軌道モジュール２５０は、プロセッサ１１０により実行されると、プロセッサ１１０に、シーン１０から歩行者２０および３０などのような、シーンから複数の歩行者の軌道を得るようにさせる命令を含んでいる。１つの例においては、シーン１０は鳥瞰図であってよい。シーン１０は、静的シーンであってよく、または、１つ以上の対象物の動きに基づく動きがあってもよい。１つの例においては、図３の車両１００のような、歩行者予測システム１７０を組み込んでいる車両の動きは、シーン１０が、動きがあるシーンである場合、シーン１０の全体の動きを決定するために利用できる。例えば、シーン１０は、車両１００の周りに位置している範囲であることができ、車両１００が動くときに移動する。

【0026】

歩行者２０および３０それぞれの軌道２２と３２は、車両１００内に位置している他のシステムおよびサブシステムから得ることができる。１つの例においては、車両１００のセンサシステム１２０は、歩行者２０および／または３０の存在および動きを検出できる。加えて、センサシステム１２０は、歩行者２０および３０の速度と共に、歩行者２０および３０が進んでいる位置および方向を含むことができる軌道２２および／または３２を決定するために、１つ以上の環境センサ１２２から受信する情報を利用できる。

【0027】

出口点予測モジュール２５２は、プロセッサ１１０により実行されると、プロセッサ１１０に、歩行者２０および３０それぞれの将来の出口点２６と３６のような出口点を予測させる命令を含むことができる。歩行者２０および３０の以前の軌道および、軌道２２と３２を中心とするセマンティックマップまたはシーン１０の一群があれば、出口点予測モジュール２５２は、歩行者２０および３０それぞれの将来の出口点２６と３６を予測できる。

【0028】

出口点予測モジュール２５２は、将来の出口点が定められた軌道を近似する、画像またはシーン境界上のラップされた正規分布の混合体を維持するために混合密度ネットワーク２４４を使用できる。混合密度ネットワーク２４４は、従来のニューラルネットワークを、混合密度モデルに合成することにより得られる１つ以上のモデルのクラスであってよい。混合密度ネットワーク２４４は、成分分布を合成するための重みと共に、確率分布の混合体のパラメータを出力する。この例においては、混合密度ネットワーク２４４は、１つ以上のシーン要素と共に、歩行者２０および３０それぞれの軌道２２と３２に基づいて、歩行者２０および３０の将来の出口点２６と３６を決定できる。

【0029】

シーン要素は、シーン１０内に位置している要素を含むことができる。図１に示されている例においては、シーン要素は、歩道１４と１６と共に、道路１２を含んでいる。歩行者２０および３０のような歩行者は、歩道１４と１６のような歩道を一般的には利用し、道路の規則に一般的には従うということは一般的に理解される。この例においては、歩行者２０は、横断歩道のない道路１２を既に横切り始めている。しかし、歩道１４に向かう歩行者２０の軌道２２に基づいて、混合密度ネットワーク２４４は、歩行者２０は歩道１４に到達するために同じ方向に沿って進み続け、将来の出口点２６に向けて歩道１４に沿って進み続けると予想されると決定できる。同様に、混合密度ネットワーク２４４は、歩行者３０の軌道３２に基づいて、歩行者３０は、歩道１４に沿って歩き続け、将来の出口点３６においてシーン１０から出て行くと予想されると決定できる。

【0030】

経路プラニングモジュール２５６は、プロセッサ１１０により実行されると、プロセッサ１１０に、歩行者単独の経路を予測させる命令を含んでいる。更に、将来の出口点２６と３６のような将来の出口点が、出口点予測モジュール２５２によりサンプリングされて、経路プラニングモジュール２５６に供給される。経路プラニングモジュール２５６は、出口点予測モジュール２５２により予測されるように、歩行者が出口点に到達するという目標を達成するための歩行者に対する人間の軌道（または経路）を計画する。

【0031】

この例においては、歩行者単独の経路は、歩行者が進むと予測される経路として解釈できる。例えば、図１に戻って参照すると、歩行者２０は、経路プラニングモジュール２５６により、経路２４に沿って進むと決定されており、一方、歩行者３０は、経路３４に沿って進むと決定されている。経路プラニングモジュール２５６は、出口点予測モジュール２５２により予測された将来の出口点２６および／または３６と共に、初期軌道モジュール２５０により前に決定された軌道２２と３２を利用できる。これらの入力に加えて、道路の規則のような他の入力もまた経路プラニングモジュール２５６は利用できる。例えば、歩行者は、道路１２を横断するために適切な位置を利用する、歩道を使用する、および、停止標識、交通信号灯のような道路信号に従うなどのように、道路の規則に従うであろうということが一般的には仮定される。

【0032】

経路プラニングモジュール２５６は、逆強化学習モデル２４８を利用できる。逆強化学習は、強化学習の逆の問題を解決できるマシン学習基盤である。更に、逆強化学習は、動作主体の目的、値、または、その報酬を、その動作を観察することにより学習することに関する。例えば、従来の強化学習設定は、目標は、ある予め定義されている報酬関数を最大にする動作を産み出す決定プロセスを学習することであると一般的に要求する。逆強化学習は、問題を逆にして、歩行者２０および３０のような動作主体の観察された動作から、報酬関数を抽出することを試みる。

【0033】

調整モジュール２５８は、プロセッサ１１０により実行されると、１人以上の歩行者間の相互作用を考慮するために、経路プラニングモジュール２５６により決定された軌道経路を調整する命令を含んでいる。シーンにおいて存在している各歩行者の長期軌道があれば、これらの軌道すべては、衝突を回避し、一般的な社会的合図および道路の規則に従うために検討および調整される。これは、軌道をノード特徴として、これらの予測を調整するためのメッセージ伝播型アルゴリズムに従うグラフニューラルネットワーク２４６に埋め込むことにより達成される。

【0034】

例えば、図１に戻って参照すると、歩行者２０および歩行者３０は、彼らの経路２４と３４が変更されなければ互いに衝突するであろうということは前述した。衝突が起こるかどうかを決定するために、調整モジュール２５８はプロセッサ１１０を、歩行者の経路２４と３４は交差するかどうかを決定するように構成する。加えて、経路２４と３４との間に交差があるかどうかを決定するために、調整モジュール２５８はまたプロセッサ１１０を、歩行者が経路２４と３４を予測された速度で進み続けた場合、互いに衝突するかどうかを決定するように構成する。更に、幾つかの例においては、歩行者の経路は交差するが、歩行者の位置と速度のために衝突は起こらない。しかし、他の状況においては、歩行者の速度と位置、および重なっている軌道経路は、衝突は起こるであろうということを示す。

【0035】

衝突のような、歩行者間の相互作用が起こると予測される場合、調整モジュール２５８は、歩行者２０および３０それぞれの予測軌道経路２４と３４のような、歩行者の軌道経路を調整する。調整モジュール２５８は、歩行者は一般的には意図的には互いに衝突しないので、予期されるような衝突を回避するために、歩行者の軌道経路を調整するためのグラフニューラルネットワーク２４６を利用できる。

【0036】

グラフニューラルネットワーク２４６構造は、グラフ構造上で直接動作するニューラルネットワークの１つのタイプである。そのため、グラフニューラルネットワークは、より複雑な幾何図形およびトポロジーを有するグラフ上で動作できる。これは、ソーシャルネットワーク、三次元メッシュ、および物理システムを含むことができる。そのため、グラフニューラルネットワーク２４６は、衝突を回避し、歩行者２０および３０のような歩行者の動きをより正確に予測するために、歩行者間の社会的相互作用を検討するために利用できる。そのため、図２を参照すると、歩行者２０および３０それぞれの間の直接衝突を回避するために、調整モジュール２５８は経路２４と３４を調整した。グラフニューラルネットワーク２４６の、互いに衝突することを回避したいという歩行者の願望や他の社会的合図のような社会的相互作用を考慮する能力を利用することにより、歩行者予測システム１７０は、シーン内の歩行者の動きをより正確に予測できる。

【0037】

利用可能な人工知能ネットワークとモデルの他のタイプを、より良好に例示するために、図５を参照する。この例においては、シーンは静的であるが、シーンは静的である必要はなく、動き補償を使用することにより、エゴ車両が動くときに動くことができる。更に、図５は、出口点予測モジュール２５２、経路プラニングモジュール２５６、および調整モジュール２５８を例示している。加えて、図５は、出口点予測モジュール２５２、経路プラニングモジュール２５６、および調整モジュール２５８は共にデイジーチェーンで接続でき、出口点予測モジュール２５２の出力は経路プラニングモジュール２５６に供給され、そして、調整モジュール２５８に供給されるということを示す情報の流れを例示している。そのため、この例においては、３つの異なるタイプの人工知能モデルが利用されている。更に、出口点予測モジュール２５２は混合密度ネットワーク２４４を利用し、経路プラニングモジュール２５６は逆強化学習モデル２４８を利用し、そして調整モジュール２５８はグラフニューラルネットワーク２４６を利用している。

【0038】

そして、調整モジュール２５８からの最終出力は、その歩行者に対する短期予測軌道となる。このように、歩行者予測システム１７０は、社会的合図のような短期情報を考慮するが、目標および静的シーン要素のような、より長い時間信号もまた考慮するということに留意されたい。

【0039】

図６を参照すると、歩行者の動きを予測するための方法３００が示されている。方法３００は、図３の車両１００および図４の歩行者予測システム１７０の観点から記述される。しかし、これは、方法３００を実現する１つの例に過ぎない。方法３００は、歩行者予測システム１７０との組み合わせにおいて検討されるが、方法３００は、歩行者予測システム１７０内で実現されることに制限されず、歩行者予測システム１７０は、方法３００を実現できるシステムの１つの例であるということは認識されるべきである。

【0040】

方法３００はステップ３０２において開始し、このステップにおいて、初期軌道モジュール２５０はプロセッサ１１０に、複数の歩行者の軌道を得るようにさせる。この例においては、初期軌道モジュール２５０は、歩行者２０および３０それぞれの軌道２２と３２のような１つ以上の軌道を受信できる。歩行者２０および３０それぞれの軌道２２と３２は、車両１００内に位置している他のシステムおよびサブシステムから得ることができる。１つの例においては、車両１００のセンサシステム１２０は、歩行者２０および／または３０の存在および動きを検出できる。加えて、センサシステム１２０は、歩行者２０および３０の速度と共に、歩行者２０および３０が進んでいる位置と方向を含むことができる軌道２２および／または３２を決定するために、１つ以上の環境センサ１２２から受信する情報を利用できる。

【0041】

ステップ３０４において、出口点予測モジュール２５２はプロセッサ１１０に、歩行者２０および３０それぞれに関連している将来の出口点２６と３６のような１つ以上の出口点を決定させる。上記に説明したように、出口点予測モジュール２５２は、将来の出口点が定められた軌道を近似する、画像またはシーン境界上のラップされた正規分布の混合体を維持するために混合密度ネットワーク２４４を使用できる。混合密度ネットワーク２４４は、従来のニューラルネットワークを、混合密度モデルに合成することにより得られる１つ以上のモデルのクラスであってよい。混合密度ネットワーク２４４は、成分分布を合成するための重みと共に、確率分布の混合体のパラメータを出力する。この例においては、混合密度ネットワーク２４４は、１つ以上のシーン要素と共に、歩行者２０および３０それぞれの軌道２２と３２に基づいて、歩行者２０および３０の将来の出口点２６と３６を決定できる。

【0042】

シーン要素は、シーン１０内に位置している要素を含むことができる。図１に示されている例においては、シーン要素は、歩道１４と１６と共に、道路１２を含んでいる。歩行者２０および３０のような歩行者は、歩道１４と１６のような歩道を一般的には利用し、道路の規則に一般的には従うということは一般的に理解される。この例においては、歩行者２０は、横断歩道のない道路１２を既に横切り始めている。しかし、歩道１４に向かう歩行者２０の軌道２２に基づいて、混合密度ネットワーク２４４は、歩行者２０は歩道１４に到達するために同じ方向に沿って進み続け、将来の出口点２６に向けて歩道１４に沿って進み続けると予想されると決定できる。同様に、混合密度ネットワーク２４４は、歩行者３０の軌道３２に基づいて、歩行者３０は、歩道１４に沿って歩き続け、将来の出口点３６においてシーン１０から出て行くと予想されると決定できる。

【0043】

ステップ３０６において、経路プラニングモジュール２５６はプロセッサ１１０に、将来の出口点２６と３６それぞれ、およびシーン１０の少なくとも１つの要素に基づいて、複数の歩行者２０および３０の軌道経路を決定させる。更に、将来の出口点２６と３６のような将来の出口点が、出口点予測モジュール２５２によりサンプリングされて、経路プラニングモジュール２５６に供給される。経路プラニングモジュール２５６は、出口点予測モジュール２５２により予測されるように、歩行者が出口点に到達するという目標を達成するための歩行者に対する人間の軌道（または経路）を計画する。

【0044】

この例においては、歩行者単独の経路は、歩行者が進むと予測される経路として解釈できる。例えば、図１に戻って参照すると、歩行者２０は、経路プラニングモジュール２５６により、経路２４に沿って進むと決定されており、一方、歩行者３０は、経路３４に沿って進むと決定されている。経路プラニングモジュール２５６は、出口点予測モジュール２５２により予測された将来の出口点２６および／または３６と共に、初期軌道モジュール２５０により前に決定された軌道２２と３２を利用できる。これらの入力に加えて、道路の規則のような他の入力もまた経路プラニングモジュール２５６は利用できる。例えば、歩行者は、道路１２を横断するために適切な位置を利用する、歩道を使用する、および、停止標識、交通信号灯のような道路信号に従うなどのように、道路の規則に従うであろうということが一般的には仮定される。

【0045】

ステップ３０８において、調整モジュール２５８はプロセッサ１１０に、歩行者２０と３０の間に、予測される何らかの相互作用があるかどうかを決定させる。例えば、歩行者２０および３０それぞれの位置、軌道２２と３２、および経路２４と３４を使用して、調整モジュール２５８はプロセッサ１１０に、歩行者２０と３０の間に、衝突または相互作用の可能性があるかどうかを決定させる。歩行者の何れの間にも、検出された相互作用がない場合は、ステップ３１０において示されるように、前に計算された軌道経路を出力することができる。１つの例においては、前に計算された軌道経路を、自律運転モジュール１６０のような、１つ以上の車両システムまたはサブシステムに出力できる。

【0046】

歩行者は互いに相互作用すると予想されると決定されると、方法はステップ３１２に進み、そのステップにおいて、調整モジュール２５８はプロセッサ１１０に、歩行者２０と３０との間の予測される相互作用に基づいて、経路２４と３４を調整させる。調整モジュール２５８は、歩行者２０および３０それぞれの予測される経路２４と３４のような、歩行者の軌道経路を調整する。調整モジュール２５８は、歩行者は一般的には意図的には互いに衝突しないので、予期されるような衝突を回避するために、歩行者の軌道経路を調整するためのグラフニューラルネットワーク２４６を利用できる。経路２４と３４が調整モジュール２５８により調整されると、ステップ３１０において示されているように、軌道経路を、自律運転モジュール１６０のような、１つ以上の車両システムまたはサブシステムに出力できる。

【0047】

ここで図３を、ここにおいて開示されるシステムおよび方法が動作できる、例としての環境として、十分詳細に検討する。１つ以上の実施形態においては、車両１００は自律車両である。ここにおいて使用されているように、「自律車両」とは、自律モードで動作する車両のことである。「自律モード」とは、人間の運転手からの最小限の入力、または入力なしで車両１００を制御するための１つ以上の演算システムを使用して、車両１００を走行ルートに沿ってナビゲートおよび／または操縦することである。１つ以上の実施形態においては、車両１００は高度に、または完全に自動化されている。１つの実施形態においては、車両１００は、１つ以上の半自律動作モードを有して構成されており、半自律動作モードにおいては、１つ以上の演算システムが、走行ルートに沿っての、車両１００のナビゲーションおよび／または操縦の一部を実行し、車両のオペレータ（つまり、運転手）は、走行ルートに沿っての、車両１００のナビゲーションおよび／または操縦の一部を実行するために車両に入力を提供する。そのような半自律動作は、車両１００が、定義された状態制約内に留まることを確実にするために、歩行者予測システム１７０により実現されるような管理制御を含むことができる。

【0048】

車両１００は、１つ以上のプロセッサ１１０を含むことができる。１つ以上の配置においては、プロセッサ１１０は、車両１００のメインプロセッサであることができる。例えば、プロセッサ１１０は、電子制御ユニット（ＥＣＵ）であることができる。車両１００は、データの１つ以上のタイプを格納するための１つ以上のデータ格納装置１１５を含むことができる。データ格納装置１１５は、揮発性および／または不揮発性メモリを含むことができる。データ格納装置１１５の例としては、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（リードオンリメモリ）、ＰＲＯＭ（プログラマブルリードオンリメモリ）、ＥＰＲＯＭ（消去可能型プログラマブルリードオンリメモリ）、ＥＥＰＲＯＭ（電気的消去可能型プログラマブルリードオンリメモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または、他の適切な格納媒体、または、それらの組み合わせが挙げられる。データ格納装置１１５は、プロセッサ１１０の構成要素であることができ、または、データ格納装置１１５はプロセッサ１１０に、プロセッサ１１０による使用のために機能的に接続できる。この記述を通して使用されているように、「機能的に接続されている」という用語は、直接的な物理接触のない接続も含めて、直接または間接的接続を含むことができる。

【0049】

１つ以上の配置においては、１つ以上のデータ格納装置１１５は、マップデータ１１６を含むことができる。マップデータ１１６は、１つ以上の地形エリアのマップを含むことができる。幾つかの例においては、マップデータ１１６は、１つ以上の地形エリアにおける、道路、交通制御装置、路面表示、構造、特徴、および／または目印についての情報またはデータを含むことができる。マップデータ１１６は、任意の適切な形状であることができる。幾つかの例においては、マップデータ１１６は、エリアの空中写真を含むことができる。幾つかの例においては、マップデータ１１６は、３６０度の地上写真を含む、エリアの地上写真を含むことができる。マップデータ１１６は、マップデータ１１６に含まれている１つ以上のアイテム、および／または、マップデータ１１６に含まれている他のアイテムに対する測定値、寸法、距離、および／または情報を含むことができる。マップデータ１１６は、道路形状についての情報を有しているデジタルマップを含むことができる。マップデータ１１６は、高品質、および／または、高度に詳細であることができる。

【0050】

１つ以上の配置においては、マップデータ１１６は、１つ以上の地形マップ１１７を含むことができる。地形マップ１１７は、１つ以上の地形エリアの、地面、地形、道路、地表、および／または他の特徴についての情報を含むことができる。地形マップ１１７は、１つ以上の地形エリアにおける高度データを含むことができる。マップデータ１１６は、高品質、および／または、高度に詳細であることができる。地形マップ１１７は、舗装された道路、舗装されていない道路、土地の性質、および地表を画定する他の要素を含むことができる、１つ以上の地表を画定できる。

【0051】

１つ以上の配置においては、マップデータ１１６は、１つ以上の静的障害物マップ１１８を含むことができる。静的障害物マップ１１８は、１つ以上の地形エリア内に位置している１つ以上の静的障害物についての情報を含むことができる。「静的障害物」とは、その位置が、ある時間期間の間において変化せず、またはほとんど変化せず、および／または、そのサイズが、ある時間期間の間において変化せず、またはほとんど変化しない物理的対象物である。静的障害物の例としては、木々、建物、縁石、塀、垣、中央分離帯、電柱、彫像、記念碑、標識、ベンチ、家具、郵便箱、大きな岩、坂が挙げられる。静的障害物は、地表上を延伸する対象物であることができる。静的障害物マップ１１８に含まれている１つ以上の静的障害物は、位置データ、サイズデータ、寸法データ、材質データ、および／または、それと関連付けられている他のデータを含むことができる。静的障害物マップ１１８は、１つ以上の静的障害物に対する、測定値、寸法、距離、および／または情報を含むことができる。静的障害物マップ１１８は、高品質、および／または、高度に詳細であることができる。静的障害物マップ１１８は、マップされているエリア内の変化を反映するために更新できる。

【0052】

１つ以上のデータ格納装置１１５は、センサデータ１１９を含むことができる。この状況においては、「センサデータ」は、そのようなセンサについての機能および他の情報を含む、車両１００に装備されているセンサについての任意の情報を意味している。下記に説明されるように、車両１００は、センサシステム１２０を含むことができる。センサデータ１１９は、センサシステム１２０の１つ以上のセンサに関連させることができる。例として、１つ以上の配置においては、センサデータ１１９は、センサシステム１２０の１つ以上のライダーセンサ(LIDAR Sensor)１２４についての情報を含むことができる。

【0053】

幾つかの例においては、マップデータ１１６および／またはセンサデータ１１９の少なくとも一部は、車両１００上に位置している１つ以上のデータ格納装置１１５に位置させることができる。代替的に、または追加的に、マップデータ１１６および／またはセンサデータ１１９の少なくとも一部は、車両１００から遠く離れて位置している１つ以上のデータ格納装置１１５に位置させることができる。

【0054】

上記のように、車両１００は、センサシステム１２０を含むことができる。センサシステム１２０は、１つ以上のセンサを含むことができる。「センサ」とは、何かを検出および／または感知できる任意の装置、構成要素、および／またはシステムを意味している。１つ以上のセンサは、リアルタイムで検出および／または感知するように構成できる。ここにおいて使用されているように、「リアルタイム」という用語は、ユーザまたはシステムが、行われるべき特別なプロセスまたは決定に対して十分に迅速であると感じる、または、プロセッサが、ある外部のプロセスに遅れないでついていくことを可能にする処理応答性のレベルを意味している。

【0055】

センサシステム１２０が複数のセンサを含んでいる配置においては、センサは、互いに独立して機能できる。または、センサの２つ以上は、互いに組み合せて機能できる。そのような場合、その２つ以上のセンサは、センサネットワークを形成できる。センサシステム１２０および／または１つ以上のセンサは、プロセッサ１１０、データ格納装置１１５、および／または、車両１００の他の要素（図３に示されている要素の何れも含む）に機能的に接続できる。センサシステム１２０は、車両１００の外部環境（例えば、近くの車両）の少なくとも一部のデータを取得できる。

【0056】

センサシステム１２０は、任意の適切なタイプのセンサを含むことができる。異なるタイプのセンサの種々の例をここにおいて記述する。しかし、実施形態は、記述される特別なセンサに制限されないということは理解されるであろう。センサシステム１２０は、１つ以上の車両センサ１２１を含むことができる。車両センサ１２１は、車両１００自身についての情報を、検出、決定、および／または感知できる。１つ以上の配置においては、車両センサ１２１は、例えば、慣性加速度に基づいてのように、車両１００の位置および向きの変化を検出および／または感知するように構成できる。１つ以上の配置においては、車両センサ１２１は、１つ以上の加速度計、１つ以上のジャイロスコープ、慣性測定ユニット（ＩＭＵ）、推測航法システム、全地球航法衛星システム（ＧＮＳＳ）、全地球測位システム（ＧＰＳ）、ナビゲーションシステム１４７、および／または他の適切なセンサを含むことができる。車両センサ１２１は、車両１００の１つ以上の特性を検出および／または感知するように構成できる。１つ以上の配置においては、車両センサ１２１は、車両１００の現在の速度を決定するための速度計を含むことができる。

【0057】

代替的に、または追加的に、センサシステム１２０は、運転環境データを取得および／または感知するように構成されている１つ以上の環境センサ１２２を含むことができる。「運転環境データ」は、自律車両が位置している外部環境、またはその１つ以上の部分についてのデータまたは情報を含んでいる。例えば、１つ以上の環境センサ１２２は、車両１００の外部環境の少なくとも一部における障害物、および／または、そのような障害物についての情報／データを、検出、定量、および／または感知するように構成できる。そのような障害物は、静止物体および／または動的物体であってよい。１つ以上の環境センサ１２２は、例えば、車線マーカ、標識、交通信号機、交通標識、車線、横断歩道、車両１００に近接している縁石、道路外の物体などのような、車両１００の外部環境における他の物を、検出、測定、定量、および／または感知するように構成できる。

【0058】

センサシステム１２０のセンサの種々の例をここにおいて記述する。例としてのセンサは、１つ以上の環境センサ１２２および／または１つ以上の車両センサ１２１の一部であってよい。しかし、実施形態は、記述される特別なセンサに制限されないということは理解されるであろう。

【0059】

例として、１つ以上の配置においては、センサシステム１２０は、１つ以上のレーダーセンサ１２３、１つ以上のライダーセンサ１２４、１つ以上のソナーセンサ１２５、および／または１台以上のカメラ１２６を含むことができる。１つ以上の配置においては、１台以上のカメラ１２６は、ハイダイナミックレンジ（ＨＤＲ）カメラまたは赤外線（ＩＲ）カメラなどであることができる。

【0060】

車両１００は、入力システム１３０を含むことができる。「入力システム」は、情報／データをマシンに入力させることができる、任意の装置、構成要素、システム、要素または配置、またはそのグループを含んでいる。入力システム１３０は、車両の乗車人（例えば、運転手または乗車人）から入力を受信できる。車両１００は、出力システム１３５を含むことができる。「出力システム」は、情報／データを、車両の乗車人（例えば、人間、車両の乗車人など）に提示させることができる、任意の装置、構成要素、または配置、またはそのグループを含んでいる。

【0061】

車両１００は、１つ以上の車両システム１４０を含むことができる。１つ以上の車両システム１４０の種々の例は、図３に示されている。しかし、車両１００は、より多い、または、より少ない、または、異なる車両システムを含むことができる。特別な車両システムは別個に定義されているが、そのシステムまたはその部分のそれぞれ、または何れも、車両１００内のハードウェアおよび／またはソフトウェアを介して、違うように組み合わせること、または分割することができるとういうことは認識されるべきである。車両１００は、推進システム１４１、制動システム１４２、操舵システム１４３、スロットルシステム１４４、トランスミッションシステム１４５、信号システム１４６、および／またはナビゲーションシステム１４７を含むことができる。これらのシステムのそれぞれは、現在知られている、または後日開発される、１つ以上の装置、構成要素、および／またはその組み合わせを含むことができる。

【0062】

ナビゲーションシステム１４７は、車両１００の地理的位置を決定し、および／または、車両１００に対する走行ルートを決定するように構成されている、現在知られている、または後日開発される、１つ以上の装置、アプリケーション、および／またはその組み合わせを含むことができる。ナビゲーションシステム１４７は、車両１００に対する走行ルートを決定するための１つ以上のマッピングアプリケーションを含むことができる。ナビゲーションシステム１４７は、全地球測位システム、局所測位システム、またはジオロケーション（geolocation）システムを含むことができる。

【0063】

プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、種々の車両システム１４０、および／または、その個々の構成要素と通信するために、機能的に接続できる。例えば、図３に戻ると、プロセッサ１１０および／または自律運転モジュール１６０は、車両１００の動き、速度、操縦、進路、方向などを制御するために、種々の車両システム１４０に情報を送り、および／または、そこから情報を受信するために通信できる。プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、これらの車両システム１４０の幾つかまたはすべてを制御でき、そのため、部分的または完全に自律的であることができる。

【0064】

プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、種々の車両システム１４０、および／または、その個々の構成要素と通信するために、機能的に接続できる。例えば、図３に戻ると、プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、車両１００の動き、速度、操縦、進路、方向などを制御するために、種々の車両システム１４０に情報を送り、および／または、そこから情報を受信するために通信できる。プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、これらの車両システム１４０の幾つかまたはすべてを制御できる。

【0065】

プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、車両システム１４０の１つ以上、および／または、その構成要素を制御することにより、車両１００のナビゲーションおよび／または操縦を制御するために動作可能であることができる。例えば、自律モードで動作しているときは、プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、車両１００の方向および／または速度を制御できる。プロセッサ１１０、歩行者予測システム１７０、および／または自律運転モジュール１６０は、車両１００を加速させることができ（例えば、エンジンに提供される燃料の供給を増やすことにより）、減速させることができ（例えば、エンジンへの燃料の供給を減らすことにより、および／または、ブレーキをかけることにより）、および／または方向を変えさせることができる（例えば、２つの前輪の向きを変えることにより）。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な方法で、ある事象または行動を起こさせる、起こすように強いる、起こすように指図する、起こすように命令する、起こすように指示する、および／または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるように、させる、強いる、指図する、命令する、指示する、および／または、可能にするということを意味している。

【0066】

車両１００は、１つ以上のアクチュエータ１５０を含むことができる。アクチュエータ１５０は、プロセッサ１１０および／または自律運転モジュール１６０から信号または他の入力を受信することに応答して、車両システム１４０またはその構成要素の１つ以上を修正、調整、および／または変更するように動作可能な任意の要素または要素の組み合わせであることができる。任意の適切なアクチュエータを使用できる。例えば、１つ以上のアクチュエータ１５０は、幾つかの可能性を挙げれば、モータ、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド、および／または圧電アクチュエータを含むことができる。

【0067】

車両１００は、１つ以上のモジュールを含むことができ、その少なくとも幾つかは、ここにおいて記述される。モジュールは、プロセッサ１１０により実行されると、ここにおいて記述される種々のプロセスの１つ以上を実現するコンピュータ可読プログラムコードとして実現できる。モジュールの１つ以上は、プロセッサ１１０の構成要素であることができ、または、モジュールの１つ以上は、プロセッサ１１０が機能的に接続されている他の処理システム上で実行でき、および／または、他の処理システムの間で分散できる。モジュールは、１つ以上のプロセッサ１１０により実行可能な命令（例えば、プログラムロジック）を含むことができる。代替的に、または追加的に、１つ以上のデータ格納装置１１５は、そのような命令を含むことができる。

【0068】

１つ以上の配置においては、ここにおいて記述されるモジュールの１つ以上は、例えば、ニューラルネットワーク、ファジーロジック、または他のマシン学習アルゴリズムなどの、人工または演算知能要素を含むことができる。更に、１つ以上の配置においては、モジュールの１つ以上は、ここにおいて記述される複数のモジュールの間で分散できる。１つ以上の配置においては、ここにおいて記述されるモジュールの２つ以上は、単一のモジュールに組み合わせることができる。

【0069】

車両１００は、１つ以上の自律運転モジュール１６０を含むことができる。自律運転モジュール１６０は、センサシステム１２０から、および／または、車両１００に関する、および／または、車両１００の外部環境に関する情報を捕捉できる任意の他のタイプのシステムからデータを受信するように構成できる。１つ以上の配置においては、自律運転モジュール１６０は、１つ以上の運転シーンモデルを生成するために、そのようなデータを使用できる。自律運転モジュール１６０は、車両１００の位置および速度を決定できる。自律運転モジュール１６０は、障害物の位置、障害物、または交通標識、木々、低木、近くの車両、歩行者などを含む他の環境的特徴を決定できる。

【0070】

自律運転モジュール１６０は、複数の衛星からの信号に基づく、または、車両１００の現在の状態を決定するために、または、マップを作成するとき、または、マップデータに関しての車両１００の位置を決定するときの何れかの使用のために、その環境に関しての車両１００の位置を決定するために使用できる任意の他のデータおよび／または信号に基づく、グローバル座標における車両１００の位置および向きを推定するために、ここにおいて記述されるプロセッサ１１０および／またはモジュールの１つ以上による使用のために、車両１００の外部環境内の障害物に対する位置情報を受信および／または決定するように構成できる。

【0071】

自律運転モジュール１６０は、独立して、または、歩行者予測システム１７０と組み合せて、センサシステム１２０により取得されるデータ、運転シーンモデル、および／または、送信モジュール２３０により実現されるようなセンサデータ２５０からの決定のような、任意の他の適切な供給源からのデータに基づいて、走行経路、車両１００に対する現在の自律運転操縦、将来の自律運転操縦、および／または、現在の自律運転操縦に対する修正を決定するように構成できる。「運転操縦」とは、車両の動きに影響を与える１つ以上の行動を意味している。運転操縦の例としては、幾つかの可能性を挙げれば、加速、減速、制動、方向転換、車両１００の側方向への移動、走行車線の変更、走行車線への合流、および／または後退がある。自律運転モジュール１６０は、決定された運転操縦を実現するように構成できる。自律運転モジュール１６０は、直接または間接的に、そのような自律運転操縦を実現させることができる。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な方法の何れかで、ある事象または行動を起こさせる、起こすように命令する、起こすように指示する、および／または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるようにさせる、命令する、指示する、および／または、可能にするということを意味している。自律運転モジュール１６０は、種々の車両機能を実行し、および／または、データを車両１００またはその１つ以上のシステム（例えば、車両システム１４０の１つ以上）に送信し、およびそれらからデータを受信し、それらと相互作用し、および／またはそれらを制御するように構成できる。

【0072】

詳細な実施形態がここにおいて開示されている。しかし、開示されている実施形態は、例としてのみであることが意図されているということは理解されるべきである。従って、ここにおいて開示される特定の構造的および機能的詳細は、制限的に解釈されるべきではなく、請求項に対する根拠として単に解釈され、および、当業者が、実質的に任意の適切に詳述されている構造において、ここにおける態様を種々に採用することを教示するための代表的な根拠として単に解釈されるべきである。更に、ここにおいて使用されている用語およびフレーズは、制限的であることは意図されておらず、可能な実現形態の理解可能な記述を提供することが意図されている。種々の実施形態が図１～図６において示されているが、実施形態は、例示されている構造または適用に制限されない。

【0073】

図におけるフローチャートおよびブロック図は、種々の実施形態に係る、システム、方法、およびコンピュータプログラム製品の可能な実現形態のアーキテクチャ、機能、および動作を例示している。この点について、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実現するための１つ以上の実行可能な命令を備えているモジュール、セグメント、またはコードの部分を表わすことができる。幾つかの代替の実現形態においては、ブロックに記された機能は、図に記されている順序とは異なる順序で起こり得るということにも留意すべきである。例えば、関与する機能によっては、連続して示されている２つのブロックは、実際は、実質的に同時に実行でき、または、ブロックは、逆の順序で実行できることもある。

【0074】

上記のシステム、構成要素、および／またはプロセスは、ハードウェア、またはハードウェアとソフトウェアの組み合わせにおいて実現でき、および、１つの処理システムにおいて集中型で実現でき、または、異なる要素が幾つかの相互接続されている処理システムにわたり広がっている分散型において実現できる。ここにおいて記述されている方法を実行するために適合されている任意の種類の処理システムまたは他の装置は適切である。ハードウェアとソフトウェアの典型的な組み合わせは、展開されて実行されると、処理システムが、ここにおいて記述されている方法を実行するように処理システムを制御する、コンピュータ使用可能プログラムコードを有する処理システムであることができる。システム、構成要素、および／またはプロセスはまた、マシンが読み取ることが可能で、ここにおいて記述されている方法およびプロセスを実行するために、マシンにより実行可能な命令のプログラムを実体的に含んでいる、コンピュータプログラム製品、または他のデータプログラム格納装置のようなコンピュータ可読格納装置に埋め込むこともできる。これらの要素もまた、ここにおいて記述されている方法の実現形態を可能にするすべての特徴を備え、処理システムにおいて展開されると、これらの方法を実行できるアプリケーション製品に埋め込むこともできる。

【0075】

更に、ここにおいて記述されている配置は、含まれている、例えば、格納されているコンピュータ可読プログラムコード有している１つ以上のコンピュータ可読媒体に含まれているコンピュータプログラム製品の形状を取ることができる。１つ以上のコンピュータ可読媒体の任意の組み合わせを利用できる。コンピュータ可読媒体は、コンピュータ可読信号媒体、または、コンピュータ可読格納媒体であってよい。「コンピュータ可読格納媒体」というフレーズは、非一時的格納媒体を意味している。コンピュータ可読格納媒体は、例えば、下記に制限されないが、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、または、前述の任意の適切な組み合わせであってよい。コンピュータ可読格納媒体の、より具体的な例（すべてを網羅しているリストではない）としては、下記を挙げることができる。つまり、携帯型コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、リードオンリメモリ（ＲＯＭ）、消去可能型プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、携帯型コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、光学的格納装置、磁気格納装置、または前述の任意の適切な組み合わせを挙げることができる。この文書の状況においては、コンピュータ可読格納媒体は、命令実行システム、装置、またはデバイスによる使用のため、またはそれらと接続しての使用のためのプログラムを含む、または格納することができる任意の実体的な媒体であってよい。

【0076】

一般的に、ここにおいて使用されているように、モジュールは、特別な作業を実行し、または特別なデータタイプを実現するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含んでいる。更なる態様においては、メモリは、一般的に、上記のモジュールを格納している。モジュールと関連付けられているメモリは、プロセッサ内に埋め込まれているバッファまたはキャッシュ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、または他の適切な電子格納媒体であってよい。更なる態様においては、本開示により想定されるようなモジュールは、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）のハードウェア構成要素、プログラマブルロジックアレイ（ＰＬＡ）、または、開示される機能を実行するための、定義された構成セット（例えば、命令）と共に埋め込まれている他の適切なハードウェア構成要素として実現される。

【0077】

コンピュータ可読媒体上に含まれているプログラムコードは、下記に制限されないが、無線、ワイヤ線、光ファイバ、ケーブル、ＲＦなど、または前述の任意の適切な組み合わせを含む、任意の適切な媒体を使用して送信できる。本配置の態様に対する動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）^TM、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語または類似のプログラミング言語のような、従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせにおいて記述できる。プログラムコードは、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で全部を実行でき、または、ユーザのコンピュータ上で一部を実行でき、または、ユーザのコンピュータ上で一部、そしてリモートコンピュータ上で一部、または、リモートコンピュータまたはサーバ上で全部を実行できる。後者のシナリオにおいては、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続でき、または、外部コンピュータへの接続を行うことができる（例えば、インタ―ネットサービスプロバイダを使用するインターネットを通して）。

【0078】

ここにおいて使用されているように、「１つの」という用語は、１つ、または２つ以上として定義されている。ここにおいて使用されているように、「複数の」という用語は、２つ、または３つ以上として定義されている。ここにおいて使用されているように、「他の」という用語は、少なくとも第２の、または第３以降のものとして定義されている。ここにおいて使用されているように、「含んでいる」および／または「有している」という用語は、備えている（つまり、開かれている言語）として定義されている。ここにおいて使用されているように、「～および～の少なくとも１つ」というフレーズは、関連付けて一覧として挙げられるアイテムの１つ以上の幾つかおよびすべての可能な組み合わせのことであり、それらを含んでいる。例として、「Ａ、Ｂ、およびＣの少なくとも１つ」というフレーズは、Ａのみ、Ｂのみ、Ｃのみ、またはそれらの如何なる組み合せ（例えば、ＡＢ、ＡＣ、ＢＣまたはＡＢＣ）を含んでいる。

【0079】

ここにおける態様は、その精神またはその重要な属性から逸脱することなく他の形状で具現化できる。従って、その範囲を示すものとしては、前述の明細書ではなく、下記の請求項を参照すべきである。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
複数の歩行者の動きを予測するためのシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサと通信するメモリであって、初期軌道モジュール、出口点予測モジュール、経路プラニングモジュール、および調整モジュールを有しているメモリと、を備えており、
前記初期軌道モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の軌道を得るようにさせる命令を含んでおり、
前記出口点予測モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の軌道に基づいてシーンから、前記複数の歩行者に対する将来の出口点を予測させる命令を含んでおり、
経路プラニングモジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、前記複数の歩行者の、前記複数の歩行者が前記将来の出口点に到達するために取ると予測される経路である軌道経路を決定させる命令を含んでおり、
前記調整モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整させる命令を含んでいる、
システム。
〔態様２〕
少なくとも１つの予測される相互作用は衝突である、態様１に記載のシステム。
〔態様３〕
前記調整モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の前記少なくとも２人の間の衝突を回避するために、前記複数の歩行者の前記少なくとも２人の前記軌道経路を調整させる命令を更に備えている、態様２に記載のシステム。
〔態様４〕
前記初期軌道モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、混合密度ネットワークモデルを使用することにより、前記複数の歩行者の軌道を得るようにさせる命令を更に備えている、態様１に記載のシステム。
〔態様５〕
前記調整モジュールは、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、グラフニューラルネットワークモデルを利用することにより、前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、軌道経路を調整させる命令を更に備えている、態様１に記載のシステム。
〔態様６〕
前記複数の歩行者に対する軌道は、前記グラフニューラルネットワークモデルのノード特徴として前記グラフニューラルネットワークモデルに埋め込まれる、態様５に記載のシステム。
〔態様７〕
前記シーンは固定シーンである、態様１に記載のシステム。
〔態様８〕
前記シーンは、エゴ車両の動きに基づいて移動する、態様１に記載のシステム。
〔態様９〕
複数の歩行者の動きを予測するための方法であって、
前記複数の歩行者の軌道を得るステップと、
前記複数の歩行者の前記軌道に基づいてシーンから、前記複数の歩行者に対する将来の出口点を予測するステップと、
前記将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、前記複数の歩行者の、前記複数の歩行者が前記将来の出口点に到達するために取ると予測される経路である軌道経路を決定するステップと、
前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整するステップと、
を有している、方法。
〔態様１０〕
少なくとも１つの予測される相互作用は衝突である、態様９に記載の方法。
〔態様１１〕
前記複数の歩行者の前記少なくとも２人の間の前記衝突を回避するために、前記複数の歩行者の前記少なくとも２人の前記軌道経路を調整するステップを更に有している、態様１０に記載の方法。
〔態様１２〕
前記複数の歩行者の軌道を得るステップは、混合密度ネットワークモデルにより実行される、態様９に記載の方法。
〔態様１３〕
前記複数の歩行者の少なくとも２人の間の前記少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整するステップは、グラフニューラルネットワークモデルにより実行される、態様９に記載の方法。
〔態様１４〕
前記複数の歩行者に対する軌道は、前記グラフニューラルネットワークモデルのノード特徴として前記グラフニューラルネットワークモデルに埋め込まれる、態様１３に記載の方法。
〔態様１５〕
前記シーンは固定シーンである、態様９に記載の方法。
〔態様１６〕
前記シーンは、エゴ車両の動きに基づいて移動する、態様９に記載の方法。
〔態様１７〕
複数の歩行者の動きを予測するための非一時的コンピュータ可読媒体であって、
１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、
前記複数の歩行者の軌道を得るようにさせ、
前記複数の歩行者の軌道に基づいてシーンから、前記複数の歩行者に対する将来の出口点を予測させ、
前記将来の出口点と、マップの少なくとも１つのシーン要素とに基づいて、前記複数の歩行者の、前記複数の歩行者が前記将来の出口点に到達するために取ると予想される経路である軌道経路を決定させ、
前記複数の歩行者の少なくとも２人の間の少なくとも１つの予測される相互作用に基づいて、前記軌道経路を調整させる、
命令を備えている、
非一時的コンピュータ可読媒体。
〔態様１８〕
少なくとも１つの予測される相互作用は衝突である、態様１７に記載の非一時的コンピュータ可読媒体。
〔態様１９〕
前記非一時的コンピュータ可読媒体は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、前記複数の歩行者の前記少なくとも２人の間の衝突を回避するために、前記複数の歩行者の前記少なくとも２人の前記軌道経路を調整させる命令を更に備えている、態様１８に記載の非一時的コンピュータ可読媒体。
〔態様２０〕
前記シーンは、エゴ車両の動きに基づいて移動する、態様１７記載の非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】