特表 2022-546729 複雑な人間挙動に関するモジュール式予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-07

(54)【発明の名称】複雑な人間挙動に関するモジュール式予測

(51)【国際特許分類】

   G06N 7/00 20060101AFI20221028BHJP

   G06N 3/02 20060101ALI20221028BHJP

【ＦＩ】

G06N7/00 150

G06N3/02

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022514728

(86)(22)【出願日】2020-09-04

(85)【翻訳文提出日】2022-04-19

(86)【国際出願番号】 IB2020000713

(87)【国際公開番号】W WO2021044215

(87)【国際公開日】2021-03-11

(31)【優先権主張番号】17/011,854

(32)【優先日】2020-09-03

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/896,487

(32)【優先日】2019-09-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520211786

【氏名又は名称】ヒューマニシング オートノミー リミテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ドミニク ノイ

(72)【発明者】

【氏名】マシュー キャメロン アンガス

(72)【発明者】

【氏名】ジェームズ オーヴァー イブラード

(72)【発明者】

【氏名】ワシム エル ユーソフィ

(72)【発明者】

【氏名】ラウナック ボーズ

(72)【発明者】

【氏名】レスリー セース ノーテボーム

(72)【発明者】

【氏名】マヤ オードリー ララ ピンディアス

(57)【要約】

デバイスは、（例えば、自動運転車両を制御することに関して、）道路使用弱者（ＶＲＵ）が現在の経路を進むことになる確率を決定することを含む動作を実施する。デバイスは、道路使用弱者（ＶＲＵ）を描いた画像を受け取る。デバイスは、画像の少なくとも一部をモデルに入力し、モデルからの出力として、ＶＲＵを記述する複数の確率を受け取る。確率の各々は、ＶＲＵが所与の状態にある確率に対応する。デバイスは、複数の確率のうちの少なくともいくつかに基づいて、ＶＲＵが挙動を示すことになる確率を決定し、ＶＲＵが挙動を示すことになる確率を制御システムに出力する。

【特許請求の範囲】

【請求項1】

道路使用弱者（ＶＲＵ）を描いた画像を受け取るステップと、
前記画像の少なくとも一部をモデルに入力するステップと、
前記ＶＲＵを記述する複数の確率を前記モデルからの出力として受け取るステップであって、前記確率の各々が前記ＶＲＵの複数の異なる状態の各々に関する確率に対応する、ステップと、
前記複数の確率のうちの少なくとも二つ以上に基づいて、前記ＶＲＵが挙動を示すことになる確率を決定するステップと、
前記ＶＲＵが前記挙動を示すことになる前記確率を制御システムに出力するステップと
を備えることを特徴とする方法。

【請求項2】

前記挙動が、前記ＶＲＵが現在の経路を継続することであり、前記方法が、
前記複数の確率のうちの少なくとも二つ以上に基づいて、前記ＶＲＵが注意散漫である確率を決定するステップであって、前記ＶＲＵが前記現在の経路を継続することになる前記確率を決定することは、前記ＶＲＵが注意散漫である前記確率に基づく、ステップをさらに備えることを特徴とする請求項１に記載の方法。

【請求項3】

前記複数の確率のうちの少なくとも二つ以上に基づいて、前記ＶＲＵが注意散漫である前記確率を決定するステップが、
前記複数の確率のうちの所与の確率が条件付き独立性を有することを、前記所与の確率が閾値を超える場合に決定するステップと、
前記所与の確率が前記閾値を超えることの決定に応答して、前記所与の確率を使用して前記複数の確率のうちの少なくとも一つの他の確率を除外することにより、前記ＶＲＵが注意散漫である前記確率を決定するステップと
を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記条件付き独立性を定義するデータの構成に基づいて、前記複数の確率のうちの除外される前記少なくとも一つの他の確率を決定するステップ
をさらに備えることを特徴とする請求項３に記載の方法。

【請求項5】

前記モデルが、確率的グラフィカルモデルであることを特徴とする請求項１に記載の方法。

【請求項6】

前記確率的グラフィカルモデルが、マルコフネットワークとベイジアンネットワークとのうちの少なくとも一つであることを特徴とする請求項４に記載の方法。

【請求項7】

前記確率に対応する信頼度スコアを決定するステップと、
前記ＶＲＵが前記挙動を示すことになる前記確率と共に、前記信頼度スコアを前記制御システムに出力するステップと
をさらに備えることを特徴とする請求項１に記載の方法。

【請求項8】

前記ＶＲＵが前記挙動を示すことになる前記確率が、起こり得る結果に関する事後予測分布に基づいて決定され、前記信頼度スコアが、前記事後予測分布の広がりに基づいて決定されることを特徴とする請求項７に記載の方法。

【請求項9】

車両制御システムが前記命令を受け取り、前記車両制御システムは前記信頼度スコアに基づいて前記コマンドを考慮するかしないかを決定することを特徴とする請求項１に記載の方法。

【請求項10】

前記モデルが、ニューラルネットワークと確率的グラフィカルモデルとのうちのいずれかであることを特徴とする請求項１に記載の方法。

【請求項11】

ニューラルネットワークと確率的グラフィカルモデルとのうちのどちらが前記出力のより高い精度をもたらすことになるかを決定するステップと、
前記ニューラルネットワークと前記確率的グラフィカルモデルとのうちの、前記出力の前記より高い精度をもたらすことになる方を、前記モデルに選択するステップと
をさらに備えることを特徴とする請求項１０に記載の方法。

【請求項12】

前記モデルが、ドメインを考慮した訓練データの必要なしに複数のドメインにおいて適用可能であることを特徴とする請求項１に記載の方法。

【請求項13】

コード化された命令を保存したメモリを備える非一時的コンピュータ可読媒体であって、前記命令が、実行されたときに一つまたは複数のプロセッサに動作を実施させ、前記命令が、
道路使用弱者（ＶＲＵ）を描いた画像を受け取るための命令と、
前記画像の少なくとも一部をモデルに入力するための命令と、
前記ＶＲＵを記述する複数の確率を前記モデルからの出力として受け取るための命令であって、前記確率の各々が前記ＶＲＵの複数の異なる状態の各々に関する確率に対応する、命令と、
前記複数の確率のうちの少なくとも二つ以上に基づいて、前記ＶＲＵが挙動を示すことになる確率を決定するための命令と、
前記ＶＲＵが前記挙動を示すことになる前記確率を制御システムに出力するための命令と
を備えることを特徴とする非一時的コンピュータ可読媒体。

【請求項14】

前記挙動が、前記ＶＲＵが現在の経路を継続することであり、前記命令が、前記複数の確率のうちの少なくとも二つ以上に基づいて、前記ＶＲＵが注意散漫である確率を決定するための命令をさらに備え、前記ＶＲＵが前記現在の経路を継続することになる前記確率の決定が、前記ＶＲＵが注意散漫である前記確率に基づくことを特徴とする請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

前記複数の確率のうちの少なくとも二つ以上に基づいて前記ＶＲＵが注意散漫である前記確率を決定するための前記命令が、
前記複数の確率のうちの所与の確率が条件付き独立性を有することを、前記所与の確率が閾値を超える場合に決定するための命令と、
前記所与の確率が前記閾値を超えることの決定に応答して、前記所与の確率を使用して前記複数の確率のうちの少なくとも一つの他の確率を除外することにより、前記ＶＲＵが注意散漫である前記確率を決定するための命令と
を含むことを特徴とする請求項１４に記載の非一時的コンピュータ可読媒体。

【請求項16】

前記命令は、前記条件付き独立性を定義するデータの構成に基づいて、前記複数の確率のうちの除外される前記少なくとも一つの他の確率を決定するための命令をさらに含むことを特徴とする請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

コード化された命令を保存したメモリと、
一つまたは複数のプロセッサと
を備えるシステムであって、前記プロセッサが、前記命令を実行したとき、
道路使用弱者（ＶＲＵ）を描いた画像を受け取ることと、
前記画像の少なくとも一部をモデルに入力することと、
前記ＶＲＵを記述する複数の確率を前記モデルからの出力として受け取ることであって、前記確率の各々が前記ＶＲＵの複数の異なる状態の各々に関する確率に対応することと、
前記複数の確率のうちの少なくとも二つ以上に基づいて、前記ＶＲＵが挙動を示すことになる確率を決定することと、
前記ＶＲＵが前記挙動を示すことになる前記確率を制御システムに出力することと
を含む動作を実施させられることを特徴とするシステム。

【請求項18】

前記動作が、
前記確率に対応する信頼度スコアを決定することと、
前記ＶＲＵが前記挙動を示すことになる前記確率と共に、前記信頼度スコアを前記制御システムに出力することと
をさらに含むことを特徴とする請求項１７に記載のシステム。

【請求項19】

前記ＶＲＵが前記挙動を示すことになる前記確率が、起こり得る結果に関する事後予測分布に基づいて決定され、前記信頼度スコアが前記事後予測分布の広がりに基づいて決定されることを特徴とする請求項１８に記載のシステム。

【請求項20】

車両制御システムが前記命令を受け取り、前記車両制御システムが前記信頼度スコアに基づいて前記コマンドを考慮するかしないかを決定することを特徴とする請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複雑な人間挙動に関するモジュール式予測に関する。

【背景技術】

【0002】

関連出願の相互参照
本出願は、２０１９年９月５日に出願された米国特許仮出願第６２／８９６，４８７号明細書、および２０２０年９月３日に出願された米国特許出願第１７／０１１，８５４号明細書の利益を主張し、上記特許出願の内容全体を参照により本明細書に援用する。

【0003】

関連技法システムは、歩行者が自動運転または半自動運転車両によって（例えば、車両の経路内に存在することによって）危険にさらされることになるかどうかを予測しようと試みてきた。関連技法システムの中には、これらの試みに関連して、結果的に車両の経路内に存在する人々と結果的に車両の経路内に存在しない人々とに関する多くのビデオシーケンスを収集し、これらのビデオシーケンスを分析して、そのようなアクティビティの起こる可能性が高いかどうかをモデル化する。

【0004】

しかしながら、これらのモデルは、説明のつかない結果を生み出す。エンドツーエンドシステムは、起こり得る問題の明確な説明を可能にしないブラックボックス解決法である。これは、ソフトウェアを信頼できないものにし、適正な機能安全性の標準化を妨げることになる。このようなデータを生成すること、またはこのようなデータへのアクセスを得ることは、技術的に難しく、かつ、経済的に高くつくことになる。例えば、科学技術的な観点からは、関連技法システムにおけるこのようなデータは、ディープラーニングモデルを訓練するために手動でラベル付けされる必要があり、関連技法システムはデータを自動でラベル付けすることができていない。経済的な観点からは、ラベル付けは労働集約的なプロセスであり、したがってこれは、訓練された人間を雇ってラベル付けを実施するのに多大な費用を必要とし、また、主観的なラベル付けに起因した不一致を追加する可能性があることになる。さらにまた、このようなモデルでは、ドメインシフトおよび多様な環境に合わせることが妨げられてしまう。というのは、技術が使用されるべき適切なデータに基づいてモデル全体を再訓練させる必要があるためである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願第１６／８５７，６４５号明細書

【発明の概要】

【0006】

本明細書では、道路使用弱者（ＶＲＵ）が挙動（例えば、現在の経路を継続すること（例えば自動運転車両を制御することに関連して）が、注意散漫になる、道を横断しようとする、実際に道を横断する、車両に気付く、などに至る）を示すことになる確率を決定するためのシステムおよび方法を開示する。実施形態では、システムは、道路上の車両のカメラから撮影された画像などの、道路使用弱者（ＶＲＵ）を描いた画像を受け取る。システムは、画像の少なくとも一部をモデル（例えば、確率的グラフィカルモデルまたは機械学習モデル）に入力し、モデルからの出力として、ＶＲＵを記述する複数の確率を受け取る。これらの確率の各々は、ＶＲＵが所与の状態にある確率に対応する。システムは、複数の確率のうちの少なくともいくつかに基づいて、ＶＲＵが挙動（例えば、現在の経路を継続すること）を示すことになる確率を決定し、ＶＲＵが挙動を示すことになる確率を制御システムに出力する。ＶＲＵが挙動を示すことになる確率は、例えば、ＶＲＵの注意散漫に関して決定されたレベルに依存してもよい。

【図面の簡単な説明】

【0007】

【図1】一実施形態による、ＶＲＵ動き予測器に関する例示的なシステム環境を示す図である。

【図2】一実施形態による、ＶＲＵ動き予測器の例示的なモジュールおよびデータベースを示す図である。

【図3】一実施形態による、画像内のＶＲＵを識別することの例示的な実施形態を示す図である。

【図4】ＶＲＵが挙動を示すことになる確率を決定するためのディープラーニングアプローチの一実施形態を示す図である。

【図5】確率的グラフィカルモデルを使用して、ＶＲＵが挙動を示すことになる確率を決定するためのデータフローの一実施形態を示す図である。

【図6】動的ベイジアンネットワークのフレームワークにおいて組み合わせられる特徴に関する例の一実施形態を示す図である。

【図7】ＶＲＵが挙動を示すことになる信頼度の決定に使用される曲線を決定することに関する例示的な実施形態を示す図である。

【図8】ＶＲＵが挙動を示すことになる信頼度の決定に関する別の例示的な実施形態を示す図である。

【図9】ＶＲＵが挙動を示すことになる信頼度の決定に関する別の例示的な実施形態を示す図である。

【図10】例外ケースを検出する方式を描く一実施形態を示す図である。

【図11】ＶＲＵが挙動を示すことになる確率を決定するための例示的なデータフローを示す図である。

【0008】

図は、本発明の様々な実施形態を例証の目的でのみ描いている。本明細書で記述される本発明の原理を逸脱することなく、本明細書で例証される構造および方法の代替実施形態も採用され得ることを、当業者であれば後続の考察から容易に認識することになる。

【発明を実施するための形態】

【0009】

概観
本明細書では、ＶＲＵが挙動（例えば、現在の経路に沿って進む）を示すことになる確率を決定することによって、背景技術において記述された短所に対処するシステムおよび方法が記述される。例えば、自動運転車両および半自動運転車両の分野では、これらの車両はしばしば、知覚された歩行者のアクティビティに基づいてアクション（例えば、ブレーキをかける、クラクションを鳴らす、向きを変えるなど）を講じるかどうかに関する判断を行う。ＶＲＵが現在の経路を逸脱しようとしているかどうかということに対応する可能性が、車両がＶＲＵの軌道に基づいて動作すべきかどうか、または車両がこの軌道からの逸脱に基づいて動作すべきかどうかということについて情報を与えることになる。

【0010】

さらに、本明細書で開示される実施形態は、ＶＲＵが挙動（例えば、現在の経路を逸脱する）を示す可能性が高いかどうかを決定することをさらに超えて、その決定された確率が正確である可能性がどれくらい高いかに関する不確かさも引き出す。これにより、車両の制御システムは、システムが確率決定の精度にどれくらい確信があるかに応じて、確率決定を使用するか、捨てるか、または他の方法で重み付けするかどうかということを判断することができる。関連技法システムは、従来のディープラーニングモデルにおいて不確かさ決定を生成することの技術的困難から、不確かさ決定を生成することができなかった。不確かさ決定は、ドメインシフトに適用可能なモデルを作成するという付加的な技術的利点をもたらすことになる。

【0011】

さらに、不確かさ決定は、困難な状況でどのように車両が機能するかが示される必要のある行政の機能安全性テストなどの規制に合格することにおいて、自動運転または半自動運転の車両を支援するのにも有用である。本明細書で開示される不確かさ値の決定により、ユーザは、ソフトウェアが苦心することになる場合に対して明確な説明を提供するエッジケースを抽出することができる。例えば、不確かさ値は、車両制御システムがＶＲＵ予測ソフトウェアに依拠すべきときと、依拠すべきでないときとを決定することを可能にする。このような状況では、車両は、代替センサを使用して予測を実施すること、例えば視覚カメラからＬｉｄａｒなどの深度センサに切り替えることを決定することができる。制御システムはまた、車両の運行者または運転者に、センサを清掃するか、または、車両のメンテナンスを実施するよう通知することを決定することもできる。不確かな予測が頻発する際には、車両は、無線通信（Over The Air）更新およびメンテナンスが必要とされることを信号で通知することができる。これらの代替運行およびこの追加情報は、機能安全性テストについてはるかによく機能する、はるかに信頼性のあるシステムをもたらす。

【0012】

これらの予測が生成されるモジュール様式は、種々のセンサ位置、センサ種別、地理的位置（したがってＶＲＵの文化に基づく挙動の変化）、さらには種々の業界への、ドメインシフトを可能にする。モデルの説明可能性および明確な構成のおかげで、例えば文化的差異のせいでＶＲＵが異なる動きの規範を有する場合の予測を形成するなど、新しい状況に向けて機能するようにモデル全体を再訓練（エンドツーエンド解決法の場合のように）する必要はない。これは、予測が行われる際の原理が依然として有効であり、ドメイン変化を考慮に入れるために構成のわずかな面のみが調整を必要とすれば済むことになるからである。

【0013】

エッジケースに関しては、ＶＲＵおよび車両間のリスクをともなう相互作用に関するデータサンプルは、重要でない相互作用の存在よりもはるかに少ない。従来のディープラーニングモデルは、何百万ものサンプルを必要とすることになる。しかしながら、本明細書で開示されるシステムおよび方法は、はるかに少ないサンプルを用いて正確な予測を形成する。エッジケースは、訓練データセット中の過小表現のために起こる。したがって、評価中に、モデルは高い不確かさを出力することになる。これにより、管理者は、モデルの展開前または展開中にモデルを修正することができる。予測が失敗するときを知ることｍ。本明細書では、人間（例えば歩行者）の挙動を認識および予測するための関連技法システムを改善し、その結果として例えば自動運転車両における安全および効率メカニズムを改善するロバスト手法を使用するシステムおよび方法が開示される。これらの技法は一般に、自動運転または半自動運転車両における使用に関して記述されるが、関連技術における適用もまた本開示の範囲内である。関連技術の例は、道路沿いのインフラストラクチャおよび建物に造り付けられた（または他の方法で取り付けられた）静的カメラシステムのような、必ずしも車両の一部であるとは限らないカメラシステムを含む。他の関連技術は、ロボット（例えば、人の安全を確保するために工場環境における人の挙動を予測する必要があり得る製造ロボット、および配達ボット）、無人飛行機、農業応用例、家庭用および事務用機器、小売り応用例、ＩｏＴ応用例などを含む。

【0014】

本開示のいくつかの態様では、人々の挙動が別々の特徴に（例えば、１つまたは複数のモジュールを実行するプロセッサにより）分割されるシステムおよび方法が本明細書で記述される。このような特徴の例は、「人がどこを見ているか」、および「人が手に電話機を持っているか」である。このような特徴を引き出すために、本明細書で開示されるシステムおよび方法は「注視推定」などのコンピュータ視覚モデルを適用するが、これにより、システムおよび方法は、車両またはカメラに注視が向けられているときに誰かが車両を見ているかどうかを推論することができ、そしてこの推論は、人を負傷させるリスクに基づいて車両がその進行方向を変更または保持すべきかどうかの決定を推進することになる。ＶＲＵを含む画像に基づいて種々の特徴を決定するように種々のブランチを訓練するマルチタスクモデルなど、モデルについてのこれ以上の考察は、参照によりその開示全体が本明細書に組み込まれる２０２０年４月２４日に出願された保有者共通の特許文献１に記載されている。

【0015】

複数の特徴（例えば、注視、電話機使用など）を共に組み合わせることで、システムおよび方法は、「注意散漫」または「衝突リスク」インデックスなど、より高レベルの特徴を認識することができる。本明細書で開示されるシステムおよび方法は、これらの特徴をこのように組み合わせることを、低バイアスのやり方で達成する。この低バイアスの様式は、上述の関連技法システムとは区別される。上述の関連技法システムは、せいぜい、因果的方式（例えば、人が車両を見ておらず手に電話機を持っている場合は、人は横断する可能性が高い）で特徴を組み合わせている。これらの様々なインデックスに関する低バイアスの決定は、例えば、車両の進路変更、車両の運転者または他の管理者へのアラート、歩行者へのアラート（例えば、クラクションを鳴らさせることによって）などに与えることになる。

【0016】

本明細書で開示されるシステムおよび方法は、これらの特徴を組み合わせることを、例えば確率的グラフィカルモデル（ＰＧＭ）フレームワークを使用して達成する。これは、シンボリック確率的ＡＩおよびディープラーニングを融合させる。これは、調査者によって特定可能な変数間の非常に複雑な関係を捉えることが可能となることによって、上述の関連技法システムとは区別される。加えて、モデル予測の不確かさ推定を得ることも可能である。例えば、注意散漫になっている人は、より危険性の高い横断決定をする傾向がより強いことが、観察研究によってわかっている。横断を予測するために、ＰＧＭを使用することが可能であり、このＰＧＭは、注意散漫を表す確率分布をともなう変数を、横断の意図を表す確率分布をともなう別の変数に直接に関係付ける。これらの変数は固定されたものではなく確率分布であるので、はるかに複雑な関係を取り込むことが可能となり、不確かさ値を抽出することが可能となる。

【0017】

因果的方式の例示的な欠点には、過度の単純化がある。特徴間の関係付けの仕方、および個々の特徴の離散化は、精度や正確度の低下、ならびに、個々の特徴およびそれらの組合せの性能を評価するのに使用できる情報の欠落につながる。この過度の単純化は、モデルの堅牢性の低下につながり、そしてこれは、車両がアクションに関する最適なコースを講じることの妨げとなる。

【0018】

自動化された意思決定により、本明細書で開示されるシステムおよび方法は、より多くの特徴を作成し、かつ、より多くのデータを得ることができ、これは、連続変数を含むはるかに複雑なモデルにつながる。連続変数を手動でラベル付けすることは、極度に困難であり、労力を要することである。二つのアプローチ、すなわち「ディープラーニングアプローチ」および「確率的グラフィカルモデル」が以下でさらに詳細に記述されるが、以下では、関連技術システムの制限を取り扱い、注意散漫のせいで車両の経路内に存在する者がいるかどうかを予測する例を用いて、この解決法について一通り説明する。これは例にすぎず、本明細書で開示されるシステムおよび方法を使用して、横断の意図、横断警告、現在経路の継続、注意散漫、気付きなどのような、所与の挙動の予測を実施することが可能となる。これらのアプローチが別々に記述されるが、本開示の一部としてハイブリッドモデルについても記述される。ハイブリッドモデルは、ディープラーニングモデルと確率的グラフィカルモデルとを組み合わせている。このようなアプローチの概要説明は、入力が連続変数および離散変数（例えばディープラーニングモデルによる出力）となるモデルであり、これらの変数特徴間の関係は、ＰＧＭを使用して専門知識によって定義される。このモデルにおける条件付き確率関数（例えば、注意散漫である人がいるか否かの確率を、その人の視角が与えられて記述する関数）は、ニューラルネットワークによって近似される。

【0019】

ディープニューラルネットワークのパラメータを推定するために、誤差逆伝搬法および勾配降下法を使用して損失関数を最小化することができる。損失関数は、最尤推定法（ＭＬＥ）から導出されることが可能であり、ＭＬＥは、データが与えられた場合に、最もよく適合するパラメータ値を見つけることになる。ＭＬＥの短所は、それが単一値を推定することである。しばしば、これらの最大推定値は、基礎となる確率分布の平均値から遠く、したがって、その結果は最適でない解決となることがある。具体的には、最もよく適合すると確信するモデルを構築する場合であっても、これは正しくないことがあり得る。このアプローチに関する別の短所は、モデルパラメータの分布の幅によって測定される不確かさに関する情報を、システムが持たないことがあり得るということである。

【0020】

いくつかの実施形態では、本明細書で開示されるシステムおよび方法は、ベイジアンアプローチに従う。このことは、システムおよび方法が、モデルパラメータの基礎となる分布を推定することを意味する。このことの例示的な利点は、システムが、テスト時（新しい観察のための）であっても不確かさの測定を得ることである。

【0021】

勾配降下法を使用する誤差逆伝搬アルゴリズムは、この結果を達成することができない。モデルパラメータの事後分布を推定するには、マルコフ連鎖モンテカルロ法および変分推論を使用する必要がある。このアプローチをディープニューラルネットワークに使用するとき、ディープラーニングモデルに使用されるパラメータが非常に多いせいで、このプロセスは極度に遅く、かつ、しばしば収束することがない。したがって、例えば変分オートエンコーダの例を除いては、これは頻繁には適用されない。しかしながら、本明細書で記述されるシステムおよび方法はより小さいモデルを使用する（解釈可能な変数および変数間関係をともなうＰＧＭを使用することによって）ので、そのシステムおよび方法は、ベイジアンアプローチを使用することができ、パラメータ学習および推論は、素早くかつ実行可能となる。

【0022】

これらのアプローチの使用は、様々な利益をもたらす。例えばこれは、システムおよび方法が不確かさを取り込むことを可能にするが、このことは、車両のような危機的な意思決定および安全システムにとって重大である。というのは、車両はそれがどれくらい人間の発見に依拠できるか、または代替センサ（例えばＬｉｄａｒ）に依拠すべきかどうかということを認識することになるからである。別の例として、システムおよび方法は、すべてのケースを取り込むために何百万もの状況をラベル付けする必要なしに、エッジケースを発見し、より容易にバイアスを低減することができる。加えて、ソフトウェアは、はるかに高い解釈可能性かつ透明性を有しており、人はそれがいつなぜ失敗するのかを理解することができることになる。さらに、システムおよび方法は、その記述されたモデルを、はるかに素早く確実に、新しい環境および追加の応用例に合わせることができるようにさせる。このアプローチは、ニューラルネットワークを用いて拡張することが可能であり、これは両方の世界の最良をもたらす。すなわち、それはニューラルネットワークを使用して最もよく適合する関数を見つけることと、ベイジアンネットワークまたは動的ベイジアンネットワークを使用して解釈可能性を生成することとによる柔軟性のことである。

【0023】

図１は、一実施形態による、ＶＲＵ動き予測器に関する例示的なシステム環境を描いている。環境１００は、カメラ１１０、ネットワーク１２０、およびＶＲＵ動き予測器１３０を含む。カメラ１１０は、ＶＲＵの画像を取り込み、ネットワーク１２０を介してＶＲＵ動き予測器１３０に画像を送信する。カメラ１１０は、自動運転または半自動運転車両などの車両に対して典型的に動作可能な状態で結合されている。車両は、自動車（すなわち、任意の動力による四輪または二輪車両）であり得る。カメラ１１０は、車両に一体化されてもよく、またはスタンドアロン（例えば専用カメラ）もしくは一体型デバイス（例えば、車両に搭載されたスマートフォンなどのクライアントデバイス）であってもよい。カメラ１１０は一つしか描かれていないが、任意の数のカメラが車両に動作可能に結合されてよく、これらのカメラは、独立して動作してもよく（例えば、画像は相互と関係なく処理される）、または協調して動作してもよい（例えば、画像は相互と同期して取り込まれ、かつ、より広い視野を取り込むためにつなぎ合わせされる）。

【0024】

ネットワーク１２０は、インターネットなど、任意のデータネットワークであり得る。いくつかの実施形態では、ネットワーク１２０は、カメラ１１０へのローカルデータ接続であり得る。例えば、ＶＲＵ動き予測器１３０は、カメラ１１０が配置された車両に搭載して設置されることがあり得る。その配置は専用チップまたは専用デバイス上に搭載されてもよく、または、カメラ１１０と共にクライアントデバイスもしくは他の処理回路上に共存して搭載されてもよい。ＶＲＵ動き予測器１３０は、画像を受け取り、画像内に表示されたＶＲＵが挙動を示す可能性が高い確率をその画像から決定する。例証の目的と便宜のために、挙動の例として、ＶＲＵが現在の経路に沿って進む（例えば、道路に飛び出すのではなく歩道に沿って移動し続ける）可能性が高いか否かということが全体を通して使用される。しかしながら、この例は限定されず、ユーザが現在の経路に沿って進む可能性が高いかどうかに関する考察の代わりに、ユーザが横断する意図、ユーザが実際に通りを横断すること、ユーザが注意散漫になること、ユーザが車両に気付くことなど、他の任意の挙動を示すことが予測され得る。これらの確率がどのように決定されるかについての詳細は、図２～１１に関してさらに詳細に記述される。いくつかの実施形態では、描かれてはいないが、ＶＲＵ動き予測器１３０は予測を制御システムに送信し、制御システムは、予測に基づいてアクション（例えば、車両の動きまたは機能を変更する、車両運転者にアラートする、など）を講じる。

【0025】

図２は、一実施形態による、ＶＲＵ動き予測器の例示的なモジュールおよびデータベースを描いている。図２に描かれているように、ＶＲＵ動き予測器１３０は、画像受領モジュール２２１、モデル選択モジュール２２２、注意散漫モジュール２２３、現在経路モジュール２２４、相互依存性モジュール２２５、信頼度スコア決定モジュール２２５、および候補モデル２３１を備える。図２に描かれているモジュールおよびデータベースは、例にすぎず、例証の便宜上使用される。より多数もしくはより少数のモジュール、および／または異なるモジュールが、本明細書で記述されるアクティビティのいずれかを達成するために使用されてもよい。

【0026】

画像受領モジュール２２１は、カメラ１１０から画像を受け取る。いくつかの実施形態では、画像受領モジュール２２１は、受領後の画像を処理しない。いくつかの実施形態では、画像受領モジュール２２１は、受領後の画像を（例えば、画像中の１つもしくは複数のＶＲＵおよび／または他の特徴を分離するおよび／または識別するために）処理する。これについては図３でさらに説明されており、ここに簡潔に注目することにする。図３は、一実施形態による、画像中でＶＲＵを識別することの例示的な実施形態を描いている。画像３００は、１つまたは複数のＶＲＵ３１０を含む。画像受領モジュール２２１は、画像内のＶＲＵ３１０を検出してこれらのＶＲＵの周りにバウンディングボックス３２０を適用することによって、画像を処理し得る。後でさらに説明されるように、バウンディングボックスは、画像自体に代えて、または、それらに加えてモデルへの入力として使用されてよく、したがって、画像の全体からノイズを除去することによって、処理力を節約し、より正確なモデル出力につながる。

【0027】

次いで、受け取られた画像（または、バウンディングボックスなど、その一部）は、モデルに入力される。任意選択で、現在経路モジュール２２２は、ＶＲＵが所与の状態（例えば注意散漫）にある確率を決定するために、入力をモデルに供給する。そうでない場合は、現在経路モジュール２２２は、注意散漫とは別の、または、それに加えての特徴に関する挙動（例えば、現在の経路に沿って進むこと）をＶＲＵが示すことになる確率を決定するために、入力をモデルに供給する。いくつかの実施形態では、画像が入力されるモデルは、ディープラーニングモデルまたは確率的グラフィカルモデルであり得る。まず、ディープラーニングアプローチについて説明を行う。ディープラーニングアプローチは、多階層回帰型ニューラルネットワーク（ＲＮＮ）を長・短期記憶（ＬＳＴＭ）（アテンション機構付きで）と共に使用し得る。これは、図４に関する例証において便宜上使用するが、他の任意のニューラルネットワーク解決法をこのアプローチにおいて使用することが可能である。

【0028】

図４は、ＶＲＵが挙動を示すことになる確率を決定するためのディープラーニングアプローチの一実施形態を描いている。図４に描かれているアクティビティは、現在の経路を継続することである。しかしながら、現在の経路を継続することに代えて、他の任意のアクティビティを使用することがあり得る。図４に示されるように、入力４１０は、各フレームにおけるＶＲＵに関する多数の特徴を示すベクトルである。このような各ベクトルの特徴の例は、描かれているように、電話機使用、注視推定、身体配向、姿勢推定を含む。ここには描かれていないが、ＶＲＵの他の任意の特徴またはアクティビティが入力４１０に含まれ得る。

【0029】

入力ＸはディープＬＳＴＭネットワーク４２０に入力され、各ＬＳＴＭはそれぞれの確率４３０を出力する（図４では、各ＬＳＴＭの個別の確率が確率Ｙとして示されている）。Ｙは、注意散漫に関する信頼度の値である。注意散漫モジュール２２２は、入力４１０中で示される特徴（例えば、「歩行者の追跡」、「注視推定」、および「電話機使用の検出」）のいくつかまたはすべてを組み合わせることによって、注意散漫についての信頼度の値を得る。信頼度の値がどのように計算されるかに関するこれ以上の考察は、信頼度スコア決定モジュール２２５に関連してさらに詳細に後述される。システムはノイズが多い（したがって確率をともなって動作するのがより安全である）ことから、Ｙは確率値であって厳密には値ではない。ディープＬＳＴＭネットワーク４２０（多対多）は、「注意散漫」に関するこの確率値を正解データとして受け取る。ＸはディープＬＳＴＭネットワーク４２０に供給され、次いでディープＬＳＴＭネットワーク４２０は、多次元時系列の潜在表現を通して、ＸからＹへのマッピングを学習する。ＬＳＴＭに対する他の入力もまた本開示の範囲内である。

【0030】

ディープＬＳＴＭモデル４００は、歩行者が未来に注意散漫になる確率に関する予測をシステムが行うのを可能にし、この予測は、歩行者が挙動（図４の例では、現在経路を継続すること）を示すことになると推論する。すなわち、現在経路の継続＝Ｐ（ＣＣＰ）４４０となる。通常状況データと危機的状況データの両方にわたる多数の特徴の出力を比較するとき、現在経路モジュール２２２は、どの特徴組合せがＰ（ＣＣＰ）４４０の推定に重要であるかを定義することができる。現在経路モジュール２２２は、Ｐ（ＣＣＰ）４４０を制御システムに出力することができ、制御システムは、出力に基づいてアクティビティを実施することができる。例えば、Ｐ（ＣＣＰ）４４０が、ＶＲＵが車両の経路に存在することになることを示す場合、制御システムは、前に算出されたＰ（ＣＣＰ）４４０を車両挙動（例えば、車両の予測された経路）と組み合わせて、車両がその経路を変更すべきかどうかを決定し得る。制御システムは、任意の所与の挙動について予測された確率に基づいて、同様に動作し得る。

【0031】

ディープＬＳＴＭモデル４００は、時系列においてより早く起こった重大な情報が忘れ去られないことは、その分析を連続する画像から導出されたデータに対して実施し、出力Ｙをネットワークに沿って前方に供給することにより、確実にしている。実施形態では、特定のイベントに対してより大きい重みを与えるために、アテンション機構が使用され得る。これについての例は、現在経路モジュール２２２が、視角（例えば、ＶＲＵ３１０に対して相対的なカメラ１１０の角度）を入力としてＰ（ＣＣＰ）を算出しているときである。ディープＬＳＴＭネットワーク４００は、ある人が車両を見ているときには（例えば、ＶＲＵは車両の存在に気付いているので）その人はより危険性が低いことを自己学習することになり、したがって、車両を見ている人がいるかどうかに対してより大きい重みを適用することになる。

【0032】

実施形態では、ディープＬＳＴＭモデル４００の出力は、自動運転車両などの、車両の意思決定モジュールなどの制御システムに供給される。例えば、意思決定モジュールは、信頼度の値などの、ＬＳＴＭ出力に対応する閾値を有し得る。各段における信頼度の値（例えば、９０～１００％の注意散漫確率か、５０～６０％の注意散漫可能性か）は、種々の反応（例えば、車両を停止させることか、車両を５ｋｐｈに減速することか、またはクラクションを鳴らすことか）にマッピングされ得る。ＬＳＴＭ出力は、時間の経過にわたって監視されることがあり、それにより、車両は、信頼度の値が変化するのにともなってその挙動を継続的に適応させる（例えば、クラクションを鳴らした後、ＬＳＴＭは、クラクションを鳴らすことを入力４１０の特徴として取り入れ、ユーザが注意散漫でないことの高い信頼度を出力し、したがって正常な車両の進行方向が再開される）。

【0033】

ディープラーニングアプローチの例示的な利点は、入力および出力の特徴に関する十分にラベル付けされた（正解）データがある場合には、高い精度を得るのに最も有望なアプローチであり得ることである。ディープラーニングアプローチのみを使用することの例示的な欠点は、それがブラックボックスであることである。人間の観察者は、その意思決定、ならびに各画像の各個別特徴に関する貢献および相互作用を理解しないことになる。このことは、ディープラーニングモデル４００が失敗したとき、またはディープラーニングモデル４００にバイアスがあるときに、人間の観察者は、どの特徴が関連するかがわからないことになることを意味する。ネットワークはまた、頻度の低い特徴組合せ（例えば、後ろ向きに歩いている歩行者）を学習しないことがあり、これは運転状況では重大であり得る。最後に、モデルは、何百万ものパラメータを有し、そのせいで、非常に遅く、即時に作動し始めるのが難しい。

【0034】

確率的グラフィカルモデル（ＰＧＭ）アプローチに移るが、ＰＧＭは、ノード（確率変数）およびエッジ（確率変数間の関係）を含む。二つのタイプのＰＧＭ、すなわちマルコフネットワークおよびベイジアンネットワーク（例えばビリーフネットワークとも呼ばれる）がある。マルコフネットワークは無向グラフであり、ベイジアンネットワークは有向グラフ（例えば有向非巡回グラフ）である。本開示のいくつかの実施形態では、特徴が相互に一定方向に影響し合う可能性が高いので、ベイジアンネットワークが実装される。ベイジアンネットワークは、同時分布を、事後確率を得ることができる因子（これらは事前確率および条件付き確率である）に分解することによってモデル化する。これは図５でより詳細に示される。

【0035】

図５は、ＶＲＵがアクティビティを実施することになる確率を、確率的グラフィカルモデルを使用して決定するためのデータフローの一実施形態を描いている。この場合もやはり、図５は、説明的な例として、現在の経路を継続することに関する予測に影響する特徴を使用する。しかしながら、同様のメカニズムを通して、本明細書で言及される他の任意の挙動が予測され得る。図５に示されるように、ベイジアンネットワーク５００の因子は、姿勢推定５１０、身体配向５２０、注視推定５３０、電話機使用５４０、注意散漫５５０、および現在経路の継続５６０を含む。これらの因子は例にすぎず、任意の因子が使用され得る。ここで描かれているように、姿勢推定５１０は身体配向５２０に直接に影響する。注視推定５３０および電話機使用５４０は、身体配向５２０と共に、注意散漫５５０に直接に影響する。注意散漫５５０は、現在経路の継続５６０に直接に影響する。ベイジアンネットワーク５００は静的ネットワークであり得る。図５に関して記述される因子は各々、ＶＲＵの様々に可能な状態に対応する。

【0036】

同時確率分布Ｐ（ＣＣＰ｜Ｄ，ＰＵ，ＧＥ，ＢＯ，ＰＥ））は、Ｐ（ＣＣＰ｜Ｄ）＊Ｐ（Ｄ｜ＰＵ，ＧＥ，ＢＯ）＊Ｐ（ＢＯ｜ＰＥ）＊Ｐ（ＧＥ）＊Ｐ（ＰＥ）＊Ｐ（ＰＵ）に因子分解されることが可能であり、ここで、ＣＣＰ＝現在経路の継続、Ｄ＝注意散漫、ＰＵ＝電話機使用、ＧＥ＝注視推定、ＢＯ＝身体配向、およびＰＥ＝姿勢推定である。この因子分解は、各因子がどれくらいＰ（ＣＣＰ）に影響するかを明確に示す。

【0037】

いくつかの状況では、特徴間に条件付き独立性がある。相互依存性モジュール２２３は、特徴の値が下流特徴における高い信頼度に対応するかどうかを決定する。例えば、相互依存性モジュール２２３は、下流特徴に対応する信頼度の値を閾値と比較し、信頼度の値が閾値を満たす場合および／または超える場合は、相互依存性モジュール２２３は、特徴の値がその下流特徴の高い信頼度に対応すると決定する。特徴の値が下流特徴における高い信頼性に対応すると決定するのに応答して、相互依存性モデル２２４は、条件付き独立性を識別し、下流特徴に影響する他の特徴を考慮から除外する。例えば、図５の考察に従うと、相互依存性モジュール２２３は、注視推定が「注意散漫」における高い信頼度を有すると決定することができ、それに応答して、次の式に示されるように、身体配向および電話機使用が影響を及ぼしあわないと決定することができる。すなわち、Ｐ（ＣＣＰ｜Ｄ，ＰＵ，ＧＥ，ＢＯ，ＰＥ）＝Ｐ（ＣＣＰ｜Ｄ，ＧＥ）である。この結果、パラメータが大きく削減され、それにより、モデルの効率が劇的に改善する。条件付き独立性は、専門知識（例えば、閾値を確立するのに使用されるような）によって決定され得る。代替的方法または付加的方法として、条件付き独立性は、種々のセットアップの性能を（例えば、変数間の接続のランダムな割当てを通して）自動的に比較することによって決定され得る。相互依存性は、ここでは現在の経路を継続することに関して説明されているが、これは例にすぎず、ＶＲＵに関する任意の挙動を予測するのに使用され得る。

【0038】

図４に描かれるようなＬＳＴＭモデルと同様、ＰＧＭの出力は、車両の意思決定モジュールなどの制御システムによって使用されて、例えば、現在の経路または進行方向を変更するかそれとも現状を継続するかが決定され得る。ＰＧＭ出力を一定時間にわたり監視し得ることで、それにより、制御システムは、歩行者の注意散漫レベルが変化するのにともなって車両の進路を更新することができる。

【0039】

ベイジアンネットワークでは、例えば、現在位置の推定値を以前の位置、動きモデル、およびいくつかの潜在変数で条件付けることによって更新することで、特定の瞬間に更新されることから利益を受け得るパラメータがある。しかし、オンラインで推定されることが可能なパラメータもある。例えば、本当の「隠された」位置を歩行者の測定位置に関係付ける測定ノイズによって生み出される分散である。これらの推定を実施するために様々なアルゴリズムが使用され得る。例えば、極度に精密なアルゴリズム（厳密推論、マルコフ連鎖モンテカルロ法）があり、厳密さは劣るがより高速な近似法（例えば、変分推論、仮定密度フィルタリング）がある。

【0040】

問題の変数の確率分布が、今後の観察によって変化すると想定されるかどうかに応じて、現在経路モジュール２２２は、これらのオンラインとオフラインのうちの一方または両方の推論アルゴリズムを使用し得る。オフライン近似アルゴリズムは、ＭＣＭＣおよび変分推論のような、すぐ上で言及されたものである。オフライン推論は、訓練セットからモデルを訓練する間に行われる。したがって、これは学習とも呼ばれる。テスト時間中（例えば運転中）に新しい観察に直面したときは、予測を行うために現在経路モジュール２２２はオンライン推論を適用するが、これは、信頼できる推定値を即時に得るために（例えば、仮定密度フィルタリング、粒子フィルタリングを通して）モデル分布からサンプリングするための非常に迅速な方法である。現在経路モジュール２２２は、例にすぎず、ＶＲＵが現在経路の継続とは異なる挙動を示すことになるかどうかを予測することに特化したモジュールによって置換または拡張されてもよい。

【0041】

図５は静的ネットワークについて記述しているが、代替的または付加的に動的ＰＧＭが使用されてもよい。静的ネットワークは、人間が現在観察する（例えば、その瞬間におけるある人の注意散漫インデックスを、その人が携帯電話を手に持っているかどうかとその人への注視推定とに基づいて決定する）ことができる特徴に注目する。動的ネットワークは、未来にそれら自体および他の特徴に影響する特徴（例えば、ある人が注意散漫であるかどうかを予測するが、これは「身体配向」、「注視推定」、および「電話機使用」に影響される）を有する。さらに、動的ネットワークにおける変数は、時間の経過に伴って相互に影響し合う（例えば、歩行者がどこを見ているかは、歩行者がその前にどこを見ていたかに影響される）。動的ＰＧＭを取り扱うために、本明細書で開示されるシステムおよび方法は、動的ベイジアンネットワーク、マルコフモデル、隠れマルコフモデル、および拡張カルマンフィルタを実装する。同時確率分布の場合のパラメータ推定のために、変分推論およびモンテカルロマルコフ連鎖が使用されることになる。これは図６に関連してさらに記述される。

【0042】

図６は、動的ベイジアンネットワークのフレームワークにおいて特徴が組み合わせられる例の一実施形態を描いている。図５に関連して記述されたＰＧＭのように、ベイジアンネットワーク６００は、特徴間の時間的依存関係をモデル化し、したがって予測に使用されることが可能である。図示の矢印は、上流変数が影響し得る変数を図説する。左から右に向かって、矢印は、後続の時点における未来の一連の画像の特徴に関する予測を示し、そこでは先行の特徴が未来の特徴に影響する。これは、動的ベイジアンネットワークの例証の下で例示的な因子分解によって表現される。

【0043】

いくつかの実施形態では、モデル選択モジュール２２４は、動的ＰＧＭを（前述のようなＬＳＴＭまたは静的ＰＧＭの代わりに）実装することが有利であると決定する。例えば、動的ＰＨＭを使用することの利点は、システムが（図６に示されるような有向グラフを通して）モデルの知識を有することと、条件付き独立性の制約とを含んでおり、この制約は、（例えば、前述のようにいくつかのパラメータは相互依存性により取るに足らないものになっているので）パラメータ空間を縮小する。システムは、いくつかの競合するグラフ構造のうちで最良のものを選択する。その決定を解釈するのはより容易であり、個別の特徴が認識可能でないときでも、それは実施すべきモデル全体を制限することはない。

【0044】

ラベル付けされたデータの量およびタスク複雑性に基づいて、モデル選択モジュール２２４は、ＬＳＴＭを適用するか、動的な確率的グラフィカルモデルを適用するか、またはこの２つの組合せを適用するかを決定する。有利な実装を最大限に活用するために、いくつかの実施形態では、離散変数があるシナリオで動的ＰＧＭが使用され得る。さらに、いくつかの実施形態では、連続変数が使用されるときに、動的モデルについての条件付き確率が線形的に近似される。この場合もやはり、方法にかかわらず、動的ＰＧＭの出力は、例えば自動運転車両による意思決定を駆動することになり、この車両は人間のアクティビティまたは注意散漫の信頼度に基づく反応的な意思決定を継続する。

【0045】

ハイパーパラメータを調整して最良モデルを自動的に探索するためのグリッド探索および／またはベイズ最適化アルゴリズムなど、様々なアルゴリズムを使用することにより、ディープラーニングを使用するかそれともＰＧＭアプローチを使用するかを自動的に決定することができる。次いで、ＶＲＵ動き予測器１３０は、予測精度を使用して、どれが最もよく機能するかを決定し得る。いくつかの実施形態では、どの結果がよりよいかを決定するために、ＶＲＵ動き予測器１３０は、種々の妥当性検証テストセットに対する、種々のモデルおよびモデル構成の予測の精度を比較し、現在のシナリオに似ているテストセットに対してより正確に機能したモデルを使用し得る。実施形態では、ＶＲＵ動き予測器は、生成的アプローチを使用して、ＰＧＭとニューラルネットワークの両方からデータを生成してこれを現実世界のデータと比較し得る。事後予測チェックを使用して、ＶＲＵ動き予測器１３０は、データを生成してそれがどれくらい類似するかを確認し得る。いくつかの実施形態では、ＶＲＵ動き予測器１３０は尤度比検定を使用し得るが、これにより、様々な複雑性を有する二つのモデルがある場合に使用することが可能である。これらは各々、これらがどれくらいよくデータに適合するかに関する値を出力する。所与のモデルがより少ないパラメータを用いて同じ品質を予測できる場合、ＶＲＵ動き予測器１３０はそのモデルを選択することになる。というのは、それは過剰適合がより少ない可能性が高いことになるからである。いくつかの実施形態では、ＶＲＵ動き予測器１３０は、各パラメータにつき、有意性値を生成して、それらがどれくらいよく最終結果に貢献することになるかを決定し得る。いくつかの実施形態では、探索的分析を行って、変数間に関係があるかどうかが確認することがなされる。これらが複雑（非線形）であろうとなかろうと、ＶＲＵ動き予測器１３０は、どのアプローチがよりよく機能するか、および、あるパラメータが組み込むことに関連があるか否かを決定し得る。

【0046】

ほとんどのベイジアンネットワークでは、変数は離散的であり、条件付き確率は、可能な組合せのテーブルによって表される。以下の表１に示される注意散漫の予測確率の離散化が例であり、これはＰ（Ｄ_dich｜ＧＥ_dich，ＰＵ_dich）に従う。ここで、「ｄｉｃｈ」は、変数が二値化（１または０）されることを意味する。

【0047】

【表1】

【0048】

離散化が使用される場合、現在経路継続モジュール２２２はしたがって、二値の出力を使用して、ＶＲＵが現在の経路を継続しようとしているか否かの何れかを出力するに至ることができる。これらの二値の出力は、正確に言えばその出力がどれくらいになる可能性が高いかを示す信頼度レベルと結合され得る。この場合もやはり、ＣＣＰ、ＧＥ、およびＰＵは例示にすぎず、他の特徴に基づいてＣＣＰの代わりに他の挙動も予測され得る。

【0049】

上記では確率的モデルとディープラーニングモデルとが別々のオプションとして考察されたが、すべてのオプションを利用するハイブリッドモデルも使用され得る。例えば、連続変数または多次元変数の場合、ベイジアンネットワークにおける条件付き確率についてのよりフレキシブルな表現が実装される。ニューラルネットワークとベイジアンネットワークとをＰＧＭにおいて組み合わせることで、連続変数の非線形条件付き確率のモデル化が可能である。これは、ニューラルネットワークと同じくらい堅牢かつ柔軟でありながらも、不確かさに関する情報と、物理的に妥当な関係を変数間に差し込む能力とを提供する。

【0050】

確率的グラフィカルモデルは、任意のモデルを確率的な方式で構築するための一般的なフレームワークである。モデル選択モジュール２２４は、条件付き確率関数を構築することによって、相互に影響し合う解釈可能な変数を一つの方向（因果関係）に組み合わせることができる。これらの関数は通常、非常に単純なモデルであり、モデル学習の間、目標はこれらのパラメータを推定することである。厳密推論アルゴリズム（例えば、変数除去法、クリークツリーアルゴリズム）によって、これを達成することが可能である。しかしながら、モデルがより複雑になったとき、その親が与えられた変数にわたる事後分布を推定することは至難になり得る。このような実施形態では、モデル選択モジュール２２４は、マルコフ連鎖モンテカルロ（ＭＣＭＣ）などの近似アルゴリズムを使用してパラメータを推定し得る。しかしながら、ＭＣＭＣの短所は極度に遅いことであり、モデルが（例えばディープラーニングによって）あまりに大きくなったとき、これらのアルゴリズムは、迅速に収束しないことがあり、あるいは一生のうちにさえも収束しないことすらある。

【0051】

したがって、ディープニューラルネットワークのような高度にパラメータ化されたモデルは通常、確率的グラフィカルモデルフレームワーク内では実装されない。ディープニューラルネットワークは、パラメータにわたる確率分布を推定する代わりに、パラメータの点推定値を出す最尤推定法を使用する。点推定値は、テスト時間中にモデルの不確かさに関するより適正な推定値を得ることができないようにする。それにもかかわらず、より最近では、より高速な推論アルゴリズムが開発されていた。これらの推論アルゴリズムは、より単純な分布を提案することによってパラメータにわたる事後分布を近似し、真の事後分布とその提案されたより単純な分布との間のＫＬダイバージェンスを低減するための最適化を使用することができる。これは推論を最適化問題に変えるが、そのためには、変分推論アルゴリズムを使用して変分オートエンコーダを構築する。これは、確率的グラフィカルモデルがディープニューラルネットワークを統合する場合の、現在最も普及している例である。しかしながら、テスト時に高速な予測を行うのが望ましい場合、モデル選択モジュール２２４は、より高速なアルゴリズムを使用してよいし、かつ／またはより小規模なモデルを構築してもよい。

【0052】

条件付き独立性を負わせることによって、モデル選択モジュール２２４は、モデルのサイズを縮小して、即時予測を可能にする。具体的には、モデル選択モジュール２２４は、前述のようなベイズネットワークを使用して、条件付き分布関数をニューラルネットワークで置き換え得る。これはパラメータの数を増加させることになるが、それでもこれらは、完全に接続されたニューラルネットワークを使用するよりもはるかに少ないパラメータである。これは、不確かさの推定値と、モデル内の変数間の関係を定義するために専門知識を使用する能力とをなおもたらしつつ、ＰＧＭをはるかにより柔軟にする。

【0053】

例えば、条件付き確率Ｐ（Ｙ｜Ｘ）がガウス関数に従い、ＸおよびＹが連続的であるという仮定に基づき、ＶＲＵ動き予測器１３０は、ニューラルネットを通して各Ｘ値に対するｙの母平均およびｙの標準偏差を推定する。いくつかの実施形態では、これはまた、複数の母平均、標準偏差および共分散を有するガウス混合モデルでもあり得る。これは、図７を参照してさらに理解することが可能である。図７は、ＶＲＵがアクティビティを実施することになることの信頼度の決定に使用される曲線の決定に関する例示的な実施形態を描いている。この場合もやはり、他のすべての例のように、これは、ＶＲＵが現在の経路を継続することに関して描かれているが、ＶＲＵが任意の挙動を示すことになることの信頼度の決定に一般化され得る。Ｘが二値（注意散漫か非注意散漫か）である実施形態では、ＶＲＵ動き予測器１３０は、Ｘクラスに条件付けられる平均および標準偏差を推定するニューラルネットワークを使用して、配向を別の連続変数に、例えば現在経路の継続に関係付ける。信頼度スコア決定モジュール２２５は、分布の広がりに基づいて、特定の決定それぞれに関する信頼度を決定する。すなわち、信頼度スコア決定モジュール２２５は、曲線における広がりのサイズ、標準偏差、平均、および／または他の任意の統計情報に基づいて、現在の経路を継続することの特定の確率に関する信頼度スコアを計算することができ、ここで、大きい広がりは高い不確かさに対応し、小さい広がりは低い不確かさに対応する。例えば、曲線７１０は、ＶＲＵが注意散漫でない確率を示し、曲線７２０は、ＶＲＵが注意散漫である確率を示す。この例では、ＶＲＵがその現在の経路を継続することになるかどうかは、ＶＲＵが注意散漫であるかどうかに基づいて予測され、信頼度は、曲線７１０および／または曲線７２０の広がりに依存することになる。この場合もやはり、注意散漫は、ＶＲＵがその現在の経路を継続することになるかどうかを決定する際の例示的な因子であり、他の任意の特徴を使用してこの挙動または他の任意の挙動を予測し得る。

【0054】

いくつかの実施形態では、異なる変数間の関係は、複雑かつ非線形である。このようなシナリオでは、モデル選択モジュール２２４は、モデルにおいて使用するためのニューラルネットワークを選択する。このような実施形態では、異なる変数に対して、異なる特徴モデルは異なる信頼度を有し得る。これは図８で例示される。図８は、ＶＲＵが挙動を示すことになることの信頼度の決定に関する別の例示的な実施形態を描いている。この場合もやはり、図８における注意散漫および現在経路継続の使用は例にすぎず、任意の特徴および挙動が使用され得る。図８に示されるように、ある人が非注意散漫状態と注意散漫状態との間にあるときは（曲線８２０、８３０、および８４０）、信頼度スコア決定モジュール２２５は、現在の経路を継続しようとしているかどうかにおいてより低い信頼度を計算する。ある人が注意散漫であるかまたは注意散漫でないと決定されたときは、信頼度スコア決定モジュール２２５は、現在の経路を継続しようとしているかどうかにおいてより高い信頼度を計算する（例えば、曲線８１０および８５０）。これは、ユーザが注意散漫状態であるかまたは非注意散漫状態であると予測される場合の確率曲線（狭い曲線を示す）に対して相対的に、中間の確率曲線は広い曲線を示すからである。次いで、現在経路モジュール２２２は、この不確かさをニューラルネットワークにモデル化し得る。

【0055】

図９は、ＶＲＵがアクティビティを実施することになることの信頼度の決定に関する別の例示的な実施形態を描いている。この場合もやはり、図８における注意散漫および現在経路継続の使用は例にすぎず、任意の特徴および挙動を使用し得る。いくつかの実施形態では、図９に示されるように、システムはＰ（ＣＣＰ）を、注意散漫に関係付けることによって連続変数としてモデル化する。図９でわかるように、このような注意散漫は、ある人が注意散漫であるときはより高いＰ（ＣＣＰ）につながることがあり（曲線９３０）、ある人が注意散漫でないときは非常に低いＰ（ＣＣＰ）につながることがある（曲線９１０および９２０）。というのは、人が注意散漫でないときは、車に対するより高い意識があるからである。システムが注意散漫をパラメータとして除外する実施形態では、これは、二つのｍｕ（正規分布の平均）と二つのｓｄ（標準偏差）とを有する多峰ガウス分布につながり得る。

【0056】

ＶＲＵ動き予測器１３０は、生成モデル（確率的グラフィカルモデル）内で複数の特徴および潜在変数を組み合わせ得る。識別モデル（ニューラルネットワークまたはサポートベクターマシンのような）とは対照的に、生成モデルは、ベイズ規則を使用して条件付き確率を得ることによって、関連するすべての変数の同時確率分布を推定して予測を行う。識別モデルは、条件付き確率分布を直接に取り込む。生成モデルを使用することは、様々な利点および少数の欠点をもたらす。いくつかの例示的な利点は、ａ）ＶＲＵ動き予測器１３０が専門知識を使用できること、ｂ）ＶＲＵ動き予測器１３０が変数間の因果関係を指定できること、ｃ）変数が解釈可能であること、ｄ）ＶＲＵ動き予測器１３０が、どのようにアルゴリズムがその決定を行うかに関する理解可能な出力を人間に提供できること、ｅ）ＶＲＵ動き予測器１３０が前提知識を使用できること、ならびに、ｆ）ＶＲＵ動き予測器１３０が変数、パラメータ、および予測における不確かさを取り込むことができること、を含む。

【0057】

さらに、ＶＲＵ動き予測器１３０が正しい因果関係を取り込む場合、生成モデルは、他のドメインに一般化可能である（ドメインシフトに対してより堅牢である）。すなわち例えば、ＶＲＵ動き予測器１３０は、歩行者パターンを規制する種々の文化的規範が行き渡り、今後も上手くいくことになる場合に、使用され得る。特に、ＰＧＭ（一種の生成モデル）は、我々が十分な専門知識を有する場合には強力なツールである。というのは、人間は自分たちの世界観に従ってモデルにバイアスを与える可能性があり、これは、それらのバイアスが正しい限りは利点になるからである。

【0058】

一方、識別モデル（特にディープニューラルネットワーク）は、ａ）複雑な関数を近似する際に非常に強力であり、ｂ）これらのモデルのための非常に効率的な訓練アルゴリズムが利用可能であり、ｃ）これらは適合がより容易であり、ｄ）このようなモデルは通常、手近な問題に関する十分な量のデータを人間が有していれば生成モデルよりも高い精度（より小さいバイアスで）を達成する。

【0059】

本明細書で記述されるハイブリッドモデルは、両方のアプローチを組み合わせる。このような実施形態では、ＶＲＵ動き予測器１３０は、ＰＧＭをベースモデルとして使用する。ＶＲＵ動き予測器１３０は、管理者が例として頭部配向、電話機使用、過去の動き履歴、および注意散漫と、横断する意図との間の特定の因果関係および確率分布を提供する場であるメモリを含む。テスト時、管理者は、注意散漫または横断する意図の確率について、そのすべての親変数が与えられた場合のそれらの条件付き確率を計算することによって確率分布を入手し得る。通常は、正規分布、ガンマ分布、ベータ分布などの単純な分布が（変数の特定の属性に応じて）使用される。しかしながら、より高い柔軟性を達成するために、条件付き確率分布は、任意数のノードおよびレイヤを有するニューラルネットワークで置き換えられることが可能である。したがって、この組合せは、生成モデルと識別モデルの両方の利点を活用する。

【0060】

このハイブリッドバージョンを使用することの利点の具体例を提供するために、ハイブリッドモデルが例外ケースを検出できる場合のエッジケース検出を考慮してみる。図１０は、例外ケースを検出する方式を描く一実施形態を描いている。図１０を参照すると、通常のディープラーニングアプローチは、垂直線１０００を使用してＡおよびＢを分離することになる。ハイブリッドモデルは、垂直線１０００の左側に位置するＢの部分が挙動のこの集まりに属すると決定することになる。ニューラルネットワークは、入力空間から出力（例えばクラスラベル）への直接マッピングを学習し、ラベルから決定境界のパラメータを推定するが（図１０の垂直黒線を参照）、ハイブリッドアプローチは性質上、生成的であり、したがって、データを生成した分布をモデル化する。したがって、ハイブリッドモデルは、異なるクラスについてのデータがどのように見えるかを学習する。例えば図１０では、２つの正規分布が、基礎をなす分布として使用され、各分布は異なるクラスに属する。これらの分布のパラメータを知ることによって、ハイブリッドモデルは、図１０の左側のほんどの点が特定のモデル（クラス）に属する確率を提供することができる。これは、これらのモデルのいずれかに属することの低い確率を受け取る（これはエッジケースである）が、ハイブリッドモデルを用いると、システムは、ニューラルネットワークの決定境界（垂直線）の右側に平均を有する正規分布にこれが属すると正しく決定する。このようにして、例外ケースの重複もまた検出されることになり、そのために、ＶＲＵ動き検出器１３０は、この特定の挙動を識別するより多くのデータを集める必要がある。

【0061】

図１１は、ＶＲＵが現在の経路を継続することになる確率を決定するための例示的なデータフローを描いている。プロセス１１００は、ＶＲＵ動き予測器１３０が、道路使用弱者（ＶＲＵ）を描いた画像を（例えば、画像受領モジュール２２１を使用して）受け取ること（１１０２）で開始する。ＶＲＵ動き予測器は、画像の少なくとも一部を、モデル（例えば、候補モデルデータベース２３１から取り出されたディープラーニングモデル、静的または動的ＰＧＭ、またはハイブリッドモデル）に入力する（１１０４）。ＶＲＵ動き予測器１３０は、モデルからの出力として、ＶＲＵを記述する複数の確率を受け取る（１１０６）。確率の各々は、ＶＲＵが所与の状態にある確率に対応する。

【0062】

ＶＲＵ動き予測器１３０は、複数の確率のうちの少なくともいくつかに基づいて、ＶＲＵが現在の経路を継続することになる確率を決定する（１１０８）。実施形態では、ＶＲＵが現在の経路を継続することになる確率は、ＶＲＵが注意散漫である確率に依存する。ＶＲＵ動き予測器１３０は、ＶＲＵが現在の経路を継続することになる確率を制御システムに出力する（１１１０）。

【0063】

概要
本発明の実施形態に関する前述の記述は、例証の目的で提示されている。これは、網羅的なものとは意図されず、また、開示された厳密な形に本発明を限定するものとも意図されない。上記の開示に鑑みて多くの修正および変形が可能であることは、当業者であれば理解することができる。

【0064】

本記述のいくつかの部分は、本発明の実施形態を、情報に対する動作に関するアルゴリズムおよび記号的表現の観点から記述している。これらのアルゴリズムの記述および表現は、データ処理技術の当業者がその動作の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの動作は、機能的、計算的、または論理的に記述されているが、コンピュータプログラム、または等価的な電気回路やマイクロコードなどによって実装されることが理解される。さらに、一般性を失うことなく、動作に関するこれらの配置構成をモジュールとして言及することが好都合なことがあることもわかっている。その記述された動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組合せにおいて具現化され得る。

【0065】

本明細書で記述されたステップ、動作、またはプロセスはいずれも、一つまたは複数のハードウェアまたはソフトウェアのモジュールを単独でまたは他のデバイスと組み合わせて実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装され、コンピュータプログラムコードは、記述されたステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行されることが可能である。

【0066】

本発明の実施形態はまた、本明細書の動作を実施するための装置にも関係し得る。この装置は、必要とされる目的のために特別に構築されたものであってもよく、かつ／または、コンピュータに保存されたコンピュータプログラムによって選択的に有効化または再設定される汎用コンピューティングデバイスを備えてもよい。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、または電子的命令を保存するのに適した任意のタイプの媒体に保存されてよいし、この媒体はコンピュータシステムバスに結合されてもよい。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを備えてもよく、または、計算機能の向上のために複数プロセッサ設計を採用するアーキテクチャであってもよい。

【0067】

本発明の実施形態はまた、本明細書で記述される計算過程によって生み出される成果物にも関係し得る。このような成果物は、計算過程の結果として得られる情報から成り立ってよいし、その情報は、非一時的な有形のコンピュータ可読記憶媒体に保存され、本明細書で記述されるコンピュータプログラム製品または他のデータ組合せに関する任意の実施形態を包含してよい。

【0068】

最後に、本明細書で使用される言葉は、主に可読性および教授の目的で選択されており、本発明の主題を線引きまたは制限するために選択されていないことがある。したがって、本発明の範囲は、この詳細な記述によって限定されるのではなく、本明細書に基づく出願に出てくる任意の請求項によって限定されるものと意図される。したがって、本発明の実施形態の開示は、後続の特許請求の範囲に記載された本発明の範囲を例証するものであり限定するものではないことが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】