特許 7488376 マイクロモビリティユーザーのリスクを判断するための外観と動きに基づくモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-13

(45)【発行日】2024-05-21

(54)【発明の名称】マイクロモビリティユーザーのリスクを判断するための外観と動きに基づくモデル

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240514BHJP

   G08G 1/16 20060101ALI20240514BHJP

【ＦＩ】

G06T7/00 650B

G06T7/00 350B

G08G1/16 C

【請求項の数】 20

(21)【出願番号】P 2022580290

(86)(22)【出願日】2021-06-24

(65)【公表番号】

(43)【公表日】2023-07-26

(86)【国際出願番号】 IB2021000433

(87)【国際公開番号】W WO2021260432

(87)【国際公開日】2021-12-30

【審査請求日】2023-02-02

(31)【優先権主張番号】63/043,702

(32)【優先日】2020-06-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520211786

【氏名又は名称】ヒューマニシング オートノミー リミテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ラウナック ボーズ

(72)【発明者】

【氏名】レスリー セース ノーテボーム

(72)【発明者】

【氏名】マヤ オードリー ララ ピンディアス

【審査官】真木 健彦

(56)【参考文献】

【文献】国際公開第２０１７／０５６３８５（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０５６３８２（ＷＯ，Ａ１）

【文献】特開２０１８－０４５３５７（ＪＰ，Ａ）

【文献】特開２０１７－００４１０６（ＪＰ，Ａ）

【文献】Zhijie Fang，Intention Recognition of Pedestrians and Cyclists by 2D Pose Estimation，IEEE Transactions on Intelligent Transportation Systems ，IEEE，2019年10月21日，Vol.21, No.11，P.4773-4783

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

マイクロモビリティ車両を操作する脆弱な道路ユーザー（ＶＲＵ）に関連するリスクを予測するための方法であって、
ビデオストリーム内で、前記マイクロモビリティ車両を操作する前記ＶＲＵを描写する画像を受信するステップと、
前記画像から前記ＶＲＵおよび前記マイクロモビリティ車両に関連付けられた１つまたは複数の描写を抽出するステップと、
前記描写を１つまたは複数の機械学習モデルに入力するステップと、
前記１つまたは複数の機械学習モデルから、前記ＶＲＵの第１の一連の特徴を表す第１の一連の分類、および前記マイクロモビリティ車両の第２の一連の特徴を表す第２の一連の分類を出力として受信するステップであって、前記第１の一連の分類は、前記ＶＲＵの複数の外観候補から予測された前記ＶＲＵの外観を含み、前記ＶＲＵの前記複数の外観候補のそれぞれは、前記ＶＲＵによって着用される異なるオブジェクトを表す、ステップと、
前記第１のおよび前記第２の一連の分類に基づいてリスクプロファイルを生成するステップと、および
前記ＶＲＵが前記リスクプロファイルに基づいて特定の行動を取るという予測を生成するステップと
を備えたリスクを予測するための方法。

【請求項2】

前記予測は、特定のリスクが前記ＶＲＵによってもたらされる可能性に対応する信頼度スコアを含む請求項１に記載の方法。

【請求項3】

前記リスクプロファイルは、
前記第２の一連の分類に対応する確率に基づいて、前記マイクロモビリティ車両のタイプを分類するステップと、および
前記マイクロモビリティ車両のタイプに基づいて、前記マイクロモビリティ車両に関連付けられた１つまたは複数の車両制御パラメータを決定するステップと
によって決定される請求項１に記載の方法。

【請求項4】

前記車両制御パラメータは、動き範囲、速度能力、ブレーキ能力、および加速能力の１つまたは複数を含む請求項３に記載の方法。

【請求項5】

前記ＶＲＵが前記特定の行動を取る前記予測は、前記リスクプロファイルに基づいて機械学習モデルによって予測される請求項１に記載の方法。

【請求項6】

前記リスクプロファイルに基づいて、自律車両、半自律車両、ＡＤＡＳ（高度なドライバー支援システム）を有する車両、またはインテリジェントインフラストラクチャシステムへの送信のための一連の命令を決定するステップをさらに備えた請求項１に記載の方法。

【請求項7】

前記リスクプロファイルを決定するステップは、前記ＶＲＵの外観に関連付けられた特徴を決定するステップを含む請求項１に記載の方法。

【請求項8】

前記リスクプロファイルを決定するステップは、前記マイクロモビリティ車両を操作する前記ＶＲＵに関連付けられた動きを決定するステップを含む請求項１に記載の方法。

【請求項9】

前記画像から前記ＶＲＵの前記描写および前記マイクロモビリティ車両の前記描写を抽出するステップは、１つまたは複数の境界ポリゴン分類子に基づいている請求項１に記載の方法。

【請求項10】

前記予測は、１日のうちの時間、または場所を含む状況情報にさらに基づいており、前記状況情報は、前記画像から抽出される請求項１に記載の方法。

【請求項11】

前記出力は、前記ＶＲＵの前記第１の一連の特徴を表す第１の一連の分布および前記マイクロモビリティ車両の前記第２の一連の特徴を表す第２の一連の分布をさらに備え、前記リスクプロファイルを生成するステップは、前記第１の一連の分布および前記第２の一連の分布にさらに基づいている請求項１に記載の方法。

【請求項12】

メモリ上に符号化された命令を有する前記メモリを含む非一時的なコンピュータ可読媒体であって、
前記命令は、実行される時に、１つまたは複数のプロセッサに動作を実行させるものでであって、
前記命令は、
ビデオストリーム内で、マイクロモビリティ車両を操作する脆弱な道路ユーザー（ＶＲＵ）を描写する画像を受信することと、
前記画像から前記ＶＲＵおよび前記マイクロモビリティ車両に関連付けられた１つまたは複数の描写を抽出することと、
前記描写を１つまたは複数の機械学習モデルに入力することと、
前記１つまたは複数の機械学習モデルから、前記ＶＲＵの第１の一連の特徴を表す第１の一連の分類、および前記マイクロモビリティ車両の第２の一連の特徴を表す第２の一連の分類を出力として受信することであって、前記第１の一連の分類は、前記ＶＲＵの複数の外観候補から予測された前記ＶＲＵの外観を含み、前記ＶＲＵの前記複数の外観候補のそれぞれは、前記ＶＲＵによって着用される異なるオブジェクトを表す、ことと、
前記第１のおよび前記第２の一連の分類に基づいてリスクプロファイルを生成することと、および
前記ＶＲＵが前記リスクプロファイルに基づいて特定の行動を取るという予測を生成することと
を備えた非一時的なコンピュータ可読媒体。

【請求項13】

前記予測は、特定のリスクが前記ＶＲＵによってもたらされる可能性に対応する信頼度スコアを含む請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項14】

前記リスクプロファイルは、
前記第２の一連の分類に対応する確率に基づいて、前記マイクロモビリティ車両のタイプを分類することと、および
前記マイクロモビリティ車両のタイプに基づいて、前記マイクロモビリティ車両に関連付けられた１つまたは複数の車両制御パラメータを決定することと
によって決定される請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項15】

前記車両制御パラメータは、動き範囲、速度能力、ブレーキ能力、および加速能力の１つまたは複数を含む請求項１４に記載の非一時的なコンピュータ可読媒体。

【請求項16】

前記ＶＲＵが前記特定の行動を取るという前記予測は、前記リスクプロファイルに基づいて、機械学習モデルによって予測される請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記命令は、前記リスクプロファイルに基づいて、自律車両、半自律車両、ＡＤＡＳ（高度なドライバー支援システム）を有する車両、またはインテリジェントインフラストラクチャシステムへの送信のための一連の命令を決定することをさらに備えた請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記命令は、前記ＶＲＵの外観に関連付けられた特徴を決定することをさらに備えた請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記命令は、前記マイクロモビリティ車両を操作する前記ＶＲＵに関連付けられた動きを決定することをさらに備えた請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項20】

システムであって、
メモリ上に符号化された命令を有するメモリと、
前記命令を実行する時に、動作を実行させる１つまたは複数のプロセッサであって、前記動作は、
ビデオストリーム内で、マイクロモビリティ車両を操作する脆弱な道路ユーザー(ＶＲＵ)を描写する画像を受信することと、
前記画像から前記ＶＲＵおよび前記マイクロモビリティ車両に関連付けられた１つまたは複数の描写を抽出することと、
前記描写を１つまたは複数の機械学習モデルに入力することと、
前記１つまたは複数の機械学習モデルから、前記ＶＲＵの第１の一連の特徴を表す第１の一連の分類、および前記マイクロモビリティ車両の第２の一連の特徴を表す第２の一連の分類を出力として受信することであって、前記第１の一連の分類は、前記ＶＲＵの複数の外観候補から予測された前記ＶＲＵの外観を含み、前記ＶＲＵの前記複数の外観候補のそれぞれは、前記ＶＲＵによって着用される異なるオブジェクトを表す、ことと、
前記第１のおよび前記第２の一連の分類に基づいてリスクプロファイルを生成することと、および
前記ＶＲＵが前記リスクプロファイルに基づいて特定の行動を取るという予測を生成することと
を備えたシステム。

【発明の詳細な説明】

【背景技術】

【0001】

本出願は、２０２０年６月２４日に出願された米国仮出願第６３／０４３，７０２号の利益を主張し、その全体が参照により本明細書に組み込まれている。

【0002】

人は、多くの場合、非常に短い時間にわたって、マイクロモビリティ車両のライダーを見ることによって、ライダーの大まかな能力を推定する。例えば、自動車のドライバーは、多くの異なるタイプのサイクリストが自動車と道路を共有している道路上で、必要に応じてそのような評価を行う傾向があり、ドライバーは、サイクリストがドライバーの経路に入る可能性を認識するかどうかに応じて、広い停車スペースを設ける必要があるか、または狭いスペースを設ける必要があるかを判断する。自律型および半自律型車両技術、ならびにＡＤＡＳ（高度なドライバー支援システム）は、車両の近くで人の活動を検出し、そこからのリスクを予測するために、多くカメラを使用する。いくつかのシステムは、歩行者の行動を予測するためのアルゴリズムを提供するが、現在のＡＩ（人工知能）に基づくモデルは、マイクロモビリティ車両（例えば、自転車およびスクーター）のユーザーによってもたらされるリスクを決定するための装備が不十分である。自律走行車両およびＡＤＡＳを有する車両を駆動する機械学習システムは、この問題を解決しようとするが、これらの機械学習システムは、マイクロモビリティ車両自体の属性を考慮せずにマイクロモビリティライダーの行動を予測し、したがって、人の行動の不正確な予測をもたらす。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願第１６／８５７、６４５号

【文献】米国特許出願第１７／０１１、８５４号

【発明の概要】

【0004】

機械学習を使用して、マイクロモビリティ車両を操作する脆弱な道路ユーザー（ＶＲＵ）に関連するリスクプロファイルを決定するためのシステムおよび方法が、本明細書に開示される。決定されたリスクは、自律車両または半自律車両の動きまたは他の活動、警告システム内の警告、イベントの記録、保険会社へのヒヤリハットの予測の送信、商業運転者の活動を追跡するためのダッシュカムの映像の使用などの様々な活動を通知し得る。本明細書で使用されるマイクロモビリティ車両という用語は、標準車よりも小さい、電動または非電動の任意の車両を指し得る。マイクロモビリティ車両の例としては、自転車、三輪車、一輪車、スクーター、セグウェイ、ホバーボード、および１つまたは少数のユーザーを輸送するように設計された類似のデバイスが挙げられる。マイクロモビリティ車両のライダーは、脆弱な道路ユーザー、またはＶＲＵと呼ばれ得る。

【0005】

本明細書に開示されるシステムおよび方法は、ＶＲＵが特定の行動を取ることを予測するために１つまたは複数の訓練された機械学習モデルを使用するリスク予測システムを提供する。システムは、最初に、ビデオストリームで、マイクロモビリティ車両を操作するＶＲＵを描写する画像を受信し、画像からＶＲＵの描写およびマイクロモビリティ車両の描写を個別に抽出するか、単一のオブジェクトとして描写する（ＶＲＵがマイクロモビリティ全体を操作する）。抽出プロセスは、様々なＶＲＵおよびマイクロモビリティ車両を識別するように訓練された１つまたは複数の検出モデル（例えば、境界ボックス分類子またはセマンティックセグメンテーションモデル）によって決定され得る。システムは、ＶＲＵおよびマイクロモビリティ車両の抽出された描写を１つまたは複数の機械学習モデルに供給し、出力として、人およびマイクロモビリティ車両の分類または確率分布を受信し得、それは次いで、ＶＲＵのリスクプロファイルを生成するためにさらに使用される。リスクプロファイルは、分類または確率分布に基づいて決定されたＶＲＵ／マイクロモビリティ車両を表す特徴を含み得る。例えば、マイクロモビリティ車両は、機械学習モデルによって、スケートボードとして分類される場合があり、リスクプロファイルは、ブレーキ容量、動力、動き範囲などのスケートボードに対応する構成を含み得る。次に、システムは、人の外見に基づく他の分類、その動き、ならびに人およびマイクロモビリティ車両を記述する他のモジュールと組み合わせて、マイクロモビリティ車両を操作するＶＲＵが特定の行動をとるか、またはＶＲＵのリスクプロファイルに基づいて、特定のポーズをとるというリスクをもたらすという予測を生成し得る。

【0006】

本明細書に開示されるシステムおよび方法は、マイクロモビリティ車両を操作させるＶＲＵのリスクを決定する有利な技術的システムを提供する。従来、自律型および半自律型車両技術、ならびに車両の周囲に基づいて警告を生成する警告システムに関連する技術は、多くの場合、車両の近くで人の活動を検出し、そこからのリスクを予測するために、カメラを使用する。いくつかのシステムは、歩行者の行動を予測するためのアルゴリズムを提供するが、現在の機械学習モデルは、マイクロモビリティ車両を操作するＶＲＵによってもたらされるリスクを決定するための装備が不十分である。開示されるシステムおよび方法は、機械学習モデルを使用して、ＶＲＵおよびマイクロモビリティ車両の包括的なリスクプロファイルを生成し、リスクプロファイルは、マイクロモビリティ車両を操作するＶＲＵの行動を予測するために使用され得る。予測は、決定することを助けることができ、車両の決定を誘導すること、警告を生成すること、保険会社にヒヤリハットの予測を送信すること、トラックドライバーの活動を追跡するためのダッシュカムの映像の使用すること、イベントを記録することなどの様々な目的に使用され得る。

【0007】

脆弱な道路ユーザー（ＶＲＵ）についての予測を形成するようにそれぞれ訓練された異なる分岐を有するマルチタスクモデルを開示する特許文献１は、その全体が本明細書に参照として組み込まれる。ＶＲＵの顕著な特徴の採取および追跡のためのシステムおよび方法も、特許文献１に開示されている。その中でＶＲＵという用語が使用される場合、本開示は、それらのＶＲＵによって操作されるマイクロモビリティ車両に等しく適用される。すなわち、追跡ＶＲＵは、特許文献１における追跡人の開示と一致する方法で実行され得る。したがって、モジュールおよびマルチタスクモデル、ならびにそれらに開示される任意の他のモデルを使用する追跡および予測は、マイクロモビリティ車両について可能にされる。ここで、マイクロモビリティ車両に関する様々な例示的な予測について説明する。

【図面の簡単な説明】

【0008】

【図1】一実施形態による、マイクロモビリティリスク予測システムのための例示的なシステム環境を示す図である。

【図2】一実施形態による、マイクロモビリティリスク予測システムの例示的なモジュールを示す図である。

【図3】一実施形態による、境界ポリゴン分類子を使用して画像内のＶＲＵおよびマイクロモビリティ車両を識別する例示的な実施形態を示す図である。

【図4】一実施形態による、画像内のマイクロモビリティ車両のタイプを識別する例示的な実施形態を示す図である。

【図5】一実施形態による、画像内でマイクロモビリティ車両を操作するＶＲＵに関連する動きを識別する例示的な実施形態を示す図である。

【図6】一実施形態による、入力から出力を生成する例示的な予測システムを示す図である。

【図7】ＶＲＵが行動を示す確率を決定するための例示的なプロセスを示す図である。

【0009】

これらの図は、例示のみを目的として、本発明の様々な実施形態を示している。当業者は、以下の説明から、本明細書に記載の本発明の原理から逸脱することなく、本明細書に示す構造および方法の代替実施形態を使用できることを容易に理解するであろう。

【発明を実施するための形態】

【0010】

システム概要
図１は、一実施形態による、マイクロモビリティリスク予測システムのための例示的なシステム環境を示す。環境１００は、カメラ１１０、ネットワーク１２０、およびマイクロモビリティリスク予測システム１３０を含む。カメラ１１０は、ＶＲＵおよびマイクロモビリティ車両の画像をキャプチャまたはビデオストリームを記録し、ネットワーク１２０を介してデータをマイクロモビリティリスク予測システム１３０に送信する。カメラ１１０は、典型的には、自律車両または半自律車両などの車両に動作可能に連結される。車両は、自動車（すなわち、任意の動力付き四輪車または二輪車）であってもよい。カメラ１１０は、車両に統合されてもよく、またはスタンドアロン（例えば、専用カメラ）または統合されたデバイス（例えば、車両に搭載されたスマートフォンまたはダッシュカムなどのクライアントデバイス）であってもよい。１つのカメラ１１０のみが示されているが、任意の数のカメラは、車両に動作可能に結合され得、独立して（例えば、ビデオ／画像は、互いに関係なく処理される）、または協調して（例えば、ビデオ／画像は、互いに同期してキャプチャされ得、より広いビューをキャプチャするために一緒に連結され得る）作用し得る。

【0011】

ネットワーク１２０は、インターネットなどの任意のデータネットワークであってもよい。いくつかの実施形態では、ネットワーク１２０は、カメラ１１０へのローカルデータ接続であってもよい。一実施形態では、ネットワーク１２０は、環境１００の他の要素が通信する通信チャネルを提供する。ネットワーク１２０は、有線および／または無線通信システムの両方を使用して、ローカルエリアおよび／またはワイドエリアネットワークの任意の組み合わせを含むことができる。一実施形態では、ネットワーク１２０は、標準的な通信技術および／またはプロトコルを使用する。例えば、ネットワーク１２０は、イーサネット、８０２．１１、マイクロ波を利用した世界標準の通信方式（ＷｉＭＡＸ）、３Ｇ、４Ｇ、コード分割多重アクセス（ＣＤＭＡ）、デジタル加入者線（ＤＳＬ）などの技術を使用した通信リンクを含むことができる。ネットワーク１２０を介して通信するために使用されるネットワークプロトコルの例には、ｍｕｌｔｉｐｒｏｔｏｃｏｌ ｌａｂｅｌ ｓｗｉｔｃｈｉｎｇ（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、およびファイル転送プロトコル（ＦＴＰ）が含まれる。ネットワーク１２０を介して交換されたデータは、ハイパーテキストマークアップ言語（ＨＴＭＬ）または拡張可能マークアップ言語（ＸＭＬ）などの任意の適切なフォーマットを使用して表され得る。いくつかの実施形態では、ネットワーク１２０の通信リンクの全てまたは一部は、任意の適切な技術または技法を使用して暗号化されてもよい。

【0012】

マイクロモビリティリスク予測システム１３０は、カメラ１１０から送信された画像またはビデオを取得し、マイクロモビリティ車両を操作するＶＲＵが特定の行動を示すという予測を生成するために１つまたは複数の訓練された機械学習モデルを使用し得る。一実施形態では、マイクロモビリティリスク予測システム１３０は、カメラ１１０が配置されている車両に搭載され、例えば専用チップまたはデバイス上に設置されてもよく、またはクライアントデバイスまたはカメラ１１０を有する他の処理回路に共に設置されてもよい。マイクロモビリティリスク予測システム１３０は、データを受信し、最初に画像／ビデオにおいてＶＲＵおよびマイクロモビリティ車両を識別し得る。次いで、マイクロモビリティリスク予測システム１３０は、ＶＲＵおよびマイクロモビリティ車両の識別された描写を抽出し、描写上で分類を実行し得る。例えば、マイクロモビリティ車両は、自転車、スクーター、スケートボードなどのタイプに基づいて分類され得、マイクロモビリティ車両の異なるタイプは、異なる車両構成および能力に関連付けられ得る。別の例として、ＶＲＵは、衣類などの動きおよび外観に基づいて分類されてもよく、ＶＲＵの各分類はまた、ＶＲＵの潜在的な将来の軌道を説明するいくつかの特徴に関連付けられてもよい。分類結果に基づいて、マイクロモビリティリスク予測システム１３０は、受信した画像内で識別された各ＶＲＵおよびマイクロモビリティ車両のリスクプロファイルを生成し得る。決定されたリスクプロファイルに基づいて、マイクロモビリティリスク予測システム１３０は、そこから、画像に示されるＶＲＵおよびマイクロモビリティ車両が行動を示す可能性が高い（例えば、ＶＲＵの速度を予測し、ＶＲＵがドライバーの経路に入る可能性が高いかどうかを予測する）確率を判定する。これらの確率がどのように決定されるかについての詳細は、図２～図７に関して以下でさらに詳細に説明される。いくつかの実施形態では、図示されていないが、マイクロモビリティリスク予測システム１３０は、予測を制御システムに送信し、制御システムは、その予測に基づいて行動を取る（例えば、車両の動きまたは機能を変更する、車両オペレータに警告するなど）。

【0013】

図２は、一実施形態による、マイクロモビリティリスク予測システム１３０の例示的なモジュールを示す。図２に示されるように、マイクロモビリティリスク予測システム１３０は、画像内のＶＲＵおよびマイクロモビリティ車両などのオブジェクトを識別および抽出するオブジェクト分類モジュール２１０を含み、車両タイプ分析モジュール２２０は、車両タイプの分析および分類を実行し、ＶＲＵ外観分析モジュール２３０は、ＶＲＵの外観の分析および分類を実行し、ＶＲＵ動き分析モジュール２４０は、ＶＲＵのジェスチャーの分析および分類を実行し、状況情報抽出モジュール２５０は、画像状況情報から抽出し、行動予測モジュール２６０は、他のモジュールから情報を統合し、ＶＲＵが特定の行動を示すことを予測し、アプリケーション２７０は、予測が適用され得る様々な使用例を含む。図２に示されるモジュールおよびデータベースは、例示的であり、例示の便宜のために使用され、より多くまたはより少ないモジュール、および／または異なるモジュールは、本明細書に記載される活動のいずれかを達成するために使用され得る。

【0014】

オブジェクト分類モジュール２１０は、所与の（例えば、カメラ１１０から受信された）画像を与えられたＶＲＵおよびマイクロモビリティ車両などのオブジェクトを識別および抽出する。オブジェクト分類モジュール２１０は、訓練された機械学習モデルを使用して、所与の画像内のオブジェクト検出を実行し得る。例えば、機械学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ）、深層ニューラルネットワーク、支援ベクトルマシン（ＳＶＭ）、ｋ－最近傍法（ＫＮＮ）のような分類子などの以下の機械学習アルゴリズムの１つまたは複数または組み合わせであってもよい。機械学習モデルは、画像を入力として取り、画像内の検出されたオブジェクトの周りに１つまたは複数の境界ボックス（または任意の閉じられた形状）を出力し得る。境界ボックスを使用することができる一実施形態では、画像の一部の周りに境界を形成する任意の形状の境界ポリゴンなど、任意の多角形が暗示される。モデルはさらに、検出されたオブジェクトに、オブジェクトがＶＲＵであるかマイクロモビリティ車両であるかを識別するラベルを付けることができる。

【0015】

例を挙げて説明すると、図３は、オブジェクト分類モジュール２１０によって処理される例示的な画像を示す。画像３００は、カメラ１１０の画像センサによってキャプチャされたビデオのフルフレームなどのフレームを表す。画像３００は、１つまたは複数のＶＲＵおよびマイクロモビリティ車両を含む。一実施形態では、画像３００は、境界ボックス３１０および境界ボックス３２０などの１つまたは複数の境界ボックスを応答的に適用するオブジェクト分類モジュール２１０に入力としてその全体が供給され、境界ボックス３１０は、ＶＲＵを識別し、境界ボックス３２０は、画像内の例として示される自転車であるマイクロモビリティ車両を識別する。オブジェクト分類モジュール２１０は、画像内のＶＲＵおよびマイクロモビリティ車両を検出し、それらのＶＲＵおよびマイクロモビリティ車両の周りに境界ボックス３１０および３２０を適用することによって、画像を処理し得る。以下にさらに説明するように、境界ボックスは、画像自体の代わりに、またはそれに加えて、モデルへの入力として使用されてもよいため、処理能力を節約し、フル画像からノイズを除去することにより、より正確なモデル出力につながる。

【0016】

車両タイプ分析モジュール２２０は、マイクロモビリティ車両として識別された境界ボックス上で機械学習モデルを使用して分析および分類を実行することによって、車両タイプを識別する。各タイプのマイクロモビリティ車両は、マイクロモビリティ車両の現在の動きおよび将来の行動に異なる影響を有し得る。例えば、異なるマイクロモビリティ車両は、異なる動き能力を有する。電動自転車は、クルーザー自転車よりもはるかに速く加速する。ロードスキーは、ポゴスティックよりもすぐにブレーキをかけたり、急旋回したりするのがはるかに困難である。特定のタイプのマイクロモビリティには、異なるタイプのインフラストラクチャもある。電動スクーターは、車椅子などの移動補助装置よりも、歩道、自転車道、道路の間を頻繁に交互に移動することがある。異なる動き能力は、特定の行動がもたらす可能性のあるリスクに影響を与える。マイクロモビリティ車両のさらなる例は、以下の通りである。レーシングバイク、電動バイク、シティバイク、「クルーザー」バイク/オランダバイク、サイクルシェアバイク、貨物バイク、タンデムバイク、スケートボード、電動スクーター、セグウェイ、ローラーブレード、モビリティエイド、ワンホイールスケートボード、車輪付きロードスキー、ジェットパック、リクライニングバイク、ポゴスティック、エクソスケルトン、自動荷物、輸送に使用される動物（例えば、馬、ミュール）など。

【0017】

車両タイプ分析モジュール２２０は、訓練された機械学習モデルを使用して、画像（または画像内のマイクロモビリティ車両の境界ボックス）の入力に基づいて、１つまたは複数のマイクロモビリティ車両タイプを識別するための分類（または確率分布、またはその両方の組み合わせ）を生成し得る。例えば、図４に示すように、車両タイプ分析モジュール２２０は、境界ボックス４１０および４２０を入力として使用し、境界ボックス内で識別されたマイクロモビリティ車両のタイプの分類（または確率分布）を出力し得る。例えば、境界ボックス４１０内のコンテンツは、「自転車」として分類され得、境界ボックス４２０内のコンテンツは、「スケートボード」として分類され得る。一実施形態では、機械学習モデルは、ラベル付けされた訓練データ（例えば、様々なタイプのマイクロモビリティのラベル付けされた画像）を使用して訓練された教師付き機械学習によるモデルである。一実施形態では、異なる機械学習モデル、またはマルチタスク機械学習モデルの異なる分岐を使用して、マイクロモビリティ車両の各能力を直接予測し得る。機械学習モデルは、マイクロモビリティ車両がタイプグループに属する確率にそれぞれ対応する一連の確率を出力し得る。いくつかの実施形態では、機械学習モデルは、マイクロモビリティ車両が１つまたは複数の分類カテゴリに属する可能性を示す信頼スコアのセットを決定し得る。車両タイプ分析モジュール２２０は、一連の確率に基づいて（または信頼スコアに基づいて）マイクロモビリティ車両の１つまたは複数のタイプを決定し得る。システムは、そこから、マイクロモビリティ車両の動き範囲、速度能力、ブレーキ能力、加速能力、および任意の他の動き能力を含む様々な情報を予測し得る。予測された情報は、リスクプロファイルモジュール２７０によってマイクロモビリティ車両のリスクプロファイルに統合されてもよく、これは、以下でさらに詳細に説明される。

【0018】

ＶＲＵ外観分析モジュール２３０は、ＶＲＵｓの外観に対して分析および分類を実行する。一実施形態では、ＶＲＵ外観分析モジュール２３０は、ＶＲＵ外観に基づいて、ユーザー行動を予測するように訓練された１つまたは複数の機械学習モデルを使用してもよい。マイクロモビリティのタイプに対するＶＲＵの外観は、予測（例えば、車両がどのように応答することを期待するべきか）に影響を及ぼし得る。ＶＲＵの外観とその予測への実用的な影響の非網羅的な例を以下に示す。レーシングバイクに乗っている完全なライクラのサイクリストは、シティシェアバイクに乗っている格好良いスーツを着た人よりも速く移動する可能性がある。馬に乗った警察官は、セグウェイで踊るストリートエンターテイナー以上に、ドライバーが従うべきジェスチャーを見せる。ＶＲＵ外観分析モジュール２３０は、ＶＲＵがフード付きパーカーを着用していると識別することができ、ＶＲＵの視野がフード付きパーカーによって遮られる可能性があり、これは、ＶＲＵが車両に対して視界を妨げている可能性があることを意味する。電動スケートボードを乗っているときにスマートフォンを確認している人は、交差点に近づくとすぐにブレーキをかけないことがある。

【0019】

ＶＲＵ外観分析モジュール２３０は、ＶＲＵの画像および／または境界ボックスを入力として（例えば、画像および／または境界ボックスならびに／もしくは他の補助情報と共に）取るユーザー行動を予測するために、１つまたは複数の機械学習モデルを訓練し、使用してもよい。一実施形態では、機械学習モデルは、ラベル付けされた画像を含む訓練データで訓練される。例えば、訓練データは、プロのサイクリストを示す画像およびアマチュアライダーを示す画像を含み得、各画像は、それに応じてラベル付けされる。訓練データは、プロのサイクリストおよびアマチュアの外観における異なるパターンを学習する畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習モデルに入力され得る。様々な機械学習モデルは、外観における異なる特徴（例えば、プロ／アマチュアを分類するモデル、スマートフォンを保持する／保持しないを分類するモデルなど）を識別する（または確率分布を生成する）ように訓練され得る。ＶＲＵ外観分析モジュール２３０は、訓練された機械学習モデルを使用して、ＶＲＵ外観、または（ＶＲＵ外観に基づいて行われる）予測を直接分類し得る。一実施形態では、機械学習モデルは、一連の確率を出力し得、各確率は、ＶＲＵが満たすと識別される特徴に対応する。いくつかの実施形態では、機械学習モデルは、ＶＲＵ外観が１つまたは複数のカテゴリとして分類され得る可能性を示す信頼スコアのセットを決定し得る。ＶＲＵ外観分析モジュール２３０は、一連の確率（または信頼スコア）に基づいて、ＶＲＵの１つまたは複数の外観特徴を決定し得る。ＶＲＵの外観に関連付けられ決定された１つまたは複数の特徴は、（例えば、補助データおよび／またはＶＲＵの画像および／または境界ボックスと共に）リスクプロファイルモジュール２７０によって使用され、ＶＲＵのリスクプロファイルを構築し得る。

【0020】

ＶＲＵ動き分析モジュール２４０は、ＶＲＵｓの動きパターンおよび姿勢に関する分析および分類を実行する。特定のジェスチャーは、マイクロモビリティ車両の種類に応じて、ＶＲＵの異なる意図に対応し得る（例えば、自転車上で自分の左腕を伸ばすことは、サイクリストが左折する意図を示し得るが、車椅子上で自分の左腕を伸ばすことは何も意味し得ず、ＶＲＵは、単にストレッチングしている可能性がある）。手押し車椅子は、列車が来ることを知らせる道端の作業員と同様に手を動かすかもしれないが、道端の作業員の動きは、それほど速くない。左に傾いているサイクリストは、左に曲がっていることを示し、後ろのローラーブレードを自分の動きに対して垂直に持っている人は、ブレーキをかけようとしている。動きは、誰かがどれだけ積極的であるかを示すことができ、誰かの動きの信頼性/一貫性は、車両予測の不確実性レベルに影響を与える可能性がある。酔っ払ったサイクリストは、より多くの方向転換をし、若いライダーは、予測しにくいターンをするかもしれないし、高齢者の動きは、彼らが忙しい通りを運転するのが苦手であることを示している可能性がある。

【0021】

図５は、ＶＲＵの行動を予測するためにＶＲＵの異なる姿勢が使用され得る１つの例を示す。例えば、図５に例示されるように、異なる姿勢のサイクリストは、異なる加速度を意味し得、ＶＲＵの行動を予測するために使用され得る。フレーム５１０および５２０は、第１のビデオストリームからの画像であってよく、フレーム５３０～５４０は、第２のビデオストリームからの画像であってよい。各ビデオからの２つのフレームのみが図５に示されるが、ＶＲＵの動きを示す一連のフレームは、機械学習モデルの訓練、ならびに分類および予測において使用されてもよい。一実施形態では、フレーム５１０～５４０は、傾斜位置または直立位置を分類する機械学習モデルを訓練するための訓練データとして機能する画像である。一連の訓練データは、画像に基づいて生成されてよい。例えば、訓練データは、画像内の関心のある特徴の座標であってよく、関心のある特徴は、ＶＲＵの手足の角またはエンドポイントであってよい。訓練データには、前かがみ/直立、またはアマチュア/プロフェッショナルなどの異なるラベルが付けられる。図５に示すように、第１のビデオストリーム内のＶＲＵは、前かがみしながら自転車に乗っており、第２のビデオストリーム内のＶＲＵは、自転車を直立位置に乗っている。時間ｔ＝０からｔ＝Ｔまでの同じ時間周期において、第１のビデオストリーム内でキャプチャされた前かがみ姿勢のＶＲＵは、直立姿勢で乗るＶＲＵと比較して、より長い距離を移動する。ＶＲＵ動き分析モジュール２７０は、ラベル付けされた訓練データを使用して機械学習モデルを訓練して、サイクリストが特定の姿勢にあるかどうかを識別し得る（例えば、前かがみ／直立、回転を意味する左／右に傾く）。訓練されたモデルを使用して、ＶＲＵ動き分析モジュール２７０は、ＶＲＵおよび／または境界ボックスの画像を入力として取り、１つまたは複数の姿勢でサイクリストの姿勢を分類し得る。リスクプロファイルモジュール２７０はさらに、分類を使用して、加速度、左折または右折などのＶＲＵに関連付けられた行動を予測し得る。

【0022】

ＶＲＵ動き分析モジュール２７０は、ＶＲＵ動きを示すフレームまたはフレームのシーケンスを入力としてとる１つまたは複数の機械学習モデルを使用してもよい（また、補助データまたは追加データをとってもよい）。１つまたは複数の機械学習モデルは、ユーザーの分類（または確率分布、またはその両方の組み合わせ）および／またはそれに基づいたユーザー行動の予測を出力し得る。一実施形態では、機械学習モデルは、ＶＲＵが特定の動きまたは姿勢を示すと予測される確率にそれぞれ対応する一連の確率を出力し得る。いくつかの実施形態では、機械学習モデルは、ＶＲＵに関連付けられた動きが１つまたは複数の分類カテゴリに属する可能性を示す信頼スコアのセットを決定し得る。ＶＲＵ動き分析モジュール２７０は、一連の確率に基づいて（または信頼スコアに基づいて）１つまたは複数の動きまたはジェスチャーを決定し得る。決定されたＶＲＵ動きは、ＶＲＵリスクプロファイルを生成し、ＶＲＵ行動を予測するために、リスクプロファイルモジュール２７０によって使用され得る。加えて、予測されたＶＲＵの動きおよび他のＶＲＵ活動は、特許文献１で説明されているように、追跡目的のためにＶＲＵのより堅牢な顕著な特徴を生成するために使用されてもよい。

【0023】

状況情報抽出モジュール２５０は、画像から状況情報を抽出する。状況情報は、ＶＲＵおよびマイクロモビリティ車両がフレームインされる環境の理解に役立ち得る画像内の任意の情報を指し得る。画像から抽出され得る状況情報の例は、天候（例えば、雨天または晴天）、日中の時間（例えば、昼または夜）、場所（例えば、都市または農村地域）などを含み得る。一実施形態では、状況情報抽出モジュール２５０は、周囲の１つの状況特徴を検出するようにそれぞれ訓練された多様な機械学習モデルを使用してよく、各機械学習モデルは、ラベル付けされた訓練データで訓練された分類子であってよい。取得された状況情報は、ＶＲＵ行動を予測するために使用され得る。例えば、雨の日または道路が水たまりで濡れているとき、サイクリストは、水たまりを避けるために移動し得るか、またはサイクリストは、転倒する可能性が高いため、ドライバーは、ＶＲＵから離れたより広いクリアランス距離を維持する必要があり得る。抽出された状況情報は、行動予測モジュール２６０に供給され、より包括的な予測を行うのに役立つ。

【0024】

リスクプロファイルモジュール２７０は、モジュール２１０～２５０からの予測結果を統合し、ＶＲＵおよびマイクロモビリティ車両のリスクプロファイルを生成する。一実施形態では、リスクプロファイルモジュール２７０は、モジュール２１０～２５０によって出力される分類結果などの情報を使用して、画像内で識別されたＶＲＵおよびマイクロモビリティ車両のリスクプロファイルを生成し得る。リスクプロファイルモジュール２７０は、マイクロモビリティ車両の車両リスクプロファイルを生成し、ＶＲＵのリスクプロファイルを生成し得る。リスクプロファイルの生成プロセスについては、以下でさらに詳しく説明する。

【0025】

リスクプロファイルモジュール２７０は、車両タイプ分析モジュール２２０によって出力される車両タイプの分類（または確率分布）に基づいて、リスクプロファイルを生成し得る。リスクプロファイルは、マイクロモビリティタイプが自転車であり、自転車が都市共有電動自転車であるなどのデータを含み得る。マイクロモビリティのタイプに基づいて、リスクプロファイルモジュール２７０は、マイクロモビリティ車両のリスクプロファイルに、加速能力、ブレーキ能力、動きの範囲などの情報をさらに含み得る。

【0026】

リスクプロファイルモジュール２７０は、ＶＲＵに関連付けられたデータをリスクプロファイルにさらに含み得、データは、モジュール２２０～２４０から出力された結果に基づいている。例えば、ＶＲＵ外観分析モジュール２３０の結果は、ＶＲＵが格好良いスーツを着ているなどの情報を含むようにリスクプロファイルに追加されてもよく、ＶＲＵ動き分析モジュールの結果は、ＶＲＵが自転車に直立して座っており、彼のスマートフォンを確認しているなどの情報を含むようにリスクプロファイルに追加されてもよい。さらに、決定された車両タイプに基づいて、リスクプロファイルモジュール２７０は、マイクロモビリティ車両を使用するＶＲＵが、マイクロモビリティ車両のタイプに基づいて、異なる行動を示し得るため、マイクロモビリティ車両タイプに関連するユーザーの行動と共にリスクプロファイルに基づいて構築され得る。例えば、スケートボーダーは、ボードの動きに対して垂直に向きを変えながら前進する場合がある。特定のタイプのマイクロモビリティはまた、自転車で右回転を合図する、電動スケートボードのリモートコントロールを保持する、足を動かさずに素早く前進するサイクリストは、自転車が電動化されているなど、ＶＲＵから直接特定のジェスチャーが必要になることもある。さらに別の例として、自転車を上に乗せて床に座っている人が自転車に乗っていない場合、そのＶＲＵは、自転車から落ちた可能性がある。スクーターのロックを解除するなど、特定のタイプのマイクロモビリティには、多くの固有の行動があり、これは、ＶＲＵがまもなく出発するため、車両がルートを変更する代わりに少し待つことができることを示している可能性がある。自転車バスケットの前にいる犬は、速く飛ぶ犬ではないが、マイクロモビリティ機能と動きに関連している必要がある。

【0027】

一実施形態では、リスクプロファイルモジュール２７０は、車両タイプ分析モジュール２２０によって出力される任意の情報、およびマイクロモビリティ車両のタイプに関連付けられる任意の特徴をリスクプロファイルに含み得る。リスクプロファイルモジュール２７０はまた、ＶＲＵ外観分析モジュール２３０、ＶＲＵ動き分析モジュールによって出力される任意の情報、および車両タイプ分析モジュール２２０から出力される車両タイプ情報に関連付けられたユーザー行動情報をリスクプロファイルに含んでもよい。統合されたリスクプロファイルは、ＶＲＵの行動を予測するために、行動予測モジュール２６０にさらに渡される。

【0028】

行動予測モジュール２６０は、ＶＲＵがリスクプロファイルモジュール２７０によって生成されたリスクプロファイルに基づいて、特定の行動を示すことを予測するために、１つまたは複数の機械学習モデルを訓練し、使用してもよい。モジュール２２０～２４０から出力される結果は、ＶＲＵの特徴のより良い画像を構築するために使用されるいくつかの例示的な入力であり得、したがって、追跡可能性および予測をより良く情報提供する。他の情報は、例えば、経時的なＶＲＵの動きパターン（マイクロモビリティ車両が十分なフレームのために車両と共に移動している場合）など、モデルに入力することができる。一実施形態では、機械学習モデルは、特許文献１に記載されるようなマルチタスクモデルであってよく、異なる分岐は、異なる分類を実行するように訓練され、行動予測モジュール２６０は、１つまたは複数の共有層を使用して、分岐のそれぞれからの情報を使用して予測を形成してよい。行動予測モジュール２６０は、共有層（例えば、深部ニューラルネットワーク層）を含む機械学習モデルを使用して、ＶＲＵが１つまたは複数の行動を示す可能性にそれぞれ対応する信頼スコアのセットを生成し得る。行動予測モジュール２６０はまた、機械学習モデルを使用して、特定のリスク（例えば、衝突のリスク）がＶＲＵによってもたらされる可能性に対応する信頼度スコアを生成し得る。

【0029】

行動予測モジュール２６０は、リスクプロファイル内の多様な特徴を組み合わせ、「注意散漫」、または「衝突のリスク」などのより高いレベルの特徴を認識する。行動予測モジュール２６０は、例えば、確率的グラフィカルモデル（ＰＧＭ）フレームワークを使用することによって、リスクプロファイル内の特徴の組み合わせを達成する。これにより、シンボリック確率的ＡＩとディープラーニングを併合し、研究者によって特定できる変数間の非常に複雑な関係をキャプチャすることができる。さらに、モデル予測の不確実性推定値を取得することができる。例えば、観察研究によって、注意散漫な人は、よりリスクの高い交差判断をする傾向があることが知られている。交差を予測するために、気晴らしを表す確率分布を持つ変数を交差の意図を表す確率分布を持つ別の変数に直接関連付けるＰＧＭを使用することができる。これらの変数は、固定ではなく、確率分布なので、はるかに複雑な関係を踏まえることができ、不確実性値を抽出することができる。

【0030】

一実施形態では、ＰＧＭは、ノード（ランダム変数）およびエッジ（ランダム変数間の関係）を含む。ＰＧＭには、マルコフネットワークとベイジアンネットワーク（ベイズネットワークとも呼ばれる）の２種類がある。マルコフネットワークは、非有向グラフであり、ベイズネットワークは有向グラフ（例えば、有向非巡回グラフ）である。本開示のいくつかの実施形態では、ベイジアンネットワークが実装されているのは、機能が互いに一方向に影響を与える可能性が高いためである。ベイズネットワークは、事後確率を得ることができる因子（事前確率と条件付き確率である）に分解することによって、合同分布をモデル化する。いくつかの実施形態では、本明細書に開示されるシステムおよび方法は、ベイジアンアプローチに従う。これは、システムおよび方法が、モデルパラメータの基礎となる分布を推定することを意味する。この例示的な利点は、システムが（新しい観測のための）試験時間であっても、不確実性の測定値を取得することである。

【0031】

いくつかの実施形態では、画像が入力されるモデルは、深層学習モデルまたは確率的グラフィカルモデルであり得る。深層学習方法は、多層のリカレントニューラルネットワーク（ＲＮＮ）と長短期記憶（ＬＳＴＭ）（＋注意メカニズム）を使用する場合がある。ＲＮＮに対する入力は、各フレームにおけるＶＲＵの多様な特徴のベクトルであってもよい。各々のそのようなベクトルの特徴の例としては、示されるように、電話使用量、視線推定、体の向き、姿勢推定が含まれる。深層ＬＳＴＭモデルは、連続した画像から導出されたデータの解析を行い、ネットワークに沿って出力を前方に送ることにより、時系列の早い段階で発生した重要な情報を忘れないようにする。一実施形態では、特定のイベントにより高い重みを与えるために、注意メカニズムが使用され得る。深層ＬＳＴＭネットワークは、人が車両を見ているとき（例えば、ＶＲＵが車両の存在を認識しているため）、リスクが低いことをそれ自体で学習し、誰かが車両を見ているかどうかにより多くの重みを適用する。

【0032】

これらの方法を使用することは、さまざまな利点を有する。例えば、システムは、不確実性を捉えることができ、これは、重要な意思決定および安全システムにとって重要である。車両は、私たちの調査結果にどれだけ依存できるか、または代替センサー(ライダーなど)に依存するかどうかを知ることができるからである。別の例として、システムおよび方法は、すべてのケースを踏まえるために何百万もの状況をラベル付けする必要なしに、エッジケースを発見し、バイアスをより簡単に減らすことができる。さらに、ソフトウェアは、はるかに解釈可能で透明性があり、いつ、なぜ失敗したのかを理解することができる。さらに、システムおよび方法は、説明されたモデルを新しい環境および追加のアプリケーションにより速やかにかつ確実に調整することを可能にする。この方法は、ニューラルネットワークで拡張することができ、ニューラルネットワークを使用して最適なフィッティング関数を見つけることによって、両方の世界の中で最高の柔軟性を提供し、ベイジアンネットワークまたはダイナミックベイジアンネットワークを使用して解釈可能性を生成する。

【0033】

異なる分類を予測に組み合わせることに関するさらなる情報は、特許文献２に記載されており、その開示は、その全体が参照により本明細書に組み込まれる。

【0034】

図６は、入力６１０（例えば、ビデオまたは画像）を受信して出力６９０（例えば、予測結果）を生成することからＶＲＵ行動を予測する例示的なプロセスを示す。マイクロモビリティリスク予測システム１３０は、カメラ１１０から入力６１０を受信し得る。入力６１０は、一連の画像を含むビデオストリームであってもよい。各画像は、オブジェクト分類モジュール２１０に渡されてもよく、オブジェクト分類プロセス６２０を経てもよく、マイクロモビリティ車両６３０およびＶＲＵ６４０は、画像内のオブジェクトを検出するように訓練された１つまたは複数の機械学習モデル（境界ボックス分類子など）によって識別されてもよい。車両タイプ分析モジュール２２０は、車両タイプ分析６５０を実行し、識別されたマイクロモビリティ車両６３０を、自転車、スケートボード、スクーター、電動バイク、電動スクーター、車椅子などの１つまたは複数のラベルで分類し得る。分類された車両タイプに基づいて、リスクプロファイルモジュール２７０は、ＶＲＵのためのリスクプロファイルを生成し得る。リスクプロファイルは、動力、ブレーキ能力、動き範囲などの車両のタイプに関連付けられたデータを含み得る。リスクプロファイルはまた、それぞれモジュール２２０～２４０によって実行される、車両タイプ分析６５０、ＶＲＵ外観分析６６０、およびＶＲＵ動き分析６７０によって生成される分類（または確率分布）に基づくデータを含んでもよい。一実施形態では、車両タイプ分析６５０、ＶＲＵ外観分析６６０、およびＶＲＵ動き分析６７０は、可能な値（例えば、特徴、カテゴリ、タイプなど）の範囲および対応するもっともらしさを記述する確率分布を生成し得る。モジュールは、それぞれ、１つまたは複数の異なる機械学習モデルを使用して、ＶＲＵを、ライクラ、パーカーを着用する、スマートフォンを見る、特定の動きパターンを有するなどの１つまたは複数の特徴を有するものとして分類してもよい（または特徴についての確率分布を生成してもよい）。モジュール２２０～２４０からの出力に基づいて生成されたリスクプロファイルは、行動予測６８０のために行動予測モジュール２６０に供給され、行動予測モジュール２６０は、さらに、ＶＲＵが特定の行動を取る可能性に対応する信頼度スコアを生成し得る。

【0035】

一実施形態では、ＶＲＵおよびマイクロモビリティ車両全体の描写を有する画像が、入力６１０として使用され、リスクプロファイル生成および行動予測６８０は、入力６１０を直接使用する１つまたは複数の機械学習モデルに基づいている（例えば、境界ボックスを使用してＶＲＵ／車両を最初に分離することなく）。例えば、機械学習モデルは、画像を入力として取り得る。機械学習モデルは、車両タイプ分析６５０、ＶＲＵ外観分析６６０、およびＶＲＵ動き分析６７０を実行するための異なる分岐を有するマルチタスクモデルであってもよい。機械学習モデルは、ＶＲＵおよびマイクロモビリティ車両の描写および特徴を分岐させることなく、ＶＲＵのためのリスクプロファイルを生成し得る。いくつかの実施形態では、画像は、マイクロモビリティ車両をそれぞれ操作する多様なＶＲＵを含み得、機械学習モデルは、各ＶＲＵおよびマイクロモビリティ車両を分離し、別々に行動特徴を抽出することなく、各ＶＲＵについての多様なリスクプロファイルおよび予測を生成し得る。

【0036】

図７は、マイクロモビリティ車両を操作するＶＲＵの特定の行動を予測するための一般的なプロセスを示す。プロセス７００は、マイクロモビリティ車両を操作するＶＲＵを描写する画像を受信する７１０マイクロモビリティリスク予測システム１３０から開始する。オブジェクト分類モジュール２１０は、画像からＶＲＵおよびマイクロモビリティ車両に関連付けられた１つまたは複数の描写（例えば、人の描写、車両の描写、および人および車両の描写の１つまたは複数）を抽出してよい。ＶＲＵおよびマイクロモビリティ車両に関連付けられた描写は、１つまたは複数の機械学習モデル（例えば、車両タイプ分析モジュール２２０、ＶＲＵ外観分析モジュール２３０、およびＶＲＵ動き分析モジュール２４０に含まれるもの）に入力され７３０、１つまたは複数の機械学習モデルから、ＶＲＵの第１の一連の特徴を表す第１の一連の分類または分布、およびマイクロモビリティ車両の第２の一連の１つまたは複数の特徴を表す第２の一連の分類または分布を受信し得る。行動予測モジュール２６０は、第１および第２の一連の分類および分布に基づいて、ＶＲＵのためのリスクプロファイルを生成７５０してもよく、リスクプロファイルに基づいて、ＶＲＵがリスクプロファイルに基づいて特定の行動を取るという予測を生成７６０してもよい。

【0037】

予測の応用例
予測結果およびリスクプロファイルは、様々な使用ケースに適用され得る。一実施形態では、モビリティリスク予測モジュール１３０は、自律車両または半自律車両の決定を知らせるために使用され得る。車両は、ＶＲＵの外観、マイクロモビリティ車両のタイプ、マイクロモビリティの動き、マイクロモビリティ上でのＶＲＵの動きなどの仮定のような事前の知識に基づいて決定し得る。これらの行動のそれぞれは、例えば、ブレーキ、譲歩、エアバッグなどの害を軽減する技術を事前に展開する、緊急サービスに通知する、異なる安全速度で運転する、追い越し中に横方向のスペースを増やす、経路を変更する、通常の経路に沿って進む、人運転者により慎重になるように知らせる、ＡＶからハンドルを引き継ぐ、周囲の車両に知らせる、インフラストラクチャに知らせる、または聴覚、感覚、または視覚的手段を通じてマイクロモビリティユーザー自体に通信するなど、車両が取るべき行動に影響を与えることができる。ＶＲＵの行動の予測およびリスクプロファイルはまた、ドライバーに警告を鳴らすこと、保険会社へのヒヤリハットの予測の送信すること、車両の運転活動を追跡するためにダッシュカメラの映像を使用すること、ＡＤＡＳ（高度なドライバー支援システム）を有する車両のための指示を提供すること、インテリジェントインフラストラクチャシステムのための決定を通知することなどの応用で使用され得る。ヒューリスティックおよび／またはさらなる機械学習モデルは、ＶＲＵに、マイクロモビリティおよび／またはＶＲＵ分類に基づいて任意の所与の行動を取らせるように訓練され得る。これらのモデルは、インテリジェントトラフィックシステム、Ｖ２Ｘ通信、都市計画および政策決定のためのフライング車両、携帯電話、ダッシュカム、イベント後の保険目的のビデオを分析するクラウドプラットフォーム、フリート管理リスク分析、ドライバー教育システム、インフラストラクチャーベースのカメラでも動作できる。これらのモデルは、特許文献１に関して開示される任意の環境で動作し得る。

【0038】

追加的な考慮事項
本発明の実施形態の前述の説明は、例示の目的で提示されており、網羅的であること、または開示された正確な形態に限定することは、意図されていない。当業者は、上記の開示に照らして多くの修正および変更が可能であることを理解することができる。

【0039】

この説明のある部分は、本発明の実施形態を、アルゴリズムおよび情報操作の記号表現に関して説明する。これらのアルゴリズムの記述および表現は、データ処理技術の当業者が、その作業の内容を他の当業者に効果的に伝えるために一般的に使用されている。これらの操作は、機能的、計算的、または論理的に説明されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性を失うことなく、これらの操作の配置をモジュールとして参照することも、便利であることが証明されている。説明された操作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで実装され得る。

【0040】

本明細書に記載のステップ、操作、またはプロセスのいずれも、単独で、または他のデバイスと組み合わせて、1つまたは複数のハードウェアまたはソフトウェアモジュールで実行または実装することができる。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを包含するコンピュータ可読媒体を含むコンピュータプログラム製品で実装され、これは、説明されたステップ、操作、またはプロセスのいずれかまたはすべてを実行することができるコンピュータプロセッサによって実行されることができる。

【0041】

本発明の実施形態は、本明細書の操作を実行するための装置にも関係し得る。この装置は、必要な目的のために特別に構築することができ、および／または、コンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備えることができる。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するのに適した任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含む場合もあれば、コンピューティング能力を向上させるために多様なプロセッサ設計を採用するアーキテクチャである場合もある。

【0042】

本発明の実施形態は、本明細書に説明のコンピューティングプロセスによって生成される製品にも関係し得る。そのような製品は、コンピューティングプロセスから生じる情報を含むことができ、情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、コンピュータプログラム製品の任意の実施形態または本明細書に説明される他のデータの組み合わせを含むことができる。

【0043】

最後に、本明細書で使用される文言は、主に可読性および指示目的のために選択されたものであり、発明の主題を描写または制限するために選択されたものではない場合がある。したがって、発明の範囲は、この詳細な説明によって制限されるのではなく、本明細書に基づいて発行される請求項によって制限されることを意図する。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載される本発明の範囲を例示することを意図するものであり、限定するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】