IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アクセンチュア グローバル ソリューションズ リミテッドの特許一覧 ▶ SOMPOホールディングス株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-11
(45)【発行日】2024-03-19
(54)【発明の名称】不注意運転予測システム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240312BHJP
   G08G 1/01 20060101ALI20240312BHJP
【FI】
G08G1/00 D
G08G1/01 A
【請求項の数】 16
(21)【出願番号】P 2021504845
(86)(22)【出願日】2018-07-30
(65)【公表番号】
(43)【公表日】2021-11-25
(86)【国際出願番号】 JP2018028514
(87)【国際公開番号】W WO2020026318
(87)【国際公開日】2020-02-06
【審査請求日】2021-03-04
(73)【特許権者】
【識別番号】516172237
【氏名又は名称】アクセンチュア グローバル ソリューションズ リミテッド
(73)【特許権者】
【識別番号】516254290
【氏名又は名称】SOMPOホールディングス株式会社
(74)【代理人】
【識別番号】100102406
【弁理士】
【氏名又は名称】黒田 健二
(74)【代理人】
【識別番号】100100240
【弁理士】
【氏名又は名称】松本 孝
(72)【発明者】
【氏名】須山 敦志
(72)【発明者】
【氏名】工藤 卓哉
(72)【発明者】
【氏名】林 素明
(72)【発明者】
【氏名】野村 一仁
(72)【発明者】
【氏名】松井 健一
(72)【発明者】
【氏名】ダン、コンウェイ
【審査官】武内 俊之
(56)【参考文献】
【文献】国際公開第2017/038166(WO,A1)
【文献】国際公開第2018/135605(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00
G08G 1/01
(57)【特許請求の範囲】
【請求項1】
運転手、
前記運転手の車両および
前記車両の外部環境
に関係するデータを検出すること、ならびに
前記検出されたデータを送信すること
をするように構成された1つ以上のセンサと、
前記検出されたデータを受信するように構成されたサーバと
を含む予測システムであって、前記サーバは、
前記検出されたデータを受信するように構成された受信機と、
事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび前記検出されたデータに関係する履歴データに基づき判断すること、
前記運転手のリスクスコアを、前記判断された1つ以上のニアアクシデント指標および機械学習データに基づき計算することであって、前記機械学習データは、前記履歴データとともに事前定義モデルを使用した訓練/更新動作に基づき作成されかつオンライン訓練動作に基づき更新される、予測動作のための訓練済み/更新済みモデルを含み、前記運転手の前記リスクスコアは、前記判断されたニアアクシデント指標についての予測分布を表す指標分布p(y|x,D)および前記判断されたニアアクシデント指標に科されるペナルティを定義する損失関数L(y)を積分することにより算出され、yは前記判断されたニアアクシデント指標の値であり、xは前記判断されたニアアクシデント指標に関連する入力データであり、Dは前記判断されたニアアクシデント指標に関連する、前記予測動作のための訓練済み/更新済みモデルのための訓練データであることを特徴とする、計算すること、ならびに
検出された新たなデータに基づき前記機械学習データを継続的に更新すること
をするように構成されており、メモリに結合されたプロセッサと、
前記運転手の前記リスクスコアを出力するように構成された送信機と
を含む、システム。
【請求項2】
前記プロセッサは、さらに前記機械学習データに基づき運転手リスクの時間ベースの予測を生成するように構成されている、請求項1に記載のシステム。
【請求項3】
運転手リスクの前記時間ベースの予測を前記生成することは、一時点における運転手、前記運転手の車両および前記車両の外部環境に関係する前記データを検出することにより運転手リスクの初期の予測を生成することと、後の時点における運転手、前記運転手の前記車両および前記車両の前記外部環境に関係する前記データを検出することにより運転手リスクの前記予測を更新することとを含む、請求項2に記載のシステム。
【請求項4】
前記プロセッサは、さらに前記ニアアクシデント指標のラベルを自動的に生成するように構成され、前記ラベルは、将来のニアアクシデント指標予測のためのモデルを構築するために使用される、請求項1に記載のシステム。
【請求項5】
1つ以上のメモリと前記1つ以上のメモリに結合されたプロセッサを含むデバイスによって実行される方法であって、
運転手、前記運転手の車両および前記車両の外部環境に関係する検出されたデータを、前記デバイスにより受信するステップと、
事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび前記検出されたデータに関係する履歴データに基づき、前記デバイスにより判断するステップと、
前記運転手のリスクスコアを、前記判断された1つ以上のニアアクシデント指標および機械学習データに基づき、前記デバイスにより計算するステップであって、前記機械学習データは、前記履歴データとともに事前定義モデルを使用した訓練/更新動作に基づき作成されかつオンライン訓練動作に基づき更新される、予測動作のための訓練済み/更新済みモデルを含み、前記運転手のリスクスコアは、前記判断されたニアアクシデント指標についての予測分布を表す指標分布p(y|x,D)および前記判断されたニアアクシデント指標に科されるペナルティを定義する損失関数L(y)を積分することにより算出され、yは前記判断されたニアアクシデント指標の値であり、xは前記判断されたニアアクシデント指標に関連する入力データであり、Dは前記判断されたニアアクシデント指標に関連する、前記予測動作のための訓練済み/更新済みモデルのための訓練データであることを特徴とする、計算するステップと、
検出された新たなデータに基づき前記機械学習データを、前記デバイスにより継続的に更新するステップと、
前記運転手の前記リスクスコアを、前記デバイスにより出力するステップと
を含む方法。
【請求項6】
前記機械学習データに基づき運転手リスクの時間ベースの予測を、前記デバイスにより生成するステップをさらに含む、請求項5に記載の方法。
【請求項7】
運転手リスクの前記時間ベースの予測を前記生成するステップは、一時点における運転手、前記運転手の車両および前記車両の外部環境に関係する前記データを検出することにより運転手リスクの初期の予測を、前記デバイスにより生成するステップと、後の時点における運転手、前記運転手の前記車両および前記車両の前記外部環境に関係する前記データを検出することにより運転手リスクの前記予測を、前記デバイスにより更新するステップとを含む、請求項6に記載の方法。
【請求項8】
前記方法は、前記ニアアクシデント指標のラベルを、前記デバイスにより自動的に生成するステップをさらに含み、前記ラベルは、将来のニアアクシデント指標予測のためのモデルを構築するために使用される、請求項5に記載の方法。
【請求項9】
運転手、前記運転手の車両および前記車両の外部環境に関係する検出されたデータを受信するように構成された受信機と、
事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび前記検出されたデータに関係する履歴データに基づき判断すること、
前記運転手のリスクスコアを、前記判断された1つ以上のニアアクシデント指標および機械学習データに基づき計算することであって、前記機械学習データは、前記履歴データとともに事前定義モデルを使用した訓練/更新動作に基づき作成されかつオンライン訓練動作に基づき更新される、予測動作のための訓練済み/更新済みモデルを含み、前記運転手の前記リスクスコアは、前記判断されたニアアクシデント指標についての予測分布を表す指標分布p(y|x,D)および前記判断されたニアアクシデント指標に科されるペナルティを定義する損失関数L(y)を積分することにより算出され、yは前記判断されたニアアクシデント指標の値であり、xは前記判断されたニアアクシデント指標に関連する入力データであり、Dは前記判断されたニアアクシデント指標に関連する、前記予測動作のための訓練済み/更新済みモデルのための訓練データであることを特徴とする、計算すること、ならびに
検出された新たなデータに基づき前記機械学習データを継続的に更新すること
をするように構成されており、メモリに結合されたプロセッサと、
前記運転手の前記リスクスコアを出力するように構成された送信機と
を含む装置。
【請求項10】
前記プロセッサは、さらに前記機械学習データに基づき運転手リスクの時間ベースの予測を生成するように構成されている、請求項9に記載の装置。
【請求項11】
運転手リスクの前記時間ベースの予測を前記生成することは、一時点における運転手、前記運転手の車両および前記車両の外部環境に関係する前記データを検出することにより運転手リスクの初期の予測を生成することと、後の時点における運転手、前記運転手の前記車両および前記車両の前記外部環境に関係する前記データを検出することにより運転手リスクの前記予測を更新することとを含む、請求項10に記載の装置。
【請求項12】
前記プロセッサは、さらに前記ニアアクシデント指標のラベルを自動的に生成するように構成され、前記ラベルは、将来のニアアクシデント指標予測のためのモデルを構築するために使用される、請求項9に記載の装置。
【請求項13】
命令のセットを含む非一時的コンピュータ可読媒体であって、前記命令は、デバイスの1つ以上のプロセッサにより実行されると前記1つ以上のプロセッサに、
運転手、前記運転手の車両および前記車両の外部環境に関係する検出されたデータを受信することと、
事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび前記検出されたデータに関係する履歴データに基づき判断することと、
前記運転手のリスクスコアを、前記判断された1つ以上のニアアクシデント指標および機械学習データに基づき計算することであって、前記機械学習データは、前記履歴データとともに事前定義モデルを使用した訓練/更新動作に基づき作成されかつオンライン訓練動作に基づき更新される、予測動作のための訓練済み/更新済みモデルを含み、前記運転手の前記リスクスコアは、前記判断されたニアアクシデント指標についての予測分布を表す指標分布p(y|x,D)および前記判断されたニアアクシデント指標に科されるペナルティを定義する損失関数L(y)を積分することにより算出され、yは前記判断されたニアアクシデント指標の値であり、xは前記判断されたニアアクシデント指標に関連する入力データであり、Dは前記判断されたニアアクシデント指標に関連する、前記予測動作のための訓練済み/更新済みモデルのための訓練データであることを特徴とする、計算することと、
検出された新たなデータに基づき前記機械学習データを継続的に更新することと、
前記運転手の前記リスクスコアを出力することと
をさせる、非一時的コンピュータ可読媒体。
【請求項14】
前記1つ以上のプロセッサは、さらに前記機械学習データに基づき運転手リスクの時間ベースの予測を生成する、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項15】
運転手リスクの前記時間ベースの予測を前記生成することは、一時点における運転手、前記運転手の車両および前記車両の外部環境に関係する前記データを検出することにより運転手リスクの初期の予測を生成することと、後の時点における運転手、前記運転手の前記車両および前記車両の前記外部環境に関係する前記データを検出することにより運転手リスクの前記予測を更新することとを含む、請求項14に記載の非一時的コンピュータ可読媒体。
【請求項16】
前記1つ以上のプロセッサは、さらに前記ニアアクシデント指標のラベルを自動的に生成し、前記ラベルは、将来のニアアクシデント指標予測のためのモデルを構築するために使用される、請求項13に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、全般的に、運転リスクを低減させる方法、システム、装置およびコンピュータ可読媒体に関する。
【背景技術】
【0002】
車両の運転手は、運転手が事故を回避する助けとなる情報、および運転手の安全運転を支援する提案から恩恵を受けることができる。保険会社などは、潜在的な運転リスクを正確に評価するために、運転手データおよび運転環境データを必要とする。リスクの伴う運転パターンの傾向が保険会社に分かれば、かかるリスクを減じるために保険会社は予防的措置をとることができる。公的機関、立法者などは、運転の安全性を高めるための規制および指針を最適化するために、運転手および運転環境のデータを必要とする。従来、そのようなデータおよび情報は、正確且つ迅速な形で提供されてこなかった。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示に沿って、運転リスクを低減させるシステム、装置およびその方法の例示的な実施形態が開示される。
【0004】
実施形態によれば、
運転手、運転手の車両および車両の外部環境
のうちの少なくとも1つに関係するデータを検出すること、ならびに検出されたデータを送信することをするように構成された1つ以上のセンサと、検出されたデータを受信するように構成されたサーバとを含む予測システムが提供される。サーバは、検出されたデータを受信するように構成された受信機と、事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび検出されたデータに関係する履歴データに基づき判断すること、事故が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを、判断された1つ以上のニアアクシデント指標および機械学習データに基づき計算すること、ならびに検出された新たなデータに基づき機械学習データを継続的に更新することをするように構成されており、メモリに結合されたプロセッサと、事象が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを出力するように構成された送信機とを含んでもよい。
【0005】
プロセッサは、機械学習データに基づき運転手リスクの時間ベースの予測を生成するように構成されてもよい。
【0006】
事象が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つの計算は、運転手、運転手の車両および車両の外部環境のうちの少なくとも1つに関係するリスクスコアに基づいてもよい。
【0007】
運転手リスクの時間ベースの予測を生成することは、一時点における運転手、運転手の車両および車両の外部環境のうちの少なくとも1つに関係するデータを検出することにより運転手リスクの初期の予測を生成することと、後の時点における運転手、運転手の車両および車両の外部環境のうちの少なくとも1つに関係するデータを検出することにより運転手リスクの予測を更新することとを含んでもよい。
【0008】
プロセッサは、ニアアクシデント指標のラベルを自動的に生成するように構成されてもよく、ラベルは、将来のニアアクシデント指標予測のためのモデルを構築するために使用される。
【0009】
別の実施形態によれば、運転手、運転手の車両および車両の外部環境のうちの少なくとも1つに関係する検出されたデータを受信するステップと、事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび検出されたデータに関係する履歴データに基づき判断するステップと、事故が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを、判断された1つ以上のニアアクシデント指標および機械学習データに基づき計算するステップと、検出された新たなデータに基づき機械学習データを継続的に更新するステップと、事象が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを出力するステップとを含む方法が提供される。
【0010】
さらに別の実施形態によれば、運転手、運転手の車両および車両の外部環境のうちの少なくとも1つに関係する検出されたデータを受信するように構成された受信機と、事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび検出されたデータに関係する履歴データに基づき判断すること、事故が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを、判断された1つ以上のニアアクシデント指標および機械学習データに基づき計算すること、ならびに検出された新たなデータに基づき機械学習データを継続的に更新することをするように構成されており、メモリに結合されたプロセッサと、事象が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを出力するように構成された送信機とを含む装置が提供される。
【0011】
さらに別の実施形態によれば、命令のセットを含む非一時的コンピュータ可読媒体であって、命令は、デバイスの1つ以上のプロセッサにより実行されると1つ以上のプロセッサに、運転手、運転手の車両および車両の外部環境のうちの少なくとも1つに関係する検出されたデータを受信することと、事故の発生の確率に関する1つ以上のニアアクシデント指標を、検出された異なる複数のデータおよび検出されたデータに関係する履歴データに基づき判断することと、事故が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを、判断された1つ以上のニアアクシデント指標および機械学習データに基づき計算することと、検出された新たなデータに基づき機械学習データを継続的に更新することと、事象が発生する確率、リスクスコアおよびリスクの低減に関係する情報のうちの少なくとも1つを出力することとをさせる、非一時的コンピュータ可読媒体が提供される。
【0012】
当然のことながら、前述した概略の説明および以下の詳細な説明は、いずれも例示的且つ説明的なものでしかなく、特許請求される発明を制限するものではない。
【0013】
以下の明細書および添付の特許請求の範囲を読み以下の図面を参照することによって、様々な実施形態が当業者に明らかになるであろう。
【図面の簡単な説明】
【0014】
図1】例示的な実施形態による全体的なシステムアーキテクチャの概略図を示す。
図2A】例示的な実施形態による運転リスクを低減させる方法を示す。
図2B】例示的な実施形態による運転リスクを低減させる方法を示す。
図2C】例示的な実施形態による運転リスクを低減させる方法を示す。
図3】例示的な実施形態によるコンピューティングプラットフォームのブロック図を示す。
図4】例示的な実施形態による、ニアアクシデント指標および機械学習(ML:machine-learning)ベースの予測を使用したリスクスコアリングフレームワークの概略図を示す。
図5】例示的な実施形態によるニアアクシデント指標を示す。
図6】例示的な実施形態による、不注意スコアを評価するために様々なセンサからのデータを組み合わせる概略図を示す。
図7】例示的な実施形態による確率論的機械学習プロセスの概略図を示す。
図8】例示的な実施形態による時系列予測モデルを示す。
図9】例示的な実施形態による、経験式によって不注意スコアを得るための指標分布を示す。
図10】例示的な実施形態による、MLフレームワークを自動的に生成する概略図を示す。
図11】例示的な実施形態による、モデル構築のための入力データとして、および情報を送信するために使用される、データフレームセグメントを示す。
図12】例示的な実施形態による、衝突までの時間指標を使用可能な事例を示す。
図13】例示的な実施形態による訓練データ生成エンジンを示す。
図14】例示的な実施形態による、線形補間が適用される例示的な事例を示す。
図15A】例示的な実施形態による、特定のデータフレームに対するデータ拡張および指標が適用される事例を示す。
図15B】例示的な実施形態による、特定のデータフレームに対するデータ拡張および指標が適用される事例を示す。
図16】例示的な実施形態による、データ補間、拡張およびロバストサンプリングを使用するサンプリング手法の組み合わせを示す。
図17】例示的な実施形態によるモデル構築エンジンの概略図を示す。
図18】例示的な実施形態によるパイプラインの構成可能な設定および説明を示す。
図19A】例示的な実施形態による種々のパイプライン動作プロセスを示す。
図19B】例示的な実施形態による種々のパイプライン動作プロセスを示す。
図20A】例示的な実施形態による種々のパイプライン動作プロセスを示す。
図20B】例示的な実施形態による種々のパイプライン動作プロセスを示す。
図21A】例示的な実施形態による種々のパイプライン動作プロセスを示す。
図21B】例示的な実施形態による種々のパイプライン動作プロセスを示す。
図22】例示的な実施形態による車両システムを示す。
図23】例示的な実施形態によるシステムの別の概略図を示す。
【発明を実施するための形態】
【0015】
本開示の概念には、様々な変更および代わりの形態が可能であるが、特定の実施形態が、図面に例として示されており、本願明細書に詳細に記載される。ただし、当然のことながら、本開示の概念を開示された特定の形態に限定する意図はなく、それどころか、本開示および添付の特許請求の範囲と矛盾しないすべての変更、均等物および選択肢を対象とすることが意図されている。
【0016】
本明細書における、「一実施形態」、「実施形態」、「例示の実施形態」などの言及は、記載される実施形態が特定の機能、構造または特性を含み得ることを示すが、あらゆる実施形態がその特定の機能、構造または特性を含んでもよいし、必ずしも含む必要もない。さらに、特定の特徴、構造または特性が或る実施形態に関連して記載される場合、明示的に開示されたか否かにかかわらず、他の実施形態と関連してかかる特徴、構造または特性に影響を及ぼすことは、当業者の知識の範囲内にあると考えられている。
【0017】
開示される実施形態は、場合によっては、ハードウェア、ファームウェア、ソフトウェアまたはそれらの任意の組み合わせにおいて実装され得る。開示される実施形態は、機械可読(例えばコンピュータ可読)媒体または機械可読ストレージ媒体により搬送されまたはそれに記憶される命令としても実装されてもよく、この命令は、1つ以上のプロセッサにより読み取られて実行されてもよい。機械可読ストレージ媒体は、機械による読み取りが可能な形態で情報を記憶または送信するための、任意のストレージデバイス、メカニズムまたはその他物理的構造(例えば揮発性または不揮発性メモリ、メディアディスクまたはその他メディアデバイス)として具現化され得る。
【0018】
関連技術において、リスク評価システムは、運転手にその人に合わせた運転の提案を、保険会社にリスクレポートを、さらに公的機関に事故データに依拠するサポートサービスを提供してきた。しかしながら、事故データは、比較的、量が疎である。したがって、本願明細書において開示される例示的な実施形態は、ML技術および定量的な運転リスク指標に基づく、運転手のリスク評価フレームワークを提供する。機械学習は、コンピュータおよび/またはシステムに、明示的にプログラムされることなく学習する能力を提供する。例示的な実施形態は、リスク予測にセンサデータ(例えば車内ビデオ、車外ビデオおよび生理学的データ)を使用するので、量があまりに疎である事故データに依拠する必要がない。
【0019】
個々の運転手は、事故を回避することの重要性を認識している。運転手は、利用可能なデータを活用して、安全運転のためのパーソナライズされた提案を取得することを望んでいる。保険会社は、潜在的な運転リスクを評価するために、より正確で迅速に更新されるスコアリング方法を必要としている。リスクの伴う運転パターンの傾向が保険会社に分かれば、かかるリスクを減じるために保険会社は予防的措置をとることができる。公的機関および立法者も、規制および指針を最適化して、老齢人口ならびに外国生まれの労働者および移民の数の増加などの社会経済上の諸要因による影響を受ける社会において、運転の安全性を向上させる必要がある。
【0020】
十分な情報を得た上で決定を行うために適切な量の情報/データを適時な形で個々の運転手、保険会社および公的機関/立法者に提供することに関して、技術的課題が存在する。例として、運転リスクスコアは定量的に評価される必要があるが、事故データを使用するのでは、関連技術の場合と同様に、粒度が粗すぎ、量があまりに疎である。さらに、状況によっては、運転手に関連するリスクの各側面が経験的判断に基づき区別される必要があるが、これは関連技術において効果的に行われていない。加えて、運転リスクを評価する目的でセンサデータの様々なソースを使用する際、価値のあるいずれの情報も損失せずにデータを効率的に組み合わせることは、技術的に困難な場合がある。なお、時系列データを使用したリスク傾向の予測は、非常に有用となる可能性があるが、そのような時系列データの使用は、従来の非時系列データの解析と比較して、技術的により難しいであろう。本開示の例示的な実施形態は、上記で言及された技術的な課題の多くを克服する。
【0021】
例示的な実施形態は、経験的知識を使用して運転リスクの定量的評価をする目的でルールのセットを定義し、マルチモーダルデータを融合させるためにMLフレームワークを適用して、かかるMLフレームワークに基づきリスク評価システムを最適化することにより、革新的で新規性のあるソリューションを提供し得る。MLフレームワークは、より多くの情報およびデータが収集されフレームワークに統合されるのに伴い、動的に進化し得る。例示的な実施形態は、現在のリスク状態を予測するのみでなく、時系列データを活用してリスク傾向の予測も行う。
【0022】
図1を参照する。例示的な実施形態によるシステム100が示されており、システム100のノードは、有線接続および/または無線接続を介して通信結合され得る。システム100の中のノードは、例として、1つ以上の車両101、1つ以上のスコアリングシステム160、1つ以上の予測システム170、および運転手180、保険会社190および政府機関195を含んでもよい。
【0023】
車両101は、様々なタイプのセンサデータ140を感知/検出するセンサまたは検出器を含んでもよい。センサ/検出器は、例として、車内ビデオカメラ、車外ビデオカメラ、ジオロケーションセンサ、デジタルタコグラフおよび/または運転手の生理学的情報を検出するセンサを含んでもよい。センサデータ140は、収集、記憶および分析されてもよい。
【0024】
センサデータは、他のさらなるデータとともに、リスク評価スコアの計算および判断のためスコアリングシステム160に提供されてもよい。センサデータ140のほか、さらなるデータには、例として、車両情報110、運転手プロファイルデータ120、位置情報(例えば地図情報)130および/または履歴データ150が含まれてもよい。履歴データ150には、例として、事故履歴データおよび運転ログデータが含まれてもよい。予測システム170は、スコアリングシステム160がリスク評価スコアを計算および判断するのを支援するために、スコアリングシステム160に追加情報を提供してもよい。スコアリングシステムによりもたらされるリスク評価スコアは、例として、アラート、レポートまたはアクションを引き起こす制御のアクティブ化を含む出力をトリガするために使用されてもよい。生成されたリスク評価スコアは、運転手180、保険会社190および政府195に送信されてもよい。
【0025】
上述のように、例示的な実施形態によれば、センサデータ140に基づきリスク評価スコアが計算されてもよい。例示的な実施形態によるリスク評価スコアを計算する方法200が、図2に示されている。
【0026】
図2Aにおいて、センサデータ140が、上述した様々なタイプのセンサまたは明示的に言及されていない他のセンサを用いて取得、感知、検出および/または獲得されてもよい。センサは、次に限定はされないが、車内ビデオカメラ、車外ビデオカメラ、ジオロケーションセンサ、デジタルタコグラフおよび/または生理学的データセンサを含むことができ、車両101に物理的に統合されてもよく、または車両101と別個であってもよく且つ有線および/または無線の通信手段ならびにかかる通信に影響を及ぼす関連プロトコル(例えばイーサネット、Bluetooth(R)、Wi-Fi(R)、WiMAX、LTEなど)を用いて車両101と通信してもよい。センサ140はさらに、例として、携帯電話、携帯情報端末(PDA:personal digital assistant)、タブレット、ラップトップまたはその他ポータブルコンピューティングデバイスなどのモバイルデバイスに統合されてもよい。
【0027】
ブロック210において、例としてサーバなどのコンピューティングデバイスが、運転手、車両および/または車両の外部環境に関係する上述したセンサデータ140を受信してもよい。ブロック215において、1つ以上のニアアクシデント指標がセンサデータ140に基づき判断および/または生成されてもよい。ブロック220において、事象が発生する確率、リスクスコアおよび/またはリスクの低減に関係する情報が、ニアアクシデント指標およびMLデータに基づき計算または生成されてもよい。例示的な実施形態によれば、MLアルゴリズムが、感知および/または取得される、以前のデータに基づきシステム100のMLデータを訓練するために使用されてもよい。確率は、図3に示されるコンピューティングデバイスにより計算されてもよい。
【0028】
ブロック230において、MLデータは、新たに検出されたデータに基づき継続的に更新されるとよい。次に、ブロック240において、計算された、事象が発生する確率、リスクスコアおよび/またはリスクの低減に関係する情報が生成されて、別個のデバイスに送信されてもよく、確率および/またはリスク評価スコアが、例として運転手、保険会社および/または政府機関により考慮および/または分析されてもよい。
【0029】
図2Bは、例示的な実施形態による運転リスクを低減させる方法のさらなる側面を示す。例として、ブロック250において、事象が発生する確率、リスクスコアおよび/またはリスクの低減に関係する情報を計算する動作は、運転手、運転手の車両および/または車両の外部環境に関係するリスクスコアを生成することを含んでもよい。
【0030】
ブロック260は、MLデータに基づき運転手リスクに関係する時間ベースの予測を生成するさらなる動作を示す。
【0031】
図2Cは、例示的な実施形態による運転リスクを低減させる方法の、またさらなる側面を示す。例として、ブロック270において、運転手リスクの時間ベースの予測を生成する動作は、一時点における運転手、運転手の車両および/または車両の外部環境に関係するデータを検出することにより運転手リスクの初期の予測を生成することと、後の時点における運転手、運転手の車両および車両の外部環境に関係するデータを検出することにより運転手リスクの予測を更新することとを含んでもよい。
【0032】
ブロック280は、ニアアクシデント指標のラベルを自動的に生成するさらなる動作を示す。当該のラベルは、ニアアクシデント指標予測に使用可能なモデルを構築するために使用されてもよい。
【0033】
以下、図3を参照する。図2の方法を実行してリスク評価スコアを計算する例示的なコンピューティングデバイス300(例えばサーバデバイス)が示されている。コンピューティングデバイス300は、プロセッサ320、メモリ326、データストレージ328、通信サブシステム330(例えば送信機、受信機、送受信機など)およびI/Oサブシステム324を含んでもよい。さらに、一部の実施形態において、例示のコンポーネントの1つ以上が、別のコンポーネントに組み込まれてもよく、またはその他、別のコンポーネントの一部を構成してもよい。例として、メモリ326またはその一部が、一部の実施形態ではプロセッサ320に組み込まれてもよい。コンピューティングデバイス300は、限定はされないが、モバイルコンピューティングデバイス、スマートフォン、ウェアラブルコンピューティングデバイス、モノのインターネットデバイス、ラップトップコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、コンピュータ、ワークステーション、サーバ、マルチプロセッサシステムおよび/またはコンシューマ電子デバイスとして具現化されてもよい。
【0034】
プロセッサ320は、本願明細書に記載される機能を実行できる任意のタイプのプロセッサとして具現化されてもよい。例として、プロセッサ320は、シングルもしくはマルチコアプロセッサ(単数または複数)、デジタル信号プロセッサ、マイクロコントローラまたはその他プロセッサもしくは処理/制御回路として具現化されてもよい。
【0035】
メモリ326は、本願明細書に記載される機能を実行できる任意のタイプの揮発性もしくは不揮発性メモリまたはデータストレージとして具現化されてもよい。動作中、メモリ326は、コンピューティングデバイス300が動作している間に使用されるオペレーティングシステム、アプリケーション、プログラム、ライブラリおよびドライバなどの様々なデータおよびソフトウェアを記憶してもよい。メモリ126は、1/0サブシステム324を介してプロセッサ320に通信結合されており、1/0サブシステム324は、プロセッサ320、メモリ326およびコンピューティングデバイス300の他のコンポーネントとの入出力動作を促進する回路構成および/またはコンポーネントとして具現化されてもよい。
【0036】
データストレージデバイス328は、例としてメモリデバイスおよび回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、不揮発性フラッシュメモリまたはその他データストレージデバイスなど、データの短期または長期記憶用に構成された任意のタイプのデバイスもしくはデバイス群として具現化されてもよい。リスク評価スコアの計算および判断に関して、データストレージデバイス328は、上述した検出されたデータおよび/またはMLデータを記憶してもよい。
【0037】
コンピューティングデバイス300は、通信サブシステム330も含んでもよく、これは、コンピューティングデバイス300と他のリモートデバイスとの間のコンピュータネットワーク(図示せず)上での通信を可能にすることができる任意の通信回路、デバイスまたはそれらの集合として具現化されてもよい。通信サブシステム330は、かかる通信に影響を及ぼすために、1つ以上の任意の通信技術(例えば有線通信または無線通信)および関連プロトコル(例えばイーサネット、Bluetooth(R)、Wi-Fi(R)、WiMAX、LTEなど)を使用するように構成されてもよい。
【0038】
図のように、コンピューティングデバイス300は、1つ以上の周辺デバイス332をさらに含んでもよい。周辺デバイス132は、任意の数のさらなる入出力デバイス、インターフェースデバイスおよび/またはその他周辺デバイスを含んでもよい。例として、一部の実施形態において、周辺デバイス332は、ディスプレイ、タッチスクリーン、グラフィック回路構成、キーボード、マウス、スピーカシステム、マイクロフォン、ネットワークインターフェースならびに/またはその他入出力デバイス、インターフェースデバイスおよび/もしくは周辺デバイスを含んでもよい。コンピューティングデバイス300は、下記で詳細に記載される機能の1つ以上をも実行してもよく、さらに/または下記で言及されるデータベースのいずれかを格納してもよい。
【0039】
以下、図4を参照する。この図は、例示的な実施形態による、ニアアクシデント指標およびMLベースの予測を使用したリスクスコアリングフレームワーク400の概略図を示す。図4において、特定の目的に基づきニアアクシデント指標のセット410が定義される。MLフレームワーク自動化アーキテクチャ420の中には、定義済みのデータセットの組み合わせ425が提供されてもよい。例示的な実施形態によれば、データセットの組み合わせは、時系列観測結果および新たな特徴(例えば交通信号)に関するものでもよい。
【0040】
データセットの組み合わせ425は、様々なセンサ/検出器により感知または検出されるセンサデータを含んでもよい。センサ/検出器は、例として、車内ビデオカメラ、車外ビデオカメラ、ジオロケーションセンサ、デジタルタコグラフおよび/または運転手の生理学的データを検出するセンサを含んでもよい。
【0041】
機械学習ベースの予測は、MLフレームワーク自動化アーキテクチャ420の中に提供されてもよい。MLベースの予測コンポーネントは、短期の指標予測および/または長期の指標予測を提供してもよい。リスクスコアリングフレームワーク400は、リスクスコアリングのための経験的関連式430を実装してもよく、経験的関連式430は、経験的データに基づく。不注意スコア440を計算、生成および/または判断するために、経験的関連式430は指標分布と組み合わされてもよく、不注意スコア440は、クライアント450のリスク評価にさらに応用されてもよい。例示的な実施形態によれば、MLフレームワーク自動化は、連続的にモデルを洗練させてもよい。
【0042】
MLフレームワーク自動化アーキテクチャ420は、時系列データなどの様々な異なるタイプのデータからデータモデルを生成してもよい。時系列データは、或る期間にわたる様々な間隔でセンサ/検出器により行われた連続した測定など、データソースの経時的な一連のデータ点またはデータ記録を含んでもよい。データソースは、時系列データなどのデータ記録を生成でき、且つ生成するように構成されている、様々な適切なデバイス、センサ、システム、コンポーネントおよび/またはその他適切なシステムのいずれかを含み得る。例として、データセットの組み合わせを構成するデータを検出するデバイスは、時系列データを検出してもよい。そのようなデバイスは、それらの現在の状態または周囲環境の現在の状態の側面1つ以上を測定し、当該測定値をデータとして車両内のコンピューティングデバイスに、インターネット(および/またはローカルエリアネットワーク(LAN:local area network)、ワイドエリアネットワーク(WAN:wide area network)、仮想プライベートネットワーク(VPN:virtual private network)、無線ネットワーク(例えばWi-Fiネットワーク、BLUETOOTHネットワーク、モバイルデータネットワーク)またはそれらの任意の組み合わせなど、他の通信ネットワーク)上で(有線且つ/または無線で)伝達する。
【0043】
例として、時系列データは、温度の測定値、回転速度、圧力、流量、制御信号の受信、制御信号の送信および/またはその他適切な測定値など、エンジンの様々なコンポーネントの動作およびパフォーマンスに関係する測定を行うエンジンセンサによって得られる測定値を含んでもよい。かかる例示的な時系列データは、例として、エンジンに関する問題が発生する前に問題を予測的に特定および是正する(例えばベルトが摩耗していて交換が必要であることの指標を特定する)ために使用され得るエンジンのデータモデルを生成するため、さらに/またはエンジンのどのコンポーネント(単数または複数)が不具合を生じさせたか(例えばどのコンポーネントが低速で振動を生じさせているか)を事後的に判断するために使用されてもよい。
【0044】
図5を参照する。ニアアクシデント指標の例示的なリスト510が示されている。ニアアクシデント指標510の例には、「衝突までの時間」、「白線までの距離」、「歩道までの距離」、「交通信号の変化に対する反応時間」、「眠気の度合い」などが含まれる。ニアアクシデント指標510は、例として、事故が発生するリスクを特定するために予測目的で使用できる諸要因であってもよい。これらの例示のニアアクシデント指標510は、ドメイン知識に基づき判断されてもよいが、ドメイン固有調査および/または検討によりドメイン固有のニアアクシデント指標の他の候補が特定されてもよい。例示的な実施形態によれば、「衝突までの時間」などのニアアクシデント指標と、運転不注意指標(例えば「眠気の度合い」)と間の関連性が不注意スコアに基づき判断されてもよく、さらにこのスコアは、少なくとも損失関数に基づき判断される。不注意スコアおよび損失関数については、下記でより詳細に説明される。ニアアクシデント指標510の一部は、機械学習に基づき予測されてもよい。衝突までの時間指標を計算または推定するための例示的な式520も、図5に自動車1の観点から示されている。計算は、自動車1の中のコンピューティングデバイスを用いて実行されてもよく、または自動車1が通信するリモートコンピューティングデバイスを用いて実行されてもよい。式520は、2つの自動車(例えば自動車1および自動車2)間の距離ならびにそれらそれぞれの速度に基づいてもよい。自動車1と自動車2との間の距離は、例として、1つ以上の車外ビデオカメラにより判断されてもよい。自動車2の速度も、1つ以上の車外ビデオカメラにより、またはそのほか超音波、レーダもしくは光ベースの測定を使用し得る物体速度検出器により検出されてもよい。自動車1の速度は、その速度計により検出されてもよく、またはセンサデータ140からのジオロケーション情報の分析から判断されてもよい。
【0045】
例示的な実施形態によれば、ニアアクシデント指標に関係するデータは、リスク評価システムを継続的に開発し、洗練させるために収集および使用されてもよい。機械ベースの学習は、運転リスクが高まる一因となる徴候のより優れた特定につながり得る、ニアアクシデント指標における傾向の予測のために使用されてもよい。このようなことは、運転リスクに対する運転手および運転手の車両の条件を評価するための定量的測定値(例えばニアアクシデント指標)を定義することにより可能になる。
【0046】
図6を参照する。例示的な実施形態による、運転手のリスクを評価するために様々なセンサからのデータを組み合わせる概略図が示されている。センサデータは、例として、車内カメラにより検出される車内ビデオデータ610、車外カメラにより検出されてもよく且つ車両外部の環境のビデオあってもよい外部ビデオデータ620、および生理学的センサにより検出されてもよく且つ運転手の生理学的データを検出してもよい生理学的データ630を含んでもよい。車内カメラは、例として、運転手がモバイルデバイスを使用しているかどうか、運転手があくびをしているかどうか、および/または運転手の頭部の向きなど、車内の特徴650を検出してもよい。車外ビデオカメラは、例として、1つの車両と別の車両との間の距離、車両と歩行者との間の距離および交通信号の状態などの車外の特徴660を検出してもよい。生理学的データセンサは、例として、運転手の心拍数、体温および脳波などの生理学的特徴670を検出してもよい。様々なセンサにより検出される特徴650、660、670が、運転手のリスクを判断するために使用され得る種々の指標を予測するために抽出されて、組み合わされてもよい。指標を予測するために単一の特徴を使用するのとは対照的に、センサデータの複数のソースを組み合わせることで、予測される指標のより高い信頼度がもたらされる可能性がある。例として、あくび事象の場合、複数の特徴を分析することが、より正確な眠気の指標につながるかもしれない。指標には、「眠気の度合いまたは変化率」680、「集中力の度合いまたは変化率」685、「ストレスの度合いまたは変化率」690および/または「リスクの伴う運転挙動の度合いまたは変化率」695が含まれ得るが、これに限定はされない。
【0047】
図7を参照する。例示的な実施形態による、リスク評価システムを訓練して継続的に更新する確率論的機械学習フレームワークが示されている。回帰分析のような(例えば事故データに基づく)従来の統計モデルは、構造化の程度が極めて低いセンサデータの複雑な組み合わせに対処するものではなく、かかるモデルに基づく予測には信頼性がないので、不十分である。例示的な実施形態の確率論的MLフレームワークによれば、例として深層ニューラルネットワークなどのMLアルゴリズムが、構造化されていないデータの複雑な組み合わせを処理して予測を実行し得る。
【0048】
図7に示されている例示的な実施形態によれば、リスク評価システムモデルは、更新および/または訓練される前に事前定義されてもよい。履歴データ710は、事前定義モデル720とともに使用でき、履歴データ710を伴う事前定義モデル720は、訓練/更新動作S730により訓練/更新され、訓練済み/更新済みモデル740をもたらすことができる。訓練/更新動作S730は、ワンパスバッチ訓練または複数エポックミニバッチ訓練を含んでもよいが、これに限定はされない。訓練済み/更新済みモデル740は、リアルタイムセンサデータ760を使用してオンライン訓練S750により連続的に更新され、パーソナライズされてもよい。オンライン訓練S750の過程において、訓練済みモデル740は入力モデルであってもよく、リアルタイムセンサデータ760を使用して増分訓練されてもよく、リアルタイムセンサデータ760は、オンラインで取得されてもよく、履歴データ710と同じデータ構成を有してもよい。オンライン訓練動作S750の出力は、更新された訓練済みモデル740であってもよく、これが旧バージョンに置き換わることになる。その後、訓練済みモデル740は、予測動作S770により指標(例えばニアアクシデント指標)を生成してもよい。かかる指標(例えば現在の運転手の眠気のレベル)は、典型的には、予測不可能であり、不明確である。このように、運転手のリスクが従来のモデルを用いるよりもはるかによく評価され得る。予測動作S770は、指標分布780をもたらすために訓練済みモデル740がリアルタイムセンサデータ760に適用されることを含んでもよい。S750とS770との間の違いは、S750ではリアルタイムのラベル付きデータもオンライン訓練のために提供されなければならない一方で、S770ではラベル付きデータは利用可能でないことである。ラベル付きデータと同じデータ構成を有する指標が、予測動作S770の間に予測されてもよい。
【0049】
履歴データ710は、センサデータ610、620、630を含むがこれらに限定されない、以前に測定されたセンサデータを含んでもよい。事前定義モデル720は、線形回帰、非線形回帰、ロジスティック回帰などの回帰モデル、決定樹、ランダムフォレスト、サポートベクターマシン(SVM:support vector machine)、ニューラルネットワークおよび深層ニューラルネットワークモデルであってもよいが、これに限定はされない。
【0050】
図7に示されている例示的な実施形態によれば、リスク評価システムモデルは、更新および/または訓練される前に事前定義されてもよい。事前定義モデル720と併せて、履歴データ710は、新たに蓄積されたデータを用いて定期的に訓練/更新されてもよい、730。その結果、事前定義モデル720は、訓練済みモデル740になる。訓練済みモデル740は、センサデータ760を使用してオンライン訓練750により連続的に更新されて、パーソナライズされてもよい。訓練済みモデル740は、その後、予測不可能であり(例えば現在の運転手の眠気のレベル)不明確である指標(例えばニアアクシデント指標)の予測分布770を提供してもよい。このように、従来のいずれのモデルを用いるよりもはるかに優れた運転手リスクの評価が行われ得る。
【0051】
図8を参照する。さらなる例示的な実施形態による、図7の実施形態において生成された時系列予測モデルが示されている。図8には、異なる時点T1およびT2のモデル挙動を表す時系列予測モデル810および820が示されており、点T2は、新たに観測されたデータを用いて時系列予測モデル810が更新された後である。時系列予測は、確率論ベースのML手法のもう1つの利点である。これは、時系列予測モデル810がまだ更新されていない場合でも、連続したセンサデータを十分活用し得る。モデル810は、更新されていなくても、リスク徴候(例えばあくび)を使用してリスク指標の将来の予測を提供でき、その結果、モデル810により示される予測に基づき是正措置が講じられてもよい。
【0052】
他方、時系列予測モデル820は、新たに観測されたデータを使用してその指標の予測される分布を連続的に更新し得るモデルを表す。時系列予測モデル820の更新は、オンライン更新スキームを介して発生してもよい。訓練済み時系列予測モデルは、ニアアクシデント指標の長期の予測を連続的に提供してもよい。
【0053】
継続的に更新される時系列モデルの利点は、時系列モデル810および820により明らかである。時系列モデル810において、予測される運転手評価は、特定の時点T1において運転手について収集されたデータに基づく。時系列モデル820は、時系列モデル810の中の時点T1よりも後の時点T2において検出された時の運転手の状態を示す。したがって、時系列モデル820は、更新されたデータに基づいて、時系列モデル810の中のより早期の時点T1において検出された運転手状態データよりも正確な、運転手リスク評価の予測を表す。
【0054】
以下、図9を参照する。例示的な実施形態によるリスクスコアリングのための経験的関連式が示されている。経験的関連式は、不注意スコアScore(x)を判断するために、損失関数および指標分布を積分してもよい。不注意スコアScore(x)は、対象運転手の総合運転リスクスコアであってもよく、指標分布p(y|x,D)および損失関数L(y)を積分することにより算出され、yはニアアクシデント指標であり、xは入力データであり、Dは訓練データである。指標分布は、図7および図8で説明されたように取得されてもよい。yの損失関数は、対象用途に基づき、経験的知識(例えば経験的履歴データ)に従って決定されてもよい(例えば、衝突までの時間指標y>3秒であればペナルティを科さない)。損失関数は、事前定義されてもよく、且つ/または閾値に基づいてもよいが、例示的な実施形態によれば、損失関数は、単なる閾値以上のものであってもよく、(例えば運転の安全性の専門家からの)ドメインにおける経験および知識に基づく指標値ならびに分布を考慮に入れてもよい。損失関数の定義域は、指標分布関数と一致してもよい。
【0055】
リスク指標の重要性は、その用途に基づき異なるかもしれない。例として、通常は長く運転するトラック運転手には、眠気の度合いが特に重大かもしれない。この例示的なシナリオにおいて、指標予測分布を変更することなく、損失関数が、損失関数を介して眠気指標により強いペナルティを科してもよい。ニアアクシデント指標の予測的分布と経験的損失関数を組み合わせることにより、運転リスクの定量的評価が実現され得る。経験的損失関数は、指標および対象用途のそれぞれに従い設計されてもよい。したがって、指標予測は、様々な用途にわたって再利用可能であってもよい。
【0056】
図10には、例示的な実施形態に従い、MLフレームワークを自動的に生成する概略図が示されている。図10に示されているMLフレームワーク自動化アーキテクチャ1000は、機械フレームワークを自動的に生成してもよく、その結果、機械フレームワークは、短いタイムスパンで複合モデルの大規模データを自動的に構築してもよい。図10では、様々なセンサが、運転手、運転手の車両および/または車両外の要因に関する情報を検出および取得してもよい。収集されるデータは、センサデータ1010と呼ばれてもよい。センサデータ1010は、分析されて、時系列モデリング1020の対象とされてもよい。収集および分析されるセンサデータは、1つ以上の車両から受信されてデータセットストレージ1030に記憶されてもよい。
【0057】
上述のデータセットストレージ1030は、メモリを含む任意のタイプの記憶手段として具現化されてもよい。データセットストレージ1030は、本願明細書に記載される機能を実行できる任意のタイプの揮発性または不揮発性メモリまたはデータストレージとして具現化されてもよい。動作中、データセットストレージ1030は、様々なデータおよびソフトウェアを記憶してもよい。データセットストレージ1030は、車両内に搭載されてもよく、または運転手の車両に通信結合された別個のデバイスおよび/またはサーバの一部であってもよい。
【0058】
1つ以上の車両から収集された格納済みのデータは、訓練データ生成エンジン1040に送信されてもよく、送信されたデータは、そこで補間、拡張および/またはロバストサンプリングの対象とされてもよい。訓練データ生成エンジンにより操作されたデータは、モデル構築エンジン1050に送信されてもよく、モデル構築エンジン1050においてデータは、データがどのように使用されることになるかに基づく損失関数分析の対象とされてもよい。訓練データ生成エンジン1040およびモデル構築エンジン1050は、図3に示されているものと類似して別々のコンピューティングデバイスであってもよく、または単一のコンピューティングデバイスを構成してもよい。
【0059】
図11を参照する。例示的な実施形態による、モデル構築のための入力データとして、および情報を送信するために使用され得る、データフレームセグメント1100が示されている。データセグメント1100のデータフレーム1110も示されている。データフレーム1110は、モデル構築に有用なデータを含む、或る時点に関連する情報セットであってもよい。定義済みのタイムスパン内の連続したデータフレーム1110のセットが、データフレームセグメント1100を構成してもよく、データフレームセグメント1100は、モデル構築のための入力データとして、および前述のセンサとサーバコンピューティングデバイスとの間の通信のために使用されてもよい。
【0060】
特定の時点に関連するすべてのセンサデータならびに生のセンサデータから抽出された特徴が、データフレーム1110にグループ化されてもよく、これは、ビデオ画像、センサ観測結果、変換された時間固有変数などを含んでもよい。運転手の年齢/性別、車両タイプなどの何らかのカテゴリまたは属性データも、データフレーム1110に統合されてもよい。そうすることにより、すべてのカテゴリ/プロファイル固有情報が、モデル構築ハイパーパラメータから入力データセットに移されてもよく、その結果、データフレームの普遍性が高まり得る。
【0061】
以下、図12を参照する。指標の非同期型の自動ラベル付けを伴う例示的なシナリオが示されている。データフレームセグメント1100は、指標予測のためのモデルを構築するために使用されてもよい。例として、ビーコン、光検出と測距(LiDAR:light detection and ranging)またはカメラによるビデオ撮影などを使用することを含む、任意の可能な観測または測定方法が、指標のラベルを生成するために使用され得る。かかるラベル付き指標は、関連性のあるデータフレームセグメントに非同期的にマッチングされてもよい。
【0062】
例示的な実施形態によれば、指標のラベルは、グラウンドトゥルースデータに対応してもよい。例示的なシナリオにおいて、ビーコンシステムは、2つの自動車の推定される走行速度に基づき、ビーコンセンサから道路を走行している連続する自動車までの2つの測定距離を生成してもよい。その結果、ビーコンシステムは、将来における2つの自動車間の距離を正確に計算できるとよく、かかる距離データは、衝突までの時間指標などの真の指標値を計算するためのグラウンドトゥルースデータとみなされてもよい。
【0063】
衝突までの時間指標がラベル付けに使用され得る場合、任意の観測または測定がビーコン、LiDARまたはカメラにより行われると、測定された値を用いてラベルが自動的に生成されてもよい。指標ラベルが自動的に生成されると、記憶されたデータフレームセグメントが、追跡されて、このラベルに対応するデータフレームセグメントを特定するために使用されてもよい。例として、図12において、測定指標1220が時間Tに生成されてもよく、この測定指標は、衝突までの時間(すなわち自動車1と自動車2との間の衝突までの時間)指標である。時間Tに生成された指標1220に関して、2つの候補データフレームセグメント1210が発見されてもよく、これらは、それぞれ以前の時間TおよびTに生成されている。マッチングされたデータフレームセグメント1210と指標ラベルとのペアが、複合モデル構築に使用されるデータセットとされてもよい。
【0064】
図13は、図10に示された訓練データ生成エンジン1040に類似したものであってもよい、訓練データ生成エンジン1300の詳細な図を示す。訓練データ生成エンジン1300は、データ補間、拡張およびロバストサンプリング技術を適用して複合モデル構築のための訓練データセットを自動的に生成する、データ補間モジュール1310、データ拡張モジュール1320および/またはロバストサンプリングモジュール1330を含んでもよい。データ補間モジュール1310は、実際のラベル付きのデータフレームセグメントと比較して類似したデータフレームセグメントを発見して、それらに合成ラベル値を付与することによって、データフレームセグメントと指標とのマッチングされたペアを増加させることにより、データ補間を実行してもよい。類似したデータフレームを発見するための類似度アルゴリズムには、ユークリッド距離、ジャッカード係数およびコルモゴロフ類似度アルゴリズムが含まれ得るが、これに限定はされない。データ拡張モジュール1320は、1つ以上の種類の分散を元のものに加えることにより固有データフレームセグメントの数を増加させることによってデータ拡張を実行してもよい。画像処理の拡張アルゴリズムには、平行移動、回転および輝度/コントラスト調整が含まれ得るが、これに限定はされない。ロバストサンプリングモジュール1330は、モデル構築プロセスをより頑強にしてデータ分布のバイアスのリスクを低減させるために、データフレームセグメントの組み合わせ事例を増加させること、ならびにラベルの分布の均衡をとることにより、ロバストサンプリングを実行してもよい。
【0065】
データ補間、データ拡張およびロバストサンプリングについては、図14図15A図15Bおよび図16に関してさらに詳細に後述される。
【0066】
以下、図14を参照する。例示的な実施形態による、データ補間が適用されるシナリオおよび例示的な類似度アルゴリズムが示されている。つまり、ボックス1410に、例示的な実施形態による、類似したデータフレームを発見するために使用され得る異なるいくつかの類似度アルゴリズムが列挙されている。さらに、自動データ生成を訓練するためにデータ補間が適用される例示的なシナリオ1420が示されている。線形補間を適用するとき、まず、対応するデータフレームセグメントを補間するパラメータが判断されてもよく、次に、パラメータが指標を補間するために使用されてもよい。
【0067】
例として、例示的なシナリオ1420において、ビーコンAおよびビーコンBからの距離および速度の測定値に基づき、個々に時間TおよびTにおける指標TBCT1およびTBCT3が計算されてもよい。Tには測定値はない。t、tおよびtの対応する収集されたデータフレームセグメントは、DFSt1、DFSt2およびDFSt3である。その後:
1)パラメータa、bが計算されるとよく、これは、類似距離
【0068】
【数1】
【0069】
が最小化されるように、一次式:
【0070】
【数2】
【0071】
により、
【0072】
【数3】
【0073】
をもたらし、
2)補間された指標
【0074】
【数4】
【0075】
が、次の一次式を用いて計算されるとよい:
【0076】
【数5】
【0077】
図15Aおよび図15Bを参照する。それぞれ、例示的な実施形態による、データ拡張の適用および様々な拡張法が示されている。図15Aにおいて、データ拡張を適用すると、初期のデータフレーム1510に関連するいくつかの追加のデータフレームセグメント1520がデータ拡張により生成され得ることが示されている。図15Bは、(例えば画像データに関係する)いくつかの異なる選択可能な拡張法を列挙している。
【0078】
以下、図16を参照する。入力データの元の分布は、均衡を欠く場合が多いと考えられ、したがって、モデルのバイアスのリスクを生じる。サンプリング手法と、データ補間、拡張およびロバストサンプリングとを組み合わせることにより、モデルの頑強性が増大する可能性があり、その結果、予測パフォーマンスが、安定した満足できるレベルに保持され得る。データモデルの元の分布1610に、疎な、したがってサンプルが少ないデータの値の範囲がいくつかあり得る。その結果として、分布は均衡を欠く可能性があり、このことが、バイアスのある予測などのモデルのパフォーマンスの問題を引き起こし得る。データの元の分布は、補間および拡張モデル1620の対象とされてもよい。データ補間および拡張モデル1620に基づき、分布の範囲全体のサンプルの数が増大してもよい。次に、補間および拡張されたデータに、ダウンサンプリングおよびオーバーサンプリングによりロバストサンプリング1630が適用されてもよい。データの密な範囲をダウンサンプリングし、データの疎な範囲をオーバーサンプリングすることにより、均衡がよりよくとれた入力データの分布が、モデル構築目的のために取得されてもよい。
【0079】
図17では、例示的な実施形態による機械学習自動化アーキテクチャが、モデル構築エンジン1700を作成するために使用されてもよく、その結果、モデル構築エンジン1700は、広範な複合モデルを構築する。図17に示されているように、パイプライン、増分、ブースティングおよび転移の各方法が、モデル構築プロセスがモデルパフォーマンスを改善するのを促進するために使用されてもよい。
【0080】
モデル構築エンジン1700において、モデル構築パイプライン1720は、データソース、目標変数(単数または複数)、モデル構造、費用関数、正則化および最適化スキームならびにその他ハイパーパラメータを含む主要な設定のセットを編成してもよい。モデル構築パイプラインは、データセットを読み込む、訓練および検証のためにデータセットを分割する、設定されたハイパーパラメータを読み込む、モデル訓練動作を実行する、または訓練後にモデル検証を行うなどの、モデル構築タスクの定義済みシーケンスであってもよい。モデル構築パイプラインは、並列演算環境において管理および実行されてもよい。増分法を用いるモデル構築は、新たに取得されたデータとともに既存のパイプライン1730を継続的に使用してもよい。モデルは、拡大された訓練データセットに基づき拡張されてもよい。「ブースティング」法を用いるモデル構築は、初期のモデルの実行の不十分な部分に焦点を合わせ、新たに取得されたデータを初期のモデルの修正に使用する。元のパイプラインは、この使用を組み込むために、典型的にはアンサンブル法を適用することにより変更を加えられてもよい。
【0081】
アンサンブル法は、より優れたパフォーマンスを実現するために複数のモデルを使用する動作を含んでもよい。そのようなものの例には、住宅街については優れた予測を行うが幹線道路の場面ではパフォーマンスが不十分なモデルが含まれるが、これに限定はされない。後の新しいデータセットが幹線道路の場面に利用可能である場合、モデルを完全に再構築するのではなく、新たな幹線道路データセットを用いて新たなモデルが構築されてもよく、次に2つのモデルが、単一のモデルとして機能するようにともに組み合わされてもよい。組み合わされた方法は、予測された結果を単純に平均すること、異なる状況で多数決をとること、または別々の予測された結果をマージするために線形回帰などのラッパ単純モデルを構築することを含むが、これに限定はされない。
【0082】
最後に、「転移」法を用いたモデル構築は、何らかのうまく構築されたモデルの全体的または部分的構造を基礎として複製することを伴ってもよく、次に、別の用途のために新たなモデルを構築し始めてもよい。新たなデータセットは、元のデータを含んでもよいが、通常は、ある程度異なるデータを含む。
【0083】
図18図21を参照する。これらの図は個々に、図17にそれぞれ表現された、パイプライン定義、パイプライン増分法、パイプラインブースティング法およびパイプライン転移法に関する。例として、図18は、反復可能なモデル構築パイプラインの明確に定義された構成を示す。パイプラインは、大規模モデル構築のためのMLフレームワーク自動化の基礎となり得る。
【0084】
図19Aおよび図19Bは、増分を用いてモデルを構築するためにモデル構築エンジンを使用する例示的なシナリオを示す。一定の状況下で、少なめのデータセット量を用いて構築されたモデルが、アプリケーションの早期市場展開に適用されてもよく、このモデルは、より多くのデータを蓄積した後、モデルパフォーマンスを改善するために既存のパイプラインを用いて増分構築、開発および洗練されてもよい。図19Aにおいて、早期展開の場合、元のパイプラインが、新たに蓄積されたデータを用いて再実行されてもよく、さらにモデルが、早期モデルからのデータを用いて更新されて、新たなモデルがもたらされてもよい。図19Bのパイプライン動作プロセスに関して、前もって設定された元のパイプラインが新たに蓄積されたデータに接続し直されてもよい。他のすべての構成設定は、元の値と同じに保持されてもよい。
【0085】
概して、上述の増分法は、パイプラインの使用に関し、パイプラインは、増大したデータセットを用いて再実行され、その一方で、他の設定はすべてその元の形に保持される。新たに訓練されたモデルは、元のモデルと比較してより優れたパフォーマンスを有することが期待でき、元のコンテキストと同じコンテキストにおいて適用されて旧モデルに置き換わってもよい。
【0086】
図20Aおよび図20Bは、ブースティングを用いてモデルを構築するためにモデル構築エンジンを使用する例示的なシナリオを示す。既存モデルのパフォーマンスは、新たに調整されたモデルに対して既存モデルの予測結果を比較することにより継続的に監視されてもよい。例として、1つのモデルのパフォーマンスが、幹線道路条件または夜間運転を伴う場合などの一部の特定の条件下で不十分である場合、関連性のあるデータサンプルが増加されてもよく、さらにモデル構造に変更が加えられてもよく、その後、パイプラインが再実行されてもよい。
【0087】
一定の状況下で、少なめのデータセット量を用いて構築されたモデルが、アプリケーションの早期市場展開に適用されてもよく、このモデルは、より多くのデータを蓄積した後、モデルパフォーマンスを改善するために既存のパイプラインを用いて増分構築されてもよい。かかる動作は、図20Aの使用事例および図20Bのパイプライン動作プロセスにおいて実行される。
【0088】
一般に、「ブースティング」法は、パイプラインのブースティング使用を伴ってもよく、パイプラインは、例としてデータセットを意図的に増加させるために、操作されたデータセットを用いて再実行される。データセットの増加は、データセットが、幹線道路条件を予測するときなど、モデルのパフォーマンスが不十分である条件に関することを意味し得る。ブースティング法に関しては、上述したアンサンブル法を使用するか否かのオプションがある。アンサンブル法が使用されない場合、新たに訓練されたモデルは、元のモデルと同じ構造であってもよい。この場合、ブースティング使用は、モデルの不十分なパフォーマンスの側面を考慮してデータセットが操作されることを除いて、増分使用に類似し得る。
【0089】
アンサンブル法が使用される場合、新たに訓練されたモデルは、元のモデルとともに組み合わされてもよい。言い換えれば、新たな最終モデルは、(アンサンブル法が適用されるラウンド数に従い)2つ以上のモデルを含む組み合わせモデルであってもよい。新たに訓練されたモデル(または組み合わされたモデル)は、元のコンテキストにおいて適用されて、旧モデルに置き換わってもよい。
【0090】
図21Aおよび図21Bは、「転移」法を用いてモデルを構築するためにモデル構築エンジンを使用する例示的なシナリオを示す。場合によっては、利用可能なデータは、新たなタイプの車両用のアプリケーションを開発する場合、新たな市場に拡大する場合、または新たな対象指標を導入する場合など、新たなモデルを構築するためには不十分かもしれない。そうした場合、構築プロセスを加速してモデルパフォーマンスを改善するために、既存のモデルがベースとして使用されてもよく、このモデルが、限られた新たなデータセットを用いてさらに開発されてもよい。一定の状況下で、少なめのデータセット量を用いて構築されたモデルが、アプリケーションの早期市場展開に適用されてもよく、このモデルは、より多くのデータを蓄積した後、モデルパフォーマンスを改善するために既存のパイプラインを用いて増分構築されてもよい。かかる動作は、図21Aの使用事例および図21Bのパイプライン動作プロセスにおいて実行されてもよい。
【0091】
「転移」法は、適用目的が元のモデルと異なる場合の、パイプラインの転移使用を含んでもよい。例として、衝突までの時間指標を自動車内カメラのビデオを使用することにより予測する元のモデルを所与として、パイプラインの転移使用の目的は、歩道までの距離指標を予測するモデルを訓練することであってもよい。元のモデルはベース構造として使用され、その現在の内部パラメータは、初期値として保持され、その一方で、データセットおよびグラウンドトゥルース値が、他のビデオおよび歩道までの実際の距離に置き換えられる。パイプラインを実行した後、新たに訓練されたモデルは、例として歩道までの距離指標を予測するためなど、異なるコンテキストに適用されてもよく、その一方で、衝突までの時間指標を予測する元のモデルは、置き換えられずにその元の状態に保持される。
【0092】
本開示の例示的な実施形態の予測力は、従来の単純なMLモデルを上回り、それとともにデータセットの規模が増大する。従来のMLモデルは、せいぜい数百または数千の内部パラメータを含む「浅い」モデルであることが多い。他方、本開示の例示的な実施形態は、数百万の内部パラメータを含むことが多い深層学習モデル(すなわち複合モデル)に関する。深層モデルは、モデル構築を行うためにはるかに多くのデータを必要とすると考えられ、したがって、かかるモデルをゼロから構築するのは非常に困難であるが、新たなビジネスを立ち上げるとき、または新たなソリューションを作り出すときは、そのような状況であることが多い。
【0093】
本開示の例示的な実施形態によるMLフレームワーク自動化アーキテクチャを実装することにより、利用可能なデータセットが、データ補間、拡張およびロバストサンプリングを駆使することで最大の形で活用され得る。他方、例示的な実施形態の例示的な実装は、モデル構築タスクをより管理可能、複製可能且つ転移可能なものにする可能性があり、その結果、かかる複合モデルが、全体として最も効率的な形で、さらには最も大規模に構築され得る。
【0094】
本願明細書に記載された例示的な実施形態は、動作および計算を実行するために複合MLモデル(例えば深層ニューラルネットワーク)を応用する。例示的な実施形態は、複合モデル構築手法をサポートする入力を自動的に生成するフレームワーク自動化アーキテクチャを表す。時系列予測特性および指標-損失関数メカニズムに基づき、世界規模のデータが収集されてもよく、次いで、かかるビッグデータが、効率的に汎用の複合モデルを構築して提供するために活用されてもよい。
【0095】
図22を参照する。例として図5に示された自動車1の、例示的な実装が示されている。車両2200は、前方向きカメラ2210、後方向きカメラ2220、生理学的センサ2230、デジタルタコグラフモジュール2240および中央演算モジュール2250を含んでもよい。車両2200は、クラウドサービス2260に無線接続してもよい。前方向きカメラ2210は、外部視覚データを検出して、データを中央演算モジュール2250にUSBインターフェースを介して送信してもよい。後方向きカメラ2220は、運転手およびその他車内の視覚データを検出して、データを中央演算モジュール2250にUSBインターフェースを介して送信してもよい。生理学的センサ2230は、運転手の生理学的データを取得して、データを中央演算モジュール2250に、例としてBluetoothまたはWi-FiなどのWLANインターフェースを介して送信してもよい。デジタルタコグラフモジュール2240は、車両位置および走行データを取得して、データを中央演算モジュール2250にUSBインターフェースを介して送信してもよい。中央演算モジュール2250は、センサデータを収集して、予測を実行してもよい。中央演算モジュール2250は、モバイルデータプロトコルを介してクラウドサービス2260に伝達してもよい。クラウドサービスは、例として、地図アクセスまたはユーザプロファイル管理など、リモート機能サービスを提供してもよい。
【0096】
中央演算モジュール2250の詳細な図も図22に示されている。中央演算モジュール2250は、USBモジュール2251、WLANモジュール2252、データ通信モジュール2253、GPUモジュール2254、CPU(central processing unit:中央処理ユニット)モジュール2255、メモリモジュール2256、ストレージモジュール2257およびタッチパネルモジュール2258を含んでもよい。USBモジュール2251は、USBデータ送信プロトコルを実装してもよく、WLANモジュール2252は、例としてBluetoothおよびWi-FiなどのWLANデータ送信プロトコルを実装してもよく、データ通信モジュール2253は、モバイル無線プロトコルを実装してもよく、GPUモジュール2254は、深層学習に関係する処理を実行してもよく、CPUモジュール2255は、汎用演算処理を実行してもよく、メモリモジュール2256は、データを記憶して高速アクセス可能性を提供してもよく、ストレージモジュール2257は、SSDなどの媒体にデータを恒久的に記憶してもよく、タッチパネルモジュール2258は、ユーザ入力および表示機能性を提供してもよい。
【0097】
図23は、車両2310、ネットワーク2320、サーバデバイス2360ならびに車両および運転手情報サーバ2340を含むネットワーキングアーキテクチャ2300を示す。サーバデバイス2360は、スコアリングモジュール2370および予測モジュール2380を含んでもよく、これらは、図1のスコアリングシステム160および予測システム170に似た機能性を有してもよい。車両2310のセンサは、センサデータ(例えば図1のセンサデータ140)をネットワーク2320上でサーバデバイス2360に送信してもよい。一例において、車両2310は、履歴データ150、車両情報110、運転手プロファイルデータ120および/または地図情報130を、直接通信リンクを介して車両および運転手情報サーバ2340から受信してもよい。直接通信リンクは、例としてBluetooth、IR、Wi-Fi、NFCリンクなどの無線リンクであってもよい。車両2310と車両および運転手情報サーバ2340との間の通信は、ネットワーク2320上で間接的に提供されることも可能である。ネットワーク2320は、通信を促進するために、サーバ、アクセスポイント、ルータ、基地局、モバイル交換センタ、公衆交換電話網(PSTN:public switching telephone network)コンポーネントなどの任意の適切な組み合わせを含んでもよい。
【0098】
各図面のフローチャートおよびブロック図は、様々な例示的な実施形態によるシステム、方法およびコンピュータプログラム製品の考えられる実装のアーキテクチャ、機能性および動作を示す。この関連で、フローチャートまたはブロック図の中の各ブロックは、指定される論理機能(単数または複数)を実装する1つ以上の実行可能命令を含むコードのモジュール、セグメントまたは一部を表してもよい。さらに、一部の代わりの実装では、ブロック(単数または複数)内に示されている機能が、図面に示されているのとは異なる順序で生じてもよいということに留意されたい。例として、関連する機能性次第で、連続して示されている2つのブロックが実際には事実上同時に実行されてもよく、または各ブロックが逆順で実行されることがあってもよい。さらに、ブロック図および/またはフローチャート図の各ブロック、およびブロック図および/またはフローチャート図の複数ブロックの組み合わせは、指定の機能もしくは動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアおよびコンピュータ命令の組み合わせにより実装され得るということに留意されたい。
【0099】
本願明細書において示された方法は、概して、コンピューティングデバイスまたはシステムに実装され得る。コンピューティングデバイスまたはシステムは、ユーザレベルデバイスもしくはシステムまたはサーバレベルデバイスもしくはシステムであってもよい。特に、本方法は、ランダムアクセスメモリ(RAM:random access memory)、読み取り専用メモリ(ROM:read only memory)、プログラマブルROM(PROM:programmable ROM)、ファームウェア、フラッシュメモリなどの機械可読ストレージ媒体またはコンピュータ可読ストレージ媒体に記憶された論理命令のセットとして1つ以上のモジュールに実装されてもよく、例としてプログラマブル論理アレイ(PLA:programmable logic array)、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)、複合プログラマブル論理デバイス(CPLD:complex programmable logic device)などの設定可能論理において実装されてもよく、例として、特定用途向け集積回路(ASIC:application specific integrated circuit)、相補型金属酸化膜半導体(CMOS:complementary metal oxide semiconductor)もしくはトランジスタトランジスタ論理(TTL:transistor-transistor logic)技術などの回路技術を使用する固定機能性論理ハードウェアにおいて実装されてもよく、またはそれらの任意の組み合わせにおいて実装されてもよい。
【0100】
例として、図2Aおよび図2Bの方法に示される動作を実行するコンピュータプログラムコードは、JAVA、SMALLTALK、C++または同様のものなどのオブジェクト指向プログラミング言語および「C」プログラミング言語もしくは同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。さらに、論理命令は、アセンブラ命令、命令セットアーキテクチャ(ISA:instruction set architecture)命令、機械命令、機械依存命令、マイクロコードおよび/またはその他、ハードウェア(例えばホストプロセッサ、中央処理ユニット/CPU、マイクロコントローラなど)にネイティブな構造コンポーネントを含み得るであろう。
【0101】
例示のサイズ/モデル/値/範囲が与えられるかもしれないが、実施形態は同じものに限定されない。当業者には当然のことながら、特定の詳細が例示の実施形態を説明するために記載されている場合、実施形態は、こうした特定の詳細を用いずに実践されてもよく、またはその変形を用いて実践されてもよい。したがって、本記載は、限定ではなく例示とみなされる。
【0102】
当業者であれば、前述の記載から、1つ以上の実施形態の広範な手法が様々な形態で実施可能であることが分かるであろう。したがって、実施形態は、その特定の例に関連して記載されたが、実施形態の真の範囲はそのように限定されてはならない。なぜなら、図面、明細書および添付の特許請求の範囲を検討すると、他の変更が当業者には明らかになるからである。
図1
図2A
図2B
図2C
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15A
図15B
図16
図17
図18
図19A
図19B
図20A
図20B
図21A
図21B
図22
図23