(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168361
(43)【公開日】2023-11-24
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20231116BHJP
G06Q 50/10 20120101ALI20231116BHJP
G06Q 50/30 20120101ALI20231116BHJP
G16Y 10/40 20200101ALI20231116BHJP
G16Y 40/20 20200101ALI20231116BHJP
【FI】
G08G1/16 A
G06Q50/10
G06Q50/30
G16Y10/40
G16Y40/20
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023146703
(22)【出願日】2023-09-11
(62)【分割の表示】P 2020218555の分割
【原出願日】2016-05-20
(31)【優先権主張番号】P 2015168527
(32)【優先日】2015-08-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】高松 慎吾
(72)【発明者】
【氏名】河本 献太
(72)【発明者】
【氏名】井手 直紀
(72)【発明者】
【氏名】小林 由幸
(57)【要約】
【課題】より有用な情報を運転者へ提供することが可能な情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】ユーザにより運転される車両の事故確率を予測する予測部と、前記予測部により予測された前記事故確率を上昇させた要因に応じた情報を前記ユーザへ出力させる出力制御部と、を備える情報処理装置。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザにより運転される車両の事故確率を予測する予測部と、
前記予測部により予測された前記事故確率を上昇させた要因に応じた情報と前記事故確率を低下させるために前記ユーザが行うべき行動を指示する情報とを前記ユーザへ出力させる出力制御部と、
を備え、
前記出力制御部は、前記車両と他車両との位置関係、及び、仮に事故起こした場合の過失の割合を示す情報を出力させる、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、車載のセンサ又は路上の監視カメラ等のセンサを用いて車の安全性を向上させる交通システムが注目されている。そのような交通システムでは、複数のセンサにより検出された情報を統合することで有用な情報が抽出され、運転者に通知される又は自動運転の入力情報にされる等の活用がなされている。
【0003】
そのような技術の一例として、例えば、下記特許文献1では、運転者が車両の運転中に危険を感じたと推定される地点を記録しておき、当該地点に近づいた際に警告するシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上記特許文献に開示された技術は、あくまで過去の記録に基づく警告に過ぎなかった。そのため、過去に記録された時点から状況に変化があった場合に、運転者に提供される情報が有用なものでない場合があった。そこで、本開示では、より有用な情報を運転者へ提供することが可能な、新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【0006】
本開示によれば、ユーザにより運転される車両の事故確率を予測する予測部と、前記予測部により予測された前記事故確率を上昇させた要因に応じた情報を前記ユーザへ出力させる出力制御部と、を備える情報処理装置が提供される。
【0007】
また、本開示によれば、ユーザにより運転される車両の事故確率を予測することと、予測された前記事故確率を上昇させた要因に応じた情報を前記ユーザへ出力装置に出力させることと、を含む情報処理方法が提供される。
【0008】
また、本開示によれば、コンピュータを、ユーザにより運転される車両の事故確率を予測する予測部と、前記予測部により予測された前記事故確率を上昇させた要因に応じた情報を前記ユーザへ出力させる出力制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【0009】
以上説明したように本開示によれば、より有用な情報を運転者へ提供することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0010】
【
図1】本実施形態に係るシステムの概要を説明するための説明図である。
【
図2】本実施形態に係るセンサ装置の論理的な構成の一例を示すブロック図である。
【
図3】本実施形態に係るサーバの論理的な構成の一例を示すブロック図である。
【
図4】本実施形態に係るUI例を説明するための図である。
【
図5】本実施形態に係るUI例を説明するための図である。
【
図6】本実施形態に係るUI例を説明するための図である。
【
図7】本実施形態に係るUI例を説明するための図である。
【
図8】本実施形態に係るUI例を説明するための図である。
【
図9】本実施形態に係るUI例を説明するための図である。
【
図10】本実施形態に係るUI例を説明するための図である。
【
図11】本実施形態に係るUI例を説明するための図である。
【
図12】本実施形態に係るUI例を説明するための図である。
【
図13】本実施形態に係るUI例を説明するための図である。
【
図14】本実施形態に係るシステムにおいて実行される予測モデル学習処理の流れの一例を示すシーケンス図である。
【
図15】本実施形態に係るセンサ装置において実行される事故確率予測処理の流れの一例を示すフローチャートである。
【
図16】本実施形態に係るセンサ装置において実行される特徴量ベクトル生成処理の流れの一例を示すフローチャートである。
【
図17】本実施形態に係るセンサ装置において実行される地図に紐付く事故情報に関する特徴量ベクトル生成処理の流れの一例を示すフローチャートである。
【
図18】本実施形態に係るセンサ装置において実行される予兆現象の発生確率に関する特徴量ベクトル生成処理の流れの一例を示すフローチャートである。
【
図19】車両システムの概略的な構成の一例を示すブロック図である。
【
図20】情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
なお、説明は以下の順序で行うものとする。
1.はじめに
1.1.概要
1.2.技術的課題
2.構成例
2.1.センサ装置100の構成例
2.2.サーバ30の構成例
3.技術的特徴
4.処理の流れ
5.ハードウェア構成例
6.まとめ
【0013】
<<1.はじめに>>
<1.1.概要>
まず、
図1を参照して、本開示の一実施形態に係るシステム1の概要を説明する。
【0014】
図1は、本実施形態に係るシステム1の概要を説明するための説明図である。
図1では、車両10AがX方向に、車両10Bが-Y方向にそれぞれ走行して、交差点に進入しつつある状況を示している。例えば、車両10Aの運転者が車両10Bを視認できない場合、車両10Aと車両10Bとが衝突事故を起こす可能性が有る。車両10Bの運転者に関しても同様である。このような事故の発生が予測される状況下では、車両10A及び10Bの運転者に適切な情報提供が行われることが望ましい。
【0015】
そこで、システム1は、各種センサ装置により検出された情報を蓄積して、事故確率を予測し、予測結果に基づく情報をユーザに提供する。
【0016】
センサ装置(
図2を参照して説明するセンサ装置100)は、例えば車両10A、10B等の移動体に搭載され得る。また、センサ装置は、例えば信号機20A、20B等の施設に搭載され得る。例えば、車両10Aに搭載されたセンサ装置、及び信号機20Aに搭載されたセンサ装置は、車両10A又は車両10Aの運転者に関するセンシングを行う。同様に、車両10Bに搭載されたセンサ装置、及び信号機20Bに搭載されたセンサ装置は、車両10B又は車両10Bの運転者に関するセンシングを行う。システム1は、このようなセンシングの結果得られたセンサ情報を蓄積することで、蓄積したセンサ情報に基づく処理を行うことができる。例えば、車両10Aに搭載されたセンサ装置は、車両10Bとの事故を回避するための運転者への情報提供を行うことができる。なお、各センサ装置により得られたセンサ情報は、システム1内で共有されてもよい。
【0017】
センサ情報の蓄積及び蓄積したセンサ情報に基づく処理は、サーバ30において行われてもよい。サーバ30は、例えばクラウド上に設けられ得る。サーバ30が、例えば移動体通信の基地局に設けられるMEC(Mobile edge Computing)サーバとして実現されることも、サービスのレイテンシ低減のために有効である。
【0018】
<1.2.技術的課題>
上記説明したシステム1に関し、上記特許文献1では、センサにより得られた情報に基づいて運転者が車両の運転中に危険を感じたと推定される地点を記録しておき、当該地点に近づいた際に警告するシステムが開示されている。しかし、特許文献1に開示されたシステムにおいては、過去に記録された時点から状況に変化があった場合に、運転者に提供される情報が有用なものでない場合があった。さらに、運転者にとっては警告を単に受けるに過ぎず、具体的にどのような事故回避行動を行うべきかが明確ではない場合があった。
【0019】
そこで、上記事情を一着眼点にして本開示の一実施形態に係るシステム1を創作するに至った。本実施形態に係るシステム1では、事故確率を予測すると共に、事故確率を上昇させた要因に応じた情報をユーザへ出力することが可能である。
【0020】
また、事故を回避するための仕組みとして、例えばカメラ又はセンサ等により周辺の他車両又は歩行者との距離を計測することで衝突を予測し、自動停止などを行う技術が考えられる。しかし、距離以外にも考慮すべき情報は多数あると考えらえる。そこで、本実施形態に係るシステム1は、事故の発生に影響を与え得る多様な情報を活用して事故確率の予測を行う。
【0021】
また、事故の原因を分析は、事故の事例に基づいて行われるものであるものの、事故の絶対数が少ないため分析が困難な場合がある。そこで、本実施形態に係るシステム1では、事故の予兆事象も加味して事故率の予測を行う。
【0022】
<<2.構成例>>
<2.1.センサ装置100の構成例>
図2は、本実施形態に係るセンサ装置100の論理的な構成の一例を示すブロック図である。
図2に示すように、センサ装置100は、検出部110、通信部120、出力部130、記憶部140及び制御部150を含む。
【0023】
(1)検出部110
検出部110は、車両、車内、搭乗者(運転者又は同乗者)、車両の周囲の環境等に関する多様な情報を検出する。検出部110は、カメラ、レーダ、慣性センサ又は生体情報センサ等の各種センサを有し、検出したセンサ情報を出力する。
【0024】
(2)通信部120
通信部120は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。例えば、通信部120は、他のセンサ装置100又はサーバ30との間で通信を行う。
【0025】
(3)出力部130
出力部130は、映像、画像、音声、振動等によって情報を出力する。例えば、センサ装置100が車両に搭載される場合、出力部130は、搭乗者へ情報を出力する。また、センサ装置100が信号機に搭載される場合、出力部130は、周囲の車両の搭乗者又は歩行者へ情報を出力する。
【0026】
(4)記憶部140
記憶部140は、センサ装置100の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
【0027】
(5)制御部150
制御部150は、センサ装置100の様々な機能を提供する。制御部150は、予測部152及び出力制御部154を含む。なお、制御部150は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部150は、これらの構成要素の動作以外の動作も行い得る。予測部152及び出力制御部154の動作は、後に詳細に説明する。
【0028】
<2.2.サーバ30の構成例>
図3は、本実施形態に係るサーバ30の論理的な構成の一例を示すブロック図である。
図3に示すように、サーバ30は、通信部310、学習データDB(Data Base)320及び制御部330を含む。
【0029】
(1)通信部310
通信部310は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。例えば、通信部310は、センサ装置100又は外部DB40との間で通信を行う。
【0030】
(2)学習データDB320
学習データDB320は、学習データを記憶する。学習データは、特徴量ベクトルと事故情報とを含む情報である。事故情報は、システム1に接続するセンサ装置100から取得されてもよいし、外部DB40から取得されてもよい。事故情報は、事故発生の有無、及び発生した場合は事故の内容(地理的位置、事故の種類、発生日時、発生経緯、加害者と被害者の属性、及び事故に関連する車両の識別情報)を含む情報である。外部DB40は、例えば報道機関、交通機関、国などにより運用される、事故情報を蓄積するDBである。なお、本明細書における事故とは、人身事故又は物損事故等のいわゆる交通事故を指すものとする。
【0031】
(3)制御部330
制御部330は、サーバ30の様々な機能を提供する。制御部330は、記憶制御部332及び学習部334を含む。なお、制御部330は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部330は、これらの構成要素の動作以外の動作も行い得る。記憶制御部332及び学習部334の動作は、後に詳細に説明する。
【0032】
<<3.技術的特徴>>
続いて、本実施形態に係るシステム1の技術的特徴を説明する。以下では、車両に搭載されたひとつのセンサ装置100に着目して技術的特徴を説明する。センサ装置100が搭載される車両を自車両とも称し、他の車両を他車両とも称する。また、着目するセンサ装置100以外のセンサ装置を、他のセンサ装置とも称する。
【0033】
(1)事故確率予測
センサ装置100(例えば、予測部152)は、ユーザ(運転者)により運転される車両(自車両)の事故確率を予測する。なお、以下では、特に言及しない限り、運転者とは自車両の運転者を指すものとする。
【0034】
センサ装置100は、運転者又は自車両に関する特徴量に基づいて、事故確率を予測する。これにより、運転者又は自車両に個人化された事故確率の予測を行うことが可能となる。また、センサ装置100は、他車両に関する特徴量に基づいて、事故確率を予測してもよい。これにより、他車両との関係も加味した、運転者又は自車両に個人化された事故確率の予測を行うことが可能となる。事故確率の予測には、ひとつ以上の特徴量の組み合わせである特徴量ベクトルが用いられ得る。特徴量ベクトルの具体例については、後に詳しく説明する。
【0035】
センサ装置100は、多様な方法で事故確率を予測する。以下では、一例として、ロジスティック回帰モデルを用いた予測方法について説明する。予測式の一例を、下記の数式(1)に示す。
【0036】
【0037】
ここで、
【数2】
は、事故が発生するか否かを示す。より具体的には、y=1は事故が発生することを示し、y=0は事故が発生しないことを示す。
【0038】
【数3】
は、特徴量ベクトルを表し、事故予測に必要な情報を数値ベクトル化したものである。dは、特徴量の次元数である。
【0039】
【数4】
は、パラメータであり、機械学習によって設定/更新される。センサ装置100(例えば、予測部152)による予測には、サーバ30において学習された予測モデル(即ち、パラメータw)が利用される。
【0040】
サーバ30(例えば、記憶制御部332及び学習データDB320)は、各車両(より正確には、各車両に搭載されたセンサ装置100)から送信された特徴量ベクトルxを蓄積する。さらに、サーバ30は、各車両又は外部DB40から送信された事故情報を蓄積する。そのため、サーバ30は、大量の(x,y)のペアを保持することとなる。サーバ30(例えば、学習部334)は、このペアを学習データとして利用することで予測モデル(例えば、パラメータw)を学習する。
【0041】
例えば、所定時間後(例えば、1分後)の事故確率を予測するための予測モデルを学習するための学習データがどのようなものか説明する。学習データは、当該所定時間内(例えば、1分以内)に事故が発生したタイミングで取得された特徴量ベクトルxとy=1とのペアを含む。また、学習データは、当該所定時間内(例えば、1分以内)に事故が発生しなかったタイミングで取得された特徴量ベクトルxとy=0とのペアを含む。
【0042】
(2)特徴量ベクトル
センサ装置100(例えば、予測部152)は、事故確率の予測に用いる特徴量ベクトルを取得する。特徴量ベクトルは、センサ装置100において生成されてもよいし、他の装置(例えば、サーバ30又は他のセンサ装置100)において生成されてもよい。一例として、センサ装置100において特徴量ベクトルが生成される場合について説明する。例えば、センサ装置100(例えば、予測部152)は、検出部110により検出されたセンサ情報、又は通信部120により他の装置(例えば、他のセンサ装置100又はサーバ30等)から取得された情報に基づいて、特徴量ベクトルを生成する。シンボル特徴量については、one-of-k特徴量ベクトルとして数値ベクトルに変換されるものとする。
【0043】
センサ装置100(例えば、予測部152)は、取得したひとつ以上の特徴量ベクトルを連結する。センサ装置100は、この連結した特徴量ベクトルを予測モデルに入力することで、事故確率を予測する。
【0044】
特徴量ベクトルは、例えば運転特徴量ベクトル又は属性特徴量ベクトルに分類され得る。運転特徴量ベクトルとは、リアルタイムに検出されるセンサ情報に基づく特徴量ベクトルである。具体的には、運転特徴量ベクトルは、所定期間(10秒など)ごとのリアルタイムな運転に関する特徴量ベクトルであってもよい。運転特徴量ベクトルが事故確率の予測に用いられることにより、リアルタイムな状況に応じた事故確率の予測が可能となる。属性特徴量ベクトルとは、蓄積又は登録された情報に基づく特徴量ベクトルである。具体的には、属性特徴量ベクトルは、運転者又は自車両の性質に関する特徴量ベクトルであってもよい。属性特徴量ベクトルが事故確率の予測に用いられることにより、運転者又は自車両の性質に応じた事故確率の予測が可能となる。
【0045】
特徴量ベクトルは、事故確率の予測モデルの学習にも用いられ得る。そのために、センサ装置100(例えば、通信部120)は、定期的にセンサ情報又は特徴量ベクトルをサーバ30へ送信する。その際、センサ装置100は、自車両の識別情報、事故の有無及び事故が発生した場合はその内容を示す情報に対応付けて、センサ情報又は特徴量ベクトルを送信するものとする。
【0046】
センサ装置100(例えば、通信部120)は、事故確率の予測結果が閾値以上であった時間帯におけるセンサ情報又は特徴量ベクトルのみを送信してもよい。また、センサ装置100は、事故又は後述する予兆現象が発生した時刻の前後の所定時間帯におけるセンサ情報又は特徴量ベクトルのみを送信してもよい。これらにより、データ送信量を削減することが可能である。また、事故又はその予兆現象が発生していない学習データに、予測モデルが過度に適合することが防止される。
【0047】
以下、運転特徴量ベクトル及び属性特徴量ベクトルについて具体的に説明する。
【0048】
(2.1)運転特徴量ベクトル
運転特徴量ベクトルに含まれ得る特徴量ベクトルの項目の一例を、以下に示す。運転特徴量ベクトルは、以下に一例を示した特徴量ベクトルをひとつ以上連結することにより生成される。
【0049】
(外部物体情報)
外部物体情報は、カメラ又はレーダ等により検出される、自車両の外部に存在する物体に関する特徴量ベクトルである。外部物体情報は、例えば物体の座標、大きさ、速度及び向き、加速度及び向き、情報の信頼度、並びに検出時刻を含み得る。
【0050】
(車両運動情報)
車両運動情報は、加速度センサ等により検出される、自車両の運動状態を示す特徴量ベクトルである。車両運動情報は、例えば自車両の速度、加速度、及びそれらの向きを含み得る。
【0051】
(車両操作情報)
車両操作情報は、運転者による自車両の操作状態を示す特徴量ベクトルである。車両操作情報は、例えば下記の情報を含み得る。
・ウィンカーが動作しているか否か
・ワイパーが動作しているか否か
・各ミラーの角度
・各窓が開放されているか否か、及び開放の割合
・ライトが点灯しているか否か
・シフトレバーの位置
・ブレーキを踏んでいる度合
・アクセルを踏んでいる度合
・クラッチペダルを踏んでいるか否か
【0052】
(生体情報)
生体情報は、搭乗者(特に、運転者)の生体的な情報を示す特徴量ベクトルである。生体情報は、例えば血圧、心拍数、体温、血糖、及び発汗量を示す情報を含み得る。生体情報は、車内に設けられた生体情報センサに検出され得る。あるいは、生体情報は、搭乗者が保持するモバイルデバイスに設けられた生体情報センサにより検出され、システム1(例えば、搭乗する車両に搭載されたセンサ装置100)に送信され得る。生体情報は、計測値の時系列変化の平均値などの統計量であってもよい。
【0053】
(生体状態情報)
生体状態情報は、生体情報に基づいて推定される、搭乗者の状態を示す特徴量ベクトルである。生体状態情報は、集中度、空腹度、眠気の度合等を示す情報を含み得る。これらの情報は、例えば血糖値、瞬きの頻度、視線のブレの度合等に基づいて推定され得る。
【0054】
(車内環境情報)
車内環境情報は、車内環境を示す特徴量ベクトルである。車内環境情報は、例えば乗車人数を示す情報を含み得る。乗車人数を示す情報は、例えば車内のカメラ又は座面に設けられた感圧センサによって認識され得る。車内環境情報は、例えば温度、湿度、気圧を示す情報を含み得る。車内環境情報は、例えば窓のくもり具合を示す情報を含み得る。窓のくもり具合を示す情報は、例えば車内のカメラにより撮像された窓の撮像画像に基づいて認識され得る。車内環境情報は、例えば会話中か否かを示す情報を含み得る。会話中か否かを示す情報は、例えば車内のマイクにより収集された音声に基づいて認識され得る。車内環境情報は、例えば音楽の音量を示す情報を含み得る。音楽の音量を示す情報は、例えばカーステレオの設定値であってもよいし、車内のマイクにより収集された音声に基づいて認識されてもよい。車内環境情報は、計測値の時系列変化の平均値などの統計量であってもよい。
【0055】
(運転者物理状態情報)
運転者物理状態情報は、運転者の物理的な状態を示す特徴量ベクトルである。運転者物理状態情報は、例えば運転者の視線を示す情報を含み得る。運転者の視線を示す情報は、例えば、所定期間の眼球の動き、瞳孔の状態とその変化を示す情報であってもよく、眼球を撮像した撮像画像に基づく画像認識により認識され得る。運転者物理状態情報は、例えばハンドルの切り方を示す情報を含み得る。ハンドルの切り方を示す情報は、例えばハンドルの切り方のパターンを示す情報であってもよく、ハンドルの角速度の時系列変化の平均値などの統計量であってもよい。運転者物理状態情報は、例えばハンドルの握り方を示す情報を含み得る。ハンドルの握り方を示す情報は、例えば両手で握っているか否か、又は握り場所を示す情報であってもよく、画像認識又はハンドルに設けられたセンサにより認識され得る。運転者物理状態情報は、例えば運転者の姿勢を示す情報を含み得る。運転者の姿勢を示す情報は、例えば座席の状態(座面及び背面の位置及び角度)を示す情報であってもよく、座席に設けられたセンサにより認識され得る。運転者物理状態情報は、例えば運転者がシートベルトを装着しているか否かを示す情報であってもよく、シートベルトの留め具に設けられたセンサにより認識され得る。
【0056】
(天候情報)
天候情報は、自車両の走行場所の天候を示す特徴量ベクトルである。天候情報は、例えば下記の情報を含み得る。
・降雨、降雪の有無
・気温、湿度
・霧の有無
【0057】
(走行路情報)
走行路情報は、自車両の走行路の状態を示す特徴量ベクトルである。走行路情報は、例えば車外カメラにより撮像された撮像画像の画像認識結果、又は地図情報に基づいて認識され得る。走行路情報は、例えば下記の情報を含み得る。
・坂か否か
・高速道路か否か
・橋か否か
・走行路が舗装されているか否か
【0058】
(地図に紐付く事故情報)
地図に紐付く事故情報は、過去に発生した事故を示す特徴量ベクトルであり、事故発生場所の位置情報が対応付けられた情報を含む。例えば、ある交差点又はカーブの特徴量ベクトルは、当該交差点又はカーブの所定距離内で発生した事故情報の各項目から作成及び連結される。事故確率予測の際に用いられる特徴量ベクトルは、自車両が所定時間内に通過すると予測される交差点又はカーブの特徴量ベクトルの和をとったものが採用され得る。なお、自車両が所定時間内に通過すると予測される交差点又はカーブは、道なりの直進を仮定し、自車両の予測時の速度を維持した場合に通過すると予測される交差点又はカーブであるものとする。
【0059】
(累積運転時間情報)
累積運転時間情報は、運転者の運転時間の累積値を示す特徴量ベクトルである。例えば、運転時間の累積値は、直前の駐車からの累積値であり得る。
【0060】
(2.2)属性特徴量ベクトル
属性特徴量ベクトルに含まれ得る特徴量ベクトルの項目の一例を、以下に示す。属性特徴量ベクトルは、以下に一例を示した特徴量ベクトルをひとつ以上連結することにより生成される。
【0061】
(運転履歴情報)
運転履歴情報は、運転者の直近の所定期間(例えば、1年)における運転の履歴を示す特徴量ベクトルである。運転の履歴を示す情報としては、例えば自車両の速度、走行経路、ブレーキのタイミング等の情報を含み得る。運転履歴情報は、計測値の時系列変化の平均値などの統計量であってもよい。運転履歴情報は、運転者に紐付いていてもよいし、自車両に紐付いていてもよい。
【0062】
(運転者属性情報)
運転者属性情報は、運転者の属性情報の特徴量ベクトルである。運転者属性情報は、例えば運転者の運転経験年数、年齢、及び性別等を含み得る。
【0063】
(車両属性情報)
車両属性情報は、自車両の属性情報の特徴量ベクトルである。車両属性情報は、例えば車種、モデル名、燃費、製造年、及び過去の修理履歴等を含み得る。
【0064】
(運転習熟度情報)
運転習熟度情報は、運転者の運転習熟度を示す特徴量ベクトルである。運転習熟度情報は、例えば5段階評価であり、運転者により自己申告され得る。センサ装置100(例えば、制御部150)は、自己申告しない運転者については、回帰モデルにより運転習熟度を設定し得る。そのために、センサ装置100は、運転習熟度を目的変数とし、入力を運転履歴情報及び運転者属性情報とし、回帰モデルを機械学習により作成しておく。
【0065】
(運転者のくせ情報)
運転者のくせ情報は、運転者のくせを示す特徴量ベクトルである。運転者のくせ情報は、例えば複数の運転者の運転履歴情報についてのクラスタリング結果における、対象の運転者の所属クラスタのIDである。クラスタリングは、例えばサーバ30において行われ得る。クラスタリングは、一部の運転者に対しくせラベルをあらかじめ定義し、それぞれのくせラベルについて入力を運転履歴情報とした分類問題として分類モデルを機械学習で学習し、運転者にくせラベルを付与することで行われ得る。具体的なくせとしては、例えば車線変更が多い、運転が荒い、等が挙げられる。
【0066】
(2.3)補足
事故確率の予測時には、例えばセンサ装置100(例えば、予測部152)は、上述した各特徴量ベクトルを連結して用いる。その際、事故確率の予測時に現に取得された特徴量ベクトルが連結されてもよいし、予測対象時刻(例えば、1分後など)に取得されると予測される特徴量ベクトルが連結されてもよい。
【0067】
また、センサ装置100は、自車両の特徴量ベクトルだけでなく、近傍の他車両の特徴量ベクトルを連結して用いてもよい。例えば、所定時間後(例えば、30秒後)に近傍(例えば100m以内)に入ると予測される(道なりの直進を仮定し、現在の速度を維持した場合に通過する)ひとつ以上の他車両の特徴量ベクトルの和を連結してもよい。
【0068】
また、特徴量ベクトルのペアが、ひとつの特徴量ベクトルとして取り扱われてもよい。例えば、運転者のくせ情報と地図に紐付く事故情報との組み合わせにより、特定の事故に繋がり易い特定の運転者のくせが表現でき、事故確率予測の精度が向上し得る。
【0069】
(3)学習
サーバ30(例えば、学習部334)は、センサ装置100が事故確率を予測する際に用いる予測モデルを学習する。
【0070】
例えば、サーバ30は、学習データDB320に蓄積された特徴量ベクトルと事故発生有無を示す情報とのペアに基づいて、上記数式(1)におけるパラメータwを学習する。そして、サーバ30(例えば、通信部310)は、学習結果を示す情報(例えば、パラメータw)を、システム1に接続する全てのセンサ装置100へ通知する。複数のセンサ装置100間では、共通した予測モデルが用いられることとなるが、特徴量ベクトルが個人化されているため、個人化された事故確率の予測が可能である。
【0071】
センサ装置100(例えば、記憶部140)は、サーバ30から通知された学習結果を示す情報を記憶する。そして、予測時には、センサ装置100(例えば、予測部152)は、記憶した情報を用いて予測モデルを構築する。そのため、センサ装置100は、予測時にサーバ30と通信しなくてもよい。
【0072】
サーバ30は、事故の他、急ハンドル又は急ブレーキ等の事故の予兆現象(いわゆるヒヤリハット)の発生確率も加味して予測モデルを学習してもよい。これにより、センサ装置100(例えば、予測部152)は、事故の予兆現象の発生確率を加味して学習された予測モデルを用いて事故確率を予測することとなる。事故確率の予測結果が運転者に通知(典型的には、警告)されることを考慮すれば、事故だけでなくその予兆現象の発生をも防止することが可能となり、自車両の安全性をより向上させることができる。ここで、予兆現象を事故確率の予測に加味した予測モデルの生成のために、センサ装置100は、自車両の識別情報、予兆現象の有無、及び予兆現象が発生した場合はその内容を示す情報に対応付けて、センサ情報又は特徴量ベクトルをサーバ30へ送信するものとする。
【0073】
なお、急ハンドルに関しては、ハンドルの回転加速度の変化と自車両の加速度及び向きの変化とが、それぞれ閾値以上となった場合に急ハンドルであると判定され得る。急ブレーキに関しては、ブレーキペダルの踏込度の変化と自車両の加速度の変化とが、それぞれ閾値以上となった場合に急ブレーキであると判定され得る。なお、事故の予兆現象には、他にも、信号無視、エンスト、脱輪、スリップ、又はハイドロプレーニング現象等が含まれてもよい。
【0074】
予兆現象を事故確率の予測に利用する方法の一例を以下に説明する。
【0075】
・第1の例
例えば、サーバ30(例えば、学習部334)は、事故確率の予測モデルと同様にして、予兆現象の発生確率の予測モデル(例えば、数式(1)と同様のモデル)を学習する。次いで、サーバ30は、予兆現象の発生確率を特徴量ベクトルに含めて、事故確率に係る予測モデルを学習する。センサ装置100(例えば、予測部152)は、まず、予兆現象の発生確率を予測し、次いで、予兆現象の発生確率を特徴量ベクトルに連結して、事故確率の予測を行う。
【0076】
・第2の例
例えば、サーバ30(例えば、学習部334)は、予兆現象の発生確率の予測を事故確率の予測の別タスクとみなし、転移学習を行う。ここで、予兆現象が発生するか否かを示す
【数5】
を導入する。z=1は予兆現象が発生することを示し、z=0は予兆現象が発生しないことを示す。
【0077】
サーバ30は、事故確率の予測モデルと同様に、予兆現象の発生確率の予測モデルをロジスティック回帰モデルにより学習する。学習の結果得られたパラメータをw´とする。サーバ30は、事故確率の予測モデルの学習の際に、次式の評価関数を用いる。
【0078】
【0079】
ここで、nは学習データの数であり、αは任意の定数である。上記の第1項は尤度である。上記の第2項により、サーバ30は、予兆現象の発生確率の予測モデルを考慮した状態で(予測モデルとしての出力が離れすぎないように)、事故確率の予測モデルを学習することができる。
【0080】
(4)ユーザインタフェース
センサ装置100は、事故確率の予測結果に関する情報を出力する(例えば、出力制御部154が出力部130に出力させる)。以下、センサ装置100が車両に搭載される場合のUI例を、
図4~13を参照して説明する。
図4~
図13は、本実施形態に係るUI例を説明するための図である。
【0081】
(4.1)事故確率そのものに関するUI
センサ装置100は、事故確率を示す情報を運転者へ出力してもよい。これにより、運転者は、事故確率の上下動をリアルタイムに把握しながら運転を行うことができる。UI例を、
図4に示した。
図4に示した例では、インストルメントパネル400(出力部130)に、速度メーター410及び事故確率メーター420が配置されている。事故確率メーター420には、円の縁に沿って0から10までの目盛が設けられている。事故確率メーター420は、予測された事故確率(0から1まで)を10倍した値に対応する目盛を、円の中心を軸とする指針421で指すことにより、事故確率を出力する。事故確率メーター420では、値が高い領域422が強調されている。
【0082】
センサ装置100は、事故確率を対数スケールで出力してもよい。事故が発生する頻度が一般的に低いことを考慮すれば、事故確率が0%に近い値から突然100%に近い値に切り替わって見えてしまうことが、対数表現されることにより防止される。UI例を、
図5に示した。
図5に示した例では、インストルメントパネル400(出力部130)に、速度メーター410及び事故確率メーター430が配置されている。事故確率メーター430では、円の縁の目盛が示すように、事故確率が対数スケールで表現されている。事故確率メーター430でも、値が高い領域432が強調されている。
【0083】
センサ装置100は、事故確率の時系列推移を示す情報を出力してもよい。これにより、運転者は、過去から現在にかけての事故確率の上下動をリアルタイムに把握しながら運転を行うことができる。さらに、センサ装置100は、将来の事故確率の予測結果に基づいて、現在から将来にかけての事故確率の時系列推移を出力してもよい。UI例を、
図6に示した。
図6示すUIは、事故確率の時系列推移を示している。縦軸は事故確率であり、横軸は時間である。
図6に示すUIは、例えばインストルメントパネル又はカーナビゲーションシステムに設けられたディスプレイに表示され得る。
【0084】
センサ装置100は、事故確率の累積値に基づく情報を出力してもよい。例えば、まず、センサ装置100は、運転開始から90分等の予め定めた基準値から、集中度、空腹度又は眠気等の生体状態情報に基づく補正項を減算又は加算等することで、運転継続可能時間を算出する。そして、センサ装置100は、運転開始からの事故確率の累積値を算出し、累積値が大きいほど運転継続可能時間を減らして、又は運転継続可能時間に基づき算出される運転継続可能距離を減らして出力する。このような出力により、運転者は、累積値が大きくなるにつれて運転へのより高い集中又は休憩を促されることとなり、安全性をより向上させることができる。UI例を、
図7に示した。
図7に示すUIでは、速度メーター410の中央部に設けられたディスプレイ440の上部441に燃料の残量に基づき算出される航続可能距離が表示され、下部442に上述した運転継続可能時間が表示されている。事故確率の累積値に基づく表示項目としては、他に、残り体力値(HP)示す項目443、運転継続可能距離を示す項目444、目的地に到着するまでに必要な休憩回数を示す項目445が考えられる。
【0085】
センサ装置100は、地図上に事故確率に関する情報を出力してもよい。例えば、センサ装置100は、属性特徴量モデルのみを利用して構築された予測モデルを用いて、交差点又はカーブの事故確率を予測し、事故確率が閾値を超える地点を示す情報を出力する。その場合、「地図に紐付く事故情報」の特徴量ベクトルが、走行予定経路上の交差点又はカーブに合わせて更新された後に、事故確率が予測されることが望ましい。事故確率が閾値を超える地点を示す情報が出力されることにより、事故が発生しやすい場所に関し運転者に注意を促すことができ、安全性を向上させることができる。同様の趣旨で、過去に事故が発生した場所を示す情報が出力されてもよい。また、センサ装置100は、事故確率が低い経路を示す情報を出力してもよい。その場合に、運転者に安全な経路を走行するよう促すことができ、安全性を向上させることができる。同様の趣旨で、過去に事故が発生していない又は発生回数が少ない経路を示す情報が出力されてもよい。UI例を、
図8及び
図9に示した。
図8に示すUIでは、自車両の現在位置450、走行予定経路451、及び事故確率が閾値を超える地点452が地図上に表示されている。また、また、
図8に示すUIでは、事故確率が閾値を超える地点452が存在することを警告するメッセージ453が表示されている。
図9に示すUIでは、自車両の現在位置450、走行予定経路451、過去に事故が多く発生した地点455、及び事故確率が低い経路454が地図上に表示されている。また、
図9に示すUIでは、過去に事故が多く発生した地点455が存在することを示すメッセージ457、及び事故確率が低い経路454が存在することを示すメッセージ456が表示されている。このように、地図上に事故確率に関する情報(例えば、事故確率が閾値を超える地点又は事故確率が低い経路等)が強調表示されることで、より安全性を向上させることができる。
【0086】
(4.2)事故確率の上昇要因に関するUI
センサ装置100は、事故確率を上昇させた要因に応じた情報を運転者へ出力してもよい。例えば、センサ装置100は、要因を示す情報を出力する。これにより、運転者に、事故確率を上昇させた要因を認識させて注意を促すことが可能となり、安全性を向上させることが可能となる。要因は、特徴量そのものであってもよいし、特徴量から推定される情報であってもよいし、特徴量に対応するセンサの種類から推定される情報であってもよい。事故確率を上昇させた要因は複数存在する場合がある。その場合、センサ装置100は、ひとつ以上の要因から事故確率の上昇への寄与度に応じて選定した要因を示す情報を出力してもよい。具体的には、センサ装置100は、事故確率の上昇への寄与度が大きい要因(例えば、寄与度が閾値を超える要因、又は寄与度が上位の所定個の要因)を示す情報を出力してもよい。例えば、上記数式(1)を用いた事故確率の算出に際して、事故確率の上昇への寄与度が大きい特徴量そのもの、当該特徴量から推定される情報、又は当該特徴量に対応するセンサの種類から推定される情報が、出力され得る。予測にロジスティック回帰モデルが利用されている場合、特徴量の値とその特徴量に該当するパラメータの値の積が、寄与値とされてもよい。このような出力により、運転者に、特に上昇幅が高い要因を認識させて注意を促すことが可能となり、安全性を向上させることができる。UI例を、
図10に示した。
図10に示すUIでは、
図5に示したUIにおいて、事故確率の上昇の要因を示すメッセージ460が表示されている。メッセージの他に、例えば要因ごとに予め定められたアイコンが表示されてもよい。
【0087】
センサ装置100は、事故確率を低下させるために運転者が行うべき行動を指示する情報を出力してもよい。具体的には、センサ装置100は、上記説明した事故確率を上昇させた要因を取り除くためのメッセージを出力する。これにより、運転者に具体的な行動を促すことが可能となり、安全性を向上させることができる。UI例を、
図11に示した。
図11に示すUIでは、
図10に示したUIにおいて、事故確率を低下させるために運転者が行うべき行動を指示するメッセージ461が表示されている。
【0088】
(4.3)その他
センサ装置100は、他にも多様なUIを提供し得る。その一例を、
図12及び
図13に示した。
【0089】
図12に示したUIでは、運転状況に対応する音声メッセージ471が、ディスプレイ470に表示されたキャラクターから発せられたかのようにフィードバックされる。例えば、センサ装置100は、急な加速及び急ブレーキ等の事故に繋がり得る危険な操作に対し運転者を責めるようなフィードバックを行い、安全運転に対し運転者を褒めるようなフィードバックを行う。このようなフィードバックにより、運転者は、ゲーム感覚で安全運転を心がけることができる。
【0090】
図13に示したUIでは、自車両480と他車両481A~481Cとの位置関係、及び仮に事故を起こした場合の過失の割合を示す情報482A~482Cが出力されている。例えば、情報482Aによれば、自車両480と他車両481Aとが事故を起こした場合の過失の割合は、自車両480が10で他車両481Aが0となることが予測されている。また、情報482Bによれば、自車両480が0で他車両481Aが10となることが予測されている。また、情報482Cによれば、自車両480が7で他車両481Aが3となることが予測されている。このようなUIにより、運転者は、どの他車両に気を付けるべきかを視覚的に把握することができる。なお、
図13に示すUIは、例えばインストルメントパネル又はカーナビゲーションシステムに設けられたディスプレイに表示され得る。
【0091】
<<4.処理の流れ>>
続いて、
図14~
図18を参照して、本実施形態に係るシステム1において実行される処理の流れの一例を説明する。
【0092】
(予測モデル学習処理)
図14は、本実施形態に係るシステム1において実行される予測モデル学習処理の流れの一例を示すシーケンス図である。本シーケンスには、センサ装置100及びサーバ30が関与する。
【0093】
図14に示すように、まず、センサ装置100(例えば、検出部110)は、センサ情報を検出する(ステップS102)。次いで、センサ装置100(例えば、予測部152)は、検出したセンサ情報に基づいて特徴量ベクトルを生成する(ステップS104)。次に、センサ装置100(例えば、通信部120)は、生成した特徴量ベクトルをサーバ30へ送信する(ステップS106)。
図14では省略されているが、システム1に接続する複数のセンサ装置100が、特徴量ベクトルをサーバ30へ送信する。
【0094】
次いで、サーバ30(例えば、記憶制御部332及び学習データDB320)は、ひとつ以上のセンサ装置100から受信した特徴量ベクトルを、車両の識別情報、事故発生の有無、及び事故の内容に対応付けた情報を、学習データとして記憶する(ステップS108)。そして、サーバ30(例えば、学習部334)は、学習データから予測モデルを学習する(ステップS110)。予測モデルが数式(1)に示したロジスティック回帰モデルである場合、サーバ30は、パラメータwを学習する。次に、サーバ30(例えば、通信部310)は、学習結果を示す情報(例えば、パラメータw)を、配下の全てのセンサ装置100へ送信する(ステップS112)。
【0095】
そして、センサ装置100(例えば、予測部152)は、受信した学習結果を示す情報に基づいて、予測モデルを更新する(ステップS114)。例えば、予測部152は、予測モデルのパラメータを受信したパラメータに更新する。
【0096】
以上により処理は終了する。
【0097】
(事故確率予測処理)
図15は、本実施形態に係るセンサ装置100において実行される事故確率予測処理の流れの一例を示すフローチャートである。
【0098】
図15に示すように、まず、センサ装置100(例えば、検出部110)は、センサ情報を検出する(ステップS202)。次いで、センサ装置100(例えば、予測部152)は、検出したセンサ情報に基づいて特徴量ベクトルを生成する(ステップS204)。なお、このとき生成される特徴量ベクトルには、自車両の運転者又は自車両の特徴量ベクトルだけでなく、他車両の運転者又は他車両の特徴量ベクトルが含まれていてもよい。次に、センサ装置100(例えば、予測部152)は、予測モデルに特徴量ベクトルを入力して、事故確率を予測する(ステップS206)。そして、センサ装置100(例えば、出力制御部154)は、出力処理を行う(ステップS208)。例えば、出力制御部154は、事故確率そのものに関するUI又は事故確率の上昇要因に関するUIを出力部130に出力させる。
【0099】
以上により処理は終了する。
【0100】
(特徴量ベクトル生成処理)
図16は、本実施形態に係るセンサ装置100において実行される特徴量ベクトル生成処理の流れの一例を示すフローチャートである。本フローは、上記ステップS104及びステップS204における処理に相当する。
【0101】
図16に示すように、まず、センサ装置100(例えば、予測部152)は、直近のセンサ情報に基づいて運転特徴量ベクトルを生成する(ステップS302)。次いで、センサ装置100(例えば、予測部152)は、運転特徴量ベクトルに基づいて、属性特徴量ベクトルを更新する(ステップS304)。そして、センサ装置100(例えば、予測部152)は、運転特徴量ベクトル及び属性特徴量ベクトルを連結する(ステップS306)。
【0102】
以上により処理は終了する。
【0103】
続いて、個々の特徴量ベクトルの生成処理の一例として、地図に紐付く事故情報に関する特徴量ベクトルの生成処理、及び予兆現象の発生確率に関する特徴量ベクトルの生成処理について説明する。
【0104】
図17は、本実施形態に係るセンサ装置100において実行される地図に紐付く事故情報に関する特徴量ベクトル生成処理の流れの一例を示すフローチャートである。
【0105】
図17に示すように、まず、センサ装置100(例えば、予測部152)は、将来の所定期間内に通過すると予測される交差点又はカーブを特定する(ステップS402)。次いで、センサ装置100(例えば、予測部152)は、特定した交差点又はカーブに紐付く事故情報をサーバ30から取得する(ステップS404)。次いで、センサ装置100(例えば、予測部152)は、取得した事故情報の各々について、特徴量ベクトルを生成する(ステップS406)。そして、センサ装置100(例えば、予測部152)は、生成したひとつ以上の特徴量ベクトルの和をとり、その和を運転特徴量ベクトルに連結する(ステップS408)。
【0106】
以上により処理は終了する。
【0107】
図18は、本実施形態に係るセンサ装置100において実行される予兆現象の発生確率に関する特徴量ベクトル生成処理の流れの一例を示すフローチャートである。
【0108】
図18に示すように、まず、センサ装置100(例えば、予測部152)は、予兆現象の発生確率を予測モデルにより予測する(ステップS502)。この予測モデルは、予兆現象の発生確率の予測モデルである。次いで、センサ装置100(予測部152)は、予兆現象の発生確率を運転特徴量ベクトルに連結する(ステップS504)。
【0109】
以上により処理は終了する。
【0110】
<<5.ハードウェア構成例>>
本開示に係る技術は、様々な製品へ応用可能である。例えば、センサ装置100は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。また、センサ装置100の少なくとも一部の構成要素は、車両に搭載される装置のためのモジュール(例えば、1つのダイで構成される集積回路モジュール)において実現されてもよい。
【0111】
<5.1.車両制御システムの構成例>
図19は、本開示に係る技術が適用され得る車両制御システム900の概略的な構成の一例を示すブロック図である。車両制御システム900は、電子制御ユニット902、ストレージ装置904、入力装置906、車外センサ908、車両状態センサ910、搭乗者センサ912、通信IF914、出力装置916、動力生成装置918、制動装置920、ステアリング922及びランプ作動装置924を備える。
【0112】
電子制御ユニット902は、演算処理装置及び制御装置として機能し、各種プログラムに従って車両制御システム900内の動作全般を制御する。電子制御ユニット902は、後述するストレージ装置904と合わせて、ECU(Electronic Control Unit)として形成され得る。ECU(即ち、電子制御ユニット902及びストレージ装置904)は、車両制御システム900内に複数含まれてもよい。例えば、各種センサ類又は各種駆動系の各々に、それらを制御するためのECUが設けられ、それら複数のECUを協調的に制御するECUがさらに設けられてもよい。これら複数のECU間は、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexray等の任意の規格に準拠した車載通信ネットワークを介して接続される。電子制御ユニット902は、例えば、
図2に示す制御部150を形成し得る。
【0113】
ストレージ装置904は、車両制御システム900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置904は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置904は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置904は、電子制御ユニット902が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置904は、例えば、
図2に示す記憶部140を形成し得る。
【0114】
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、搭乗者(ドライバー又は同乗者)によって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。また、入力装置906は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、電子制御ユニット902に出力する入力制御回路などを含んでいてもよい。搭乗者は、この入力装置906を操作することにより、車両制御システム900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、
図2に示す検出部110を形成し得る。
【0115】
車外センサ908は、車外の情報を検出するセンサによって実現される。例えば、車外センサ908は、ソナー装置、レーダ装置、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置、カメラ、ステレオカメラ、ToF(Time Of Flight)カメラ、赤外線センサ、環境センサ、マイク等を含んでいてもよい。車外センサ908は、例えば、
図2に示す検出部110を形成し得る。
【0116】
車両状態センサ910は、車両状態に関する情報を検出するセンサによって実現される。例えば、車両状態センサ910は、アクセル開度、ブレーキ踏圧力、又はステアリング操舵角等の運転者による操作を検出するセンサを含んでいてもよい。また、車両状態センサ910は、内燃機関又はモータの回転数又はトルク等の、動力源の状態を検出するセンサを含んでいてもよい。また、車両状態センサ910は、ジャイロセンサ又は加速度センサ等の車両の動きに関する情報を検出するためのセンサを含んでいてもよい。また、車両状態センサ910は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して装置の緯度、経度及び高度を含む位置情報を測定するGNSSモジュールを含んでもよい。なお、位置情報に関しては、車両状態センサ910は、Wi-Fi(登録商標)、携帯電話・PHS・スマートフォン等との送受信、又は近距離通信等により位置を検知するものであってもよい。車両状態センサ910は、例えば、
図2に示す検出部110を形成し得る。
【0117】
搭乗者センサ912は、搭乗者に関する情報を検出するセンサによって実現される。例えば、搭乗者センサ912は、車内に設けられたカメラ、マイク、環境センサを含んでいてもよい。また、搭乗者センサ912は、搭乗者の生体情報を検出する生体センサを含んでいてもよい。生体センサは、例えば座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングを握るドライバーの生体情報を検出可能である。搭乗者センサ912は、例えば、
図2に示す検出部110を形成し得る。
【0118】
なお、車外センサ908、車両状態センサ910、及び搭乗者センサ912といった各種センサは、それぞれ検出結果を示す情報を電子制御ユニット902へ出力する。これら各種センサは、電子制御ユニット902による制御に基づいて、センシング範囲又は精度等の設定を行ってもよい。また、これら各種センサは、例えば撮像された撮像画像に含まれる白線位置に基づいて、道路における自車両の走行位置を認識する処理等の、生データに基づく認識処理を行う認識モジュールを含んでいてもよい。
【0119】
通信IF914は、車両制御システム900による他の装置との通信を仲介する通信インタフェースである。通信IF914は、例えばV2X通信モジュールを含み得る。なお、V2X通信とは、車車間(Vehicle to Vehicle)通信及び路車間(Vehicle to Infrastructure)通信を含む概念である。他にも、通信IF914は、無線LAN(Local Area Network)、Wi-Fi(登録商標)、3G、LTE(Long Term Evolution)、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)のための通信モジュールを含んでいてもよい。この通信IF914は、例えばインターネット又は車外の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信IF914は、例えば、
図2に示す通信部120を形成し得る。
【0120】
出力装置916は、取得した情報を搭乗者に対して視覚的又は聴覚的に通知することが可能な装置で実現される。このような装置として、インストルメントパネル、ヘッドアップディスプレイ、プロジェクタ又はランプ等の表示装置や、スピーカ又はヘッドホン等の音声出力装置がある。具体的には、表示装置は、車両制御システム900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。その際、AR(Augmented Reality)オブジェクト等の仮想的なオブジェクトが表示されてもよい。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置及び上記音声出力装置は、例えば、
図2に示す出力部130を形成し得る。
【0121】
動力生成装置918は、車両の駆動力を生成するための装置である。動力生成装置918は、例えば内燃機関により実現されてもよい。その場合、動力生成装置918は、電子制御ユニット902からの制御指令に基づいて、始動制御、停止制御、スロットルバルブの開度の制御、燃料噴射制御、又はEGR(Exhaust Gas Recirculation)制御等を行う。また、動力生成装置918は、例えばモータ、インバータ及びバッテリーにより実現されてもよい。その場合、動力生成装置918は、電子制御ユニット902からの制御指令に基づき、インバータを介してバッテリーからモータへ電力を供給し、正のトルクを出力させるモータ動作(いわゆる力行)と、モータにトルクを吸収させて発電し、インバータを介してバッテリーの充電を行う回生動作と、を行い得る。
【0122】
制動装置920は、車両に制動力を付与し、あるいは、車両を減速又は停止させるための装置である。制動装置920は、例えば各ホイールに設置されるブレーキ、及びブレーキペダルの踏圧力をブレーキに伝達するためのブレーキパイプ又は電気回路等を含み得る。また、制動装置920は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等のブレーキ制御による滑走又は横滑り防止機構を作動させるための制御装置を含んでいてもよい。
【0123】
ステアリング922は、車両の進行方向(操舵角)を制御するための装置である。ステアリング922は、例えばステアリングホイール、ステアリングシャフト、ステアリングギア、及びタイロッド等を含み得る。また、ステアリング922は、ドライバーによる操舵を支援するためのパワーステアリングを含み得る。さらに、ステアリング922は、自動的な操舵を実現するためのモータ等の動力源を含み得る。
【0124】
ランプ作動装置924は、ヘッドライト、ウィンカー、車幅灯、フォグライト、又はストップランプ等の各種ランプの作動させる装置である。ランプ作動装置924は、例えばランプの明滅、光量、又は照射方向等を制御する。
【0125】
なお、動力生成装置918、制動装置920、ステアリング922、及びランプ作動装置924は、ドライバーによる手動操作に基づいて動作してもよいし、電子制御ユニット902による自動操作に基づいて動作してもよい。
【0126】
<5.2.情報処理装置の構成例>
図20は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、
図20に示す情報処理装置1000は、例えば、
図3に示したサーバ30を実現し得る。本実施形態に係るサーバ30による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【0127】
図20に示すように、情報処理装置1000は、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003及びホストバス1004aを備える。また、情報処理装置1000は、ブリッジ1004、外部バス1004b、インタフェース1005、入力装置1006、出力装置1007、ストレージ装置1008、ドライブ1009、接続ポート1011及び通信装置1013を備える。情報処理装置1000は、CPU1001に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
【0128】
CPU1001は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1000内の動作全般を制御する。また、CPU1001は、マイクロプロセッサであってもよい。ROM1002は、CPU1001が使用するプログラムや演算パラメータ等を記憶する。RAM1003は、CPU1001の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU1001は、例えば、
図3に示す制御部330を形成し得る。
【0129】
CPU1001、ROM1002及びRAM1003は、CPUバスなどを含むホストバス1004aにより相互に接続されている。ホストバス1004aは、ブリッジ1004を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス1004bに接続されている。なお、必ずしもホストバス1004a、ブリッジ1004および外部バス1004bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0130】
入力装置1006は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置1006は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置1000の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置1006は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU1001に出力する入力制御回路などを含んでいてもよい。情報処理装置1000のユーザは、この入力装置1006を操作することにより、情報処理装置1000に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0131】
出力装置1007は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置1007は、例えば、情報処理装置1000が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置1000が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0132】
ストレージ装置1008は、情報処理装置1000の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置1008は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置1008は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置1008は、CPU1001が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置1008は、例えば、
図3に示す学習データDB320を形成し得る。
【0133】
ドライブ1009は、記憶媒体用リーダライタであり、情報処理装置1000に内蔵、あるいは外付けされる。ドライブ1009は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM1003に出力する。また、ドライブ1009は、リムーバブル記憶媒体に情報を書き込むこともできる。
【0134】
接続ポート1011は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
【0135】
通信装置1013は、例えば、ネットワーク1020に接続するための通信デバイス等で形成された通信インタフェースである。通信装置1013は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置1013は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置1013は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置1013は、例えば、
図3に示す通信部310を形成し得る。
【0136】
なお、ネットワーク1020は、ネットワーク1020に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク1020は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク1020は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
【0137】
<5.3.補足>
以上、本実施形態に係るセンサ装置100又はサーバ30の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【0138】
なお、上述のような本実施形態に係るセンサ装置100又はサーバ30の各機能を実現するためのコンピュータプログラムを作製し、ECU等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0139】
<<6.まとめ>>
以上、
図1~
図19を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るセンサ装置100は、ユーザにより運転される車両の事故確率を予測し、予測した事故確率を上昇させた要因に応じた情報をユーザへ出力する。これにより、事故確率が高い場合に具体的にどのような事故回避行動を行うべきかが明確に提示されるので、ユーザは、容易に事故回避行動を行い、安全性を高めることができる。
【0140】
また、本実施形態に係るセンサ装置100は、事故の発生に影響を与え得る多様な特徴量ベクトルを用いて事故確率を予測する。例えば、センサ装置100は、ウィンカーの出し忘れ(車両操作情報)、集中力の低下(生体状態情報)、体調不良(生体情報)、窓の曇り(車内環境情報)、雨や夜(天候情報)、周りを見ていない(運転者物理状態情報)、片手でハンドルを切っている(運転者物理状態情報)、事故が起きやすい交差点(地図に紐付く事故情報)、運転が荒い(運転者のくせ情報)、乱暴な車が交差点の先にいる(近傍の他車両の運転習熟度情報又は事故確率)、等の事故の発生に影響を与え得る多様な特徴量ベクトルを用いて事故確率を予測する。これにより、事故確率の予測精度を向上させることができる。
【0141】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0142】
例えば、上記実施形態では、センサ装置100が車両に搭載される例を主に説明したが、本技術はかかる例に限定されない。例えば、センサ装置100は、航空機、自転車、自動二輪車等の任意の移動体に搭載可能である。また、センサ装置100は、スマートフォン又はHMD(Head Mounted Display)等のユーザデバイスとして実現されてもよい。また、センサ装置100は、信号機、監視カメラ、デジタルサイネージ、電光掲示板などの環境に設置される装置として実現されてもよい。その場合、センサ装置100は、例えば周囲を走行する車両の運転者への情報を出力する。
【0143】
また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、
図2に示したセンサ装置100の機能構成例のうち、記憶部140及び制御部150が、検出部110、通信部120及び出力部130とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
【0144】
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【0145】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0146】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザにより運転される車両の事故確率を予測する予測部と、
前記予測部により予測された前記事故確率を上昇させた要因に応じた情報を前記ユーザへ出力させる出力制御部と、
を備える情報処理装置。
(2)
前記出力制御部は、前記要因を示す情報を出力させる、前記(1)に記載の情報処理装置。
(3)
前記出力制御部は、ひとつ以上の前記要因から前記事故確率の上昇への寄与度に応じて選定した前記要因を示す情報を出力させる、前記(2)に記載の情報処理装置。
(4)
前記出力制御部は、前記事故確率を低下させるために前記ユーザが行うべき行動を指示する情報を出力させる、前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
前記出力制御部は、前記事故確率を示す情報を出力させる、前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記出力制御部は、前記事故確率を対数スケールで出力させる、前記(5)に記載の情報処理装置。
(7)
前記出力制御部は、前記事故確率の時系列推移を示す情報を出力させる、前記(5)又は(6)に記載の情報処理装置。
(8)
前記出力制御部は、前記事故確率の累積値に基づく情報を出力させる、前記(5)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記出力制御部は、地図上に前記事故確率に関する情報を出力させる、前記(5)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記予測部は、事故の予兆現象の発生確率を加味して学習された予測モデルを用いて前記事故確率を予測する、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記予兆現象は、急ブレーキ又は急ハンドルである、前記(10)に記載の情報処理装置。
(12)
前記予測部は、前記ユーザ又は前記車両に関する特徴量に基づいて前記事故確率を予測する、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記特徴量は、リアルタイムに検出される情報である、前記(12)に記載の情報処理装置。
(14)
前記特徴量は、蓄積又は登録された情報である、前記(12)に記載の情報処理装置。
(15)
前記予測部は、他の車両に関する特徴量に基づいて前記事故確率を予測する、前記(12)~(14)のいずれか一項に記載の情報処理装置。
(16)
ユーザにより運転される車両の事故確率を予測することと、
予測された前記事故確率を上昇させた要因に応じた情報を前記ユーザへ出力装置に出力させることと、
を含む情報処理方法。
(17)
コンピュータを、
ユーザにより運転される車両の事故確率を予測する予測部と、
前記予測部により予測された前記事故確率を上昇させた要因に応じた情報を前記ユーザへ出力させる出力制御部と、
として機能させるためのプログラム。
【符号の説明】
【0147】
1 システム
100 センサ装置
110 検出部
120 通信部
130 出力部
140 記憶部
150 制御部
152 予測部
154 出力制御部
30 サーバ
310 通信部
320 学習データDB
330 制御部
332 記憶制御部
334 学習部
40 外部DB
【手続補正書】
【提出日】2023-10-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両又は運転者に関するセンサ情報に基づいて特徴量ベクトルを生成する生成部と、
前記特徴量ベクトルを予測モデルに入力して得られる地点に関する情報を取得する取得部と、
前記地点に対する警告を出力する警告出力地点を設定し、前記地点の地図上への出力、及び、前記警告出力地点における前記警告の出力を制御する出力制御部と
を備える情報処理システム。
【請求項2】
前記取得部は、事故確率を上昇させる要因に関する情報を取得し、
前記出力制御部は、前記要因ごとに予め定められた前記警告の出力を制御する
請求項1に記載の情報処理システム。
【請求項3】
前記要因は、前記センサ情報に基づく特徴量、前記特徴量から推定される情報、又は、センサの種類から推定される情報である
請求項2に記載の情報処理システム。
【請求項4】
前記特徴量ベクトルは、リアルタイムに検出される前記センサ情報に基づく運転特徴量ベクトル、及び、前記運転者又は前記車両の性質に関する属性特徴量ベクトルのうち少なくとも1つを含む
請求項1乃至3のいずれかに記載の情報処理システム。
【請求項5】
前記予測モデルは、前記特徴量ベクトル及び事故情報を含む学習データを用いて学習される
請求項1乃至4のいずれかに記載の情報処理システム。
【請求項6】
前記取得部は、前記特徴量ベクトルを前記予測モデルに入力して得られる予測情報であって、前記地点に関する情報を含む予測情報を取得し、
前記出力制御部は、前記地図上に前記予測情報を出力させる
請求項1乃至5のいずれかに記載の情報処理システム。
【請求項7】
情報処理システムが、
車両又は運転者に関するセンサ情報に基づいて特徴量ベクトルを生成し、
前記特徴量ベクトルを予測モデルに入力して得られる地点に関する情報を取得し、
前記地点に対する警告を出力する警告出力地点を設定し、前記地点の地図上への出力、及び、前記警告出力地点における前記警告の出力を制御する
情報処理方法。
【請求項8】
コンピュータに、
車両又は運転者に関するセンサ情報に基づいて特徴量ベクトルを生成し、
前記特徴量ベクトルを予測モデルに入力して得られる地点に関する情報を取得し、
前記地点に対する警告を出力する警告出力地点を設定し、前記地点の地図上への出力、及び、前記警告出力地点における前記警告の出力を制御する
処理を実行させるためのプログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
本開示は、情報処理システム、情報処理方法及びプログラムに関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
本開示によれば、車両又は運転者に関するセンサ情報に基づいて特徴量ベクトルを生成する生成部と、前記特徴量ベクトルを予測モデルに入力して得られる地点に関する情報を取得する取得部と、前記地点に対する警告を出力する警告出力地点を設定し、前記地点の地図上への出力、及び、前記警告出力地点における前記警告の出力を制御する出力制御部とを備える情報処理システムが提供される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
また、本開示によれば、情報処理システムが、車両又は運転者に関するセンサ情報に基づいて特徴量ベクトルを生成し、前記特徴量ベクトルを予測モデルに入力して得られる地点に関する情報を取得し、前記地点に対する警告を出力する警告出力地点を設定し、前記地点の地図上への出力、及び、前記警告出力地点における前記警告の出力を制御する情報処理方法が提供される。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
また、本開示によれば、コンピュータに、車両又は運転者に関するセンサ情報に基づいて特徴量ベクトルを生成し、前記特徴量ベクトルを予測モデルに入力して得られる地点に関する情報を取得し、前記地点に対する警告を出力する警告出力地点を設定し、前記地点の地図上への出力、及び、前記警告出力地点における前記警告の出力を制御するプログラムが提供される。