(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187273
(43)【公開日】2022-12-19
(54)【発明の名称】情報処理装置および運転評価システム
(51)【国際特許分類】
G08G 1/00 20060101AFI20221212BHJP
G07C 5/00 20060101ALI20221212BHJP
【FI】
G08G1/00 D
G07C5/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021095217
(22)【出願日】2021-06-07
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000155469
【氏名又は名称】株式会社野村総合研究所
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】谷村 亮介
(72)【発明者】
【氏名】福井 宏依
(72)【発明者】
【氏名】佐々木 泰斗
(72)【発明者】
【氏名】兼平 克巳
【テーマコード(参考)】
3E138
5H181
【Fターム(参考)】
3E138AA07
3E138MA01
3E138MA06
3E138MB02
3E138MB03
3E138MB08
3E138MC12
3E138MF02
3E138MF05
3E138MF06
5H181AA01
5H181AA05
5H181AA21
5H181BB04
5H181BB05
5H181CC04
5H181DD02
5H181DD03
5H181DD07
5H181FF10
(57)【要約】
【課題】運転評価の妥当性を向上させる。
【解決手段】情報処理装置が、第一の車両においてなされた運転操作に関する第一のデータと、第一の車両の周辺状況に関する第二のデータを取得し、第一および第二のデータに基づいて、第一の車両についての運転評価を行う。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第一の車両においてなされた運転操作に関する第一のデータを取得することと、
前記第一の車両の周辺状況に関する第二のデータを取得することと、
前記第一および第二のデータに基づいて、前記第一の車両についての運転評価を行うことと、
を実行する制御部を有する、情報処理装置。
【請求項2】
前記第二のデータは、前記第一の車両の周辺交通の挙動に関するデータである、
請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、第一の期間において発生した前記第一のデータと、前記第一の期間よりも前の期間である第二の期間において発生した前記第二のデータと、に少なくとも基づいて、前記運転評価を行う、
請求項1または2に記載の情報処理装置。
【請求項4】
前記制御部は、前記第一のデータが示す運転操作が、前記第二のデータが示す、前記第一の車両の周辺状況に起因して発生したか否かを判定する、
請求項1から3のいずれか1項に記載の情報処理装置。
【請求項5】
前記第一の車両の運転操作に影響を与える前記周辺状況に関するデータを記憶する記憶部をさらに有する、
請求項4に記載の情報処理装置。
【請求項6】
前記制御部は、記憶された前記データを用いて、前記判定を行う、
請求項5に記載の情報処理装置。
【請求項7】
前記制御部は、前記周辺状況と、前記第一の車両においてなされた運転操作との間に因果関係が認められる場合に、当該運転操作に対する評価を補正する、
請求項4から6のいずれか1項に記載の情報処理装置。
【請求項8】
前記制御部は、前記第一および第二のデータを入力データとし、前記運転評価を出力データとする評価モデルを用いて前記運転評価を行い、
前記周辺状況と、前記第一の車両においてなされた運転操作との間に因果関係が認められる場合に、前記入力データに対して出力される運転評価が向上するよう前記評価モデルを更新する、
請求項4から7のいずれか1項に記載の情報処理装置。
【請求項9】
前記第一のデータは、前記第一の車両に搭載されたセンサが取得した動きデータを含む、
請求項1から8のいずれか1項に記載の情報処理装置。
【請求項10】
前記第二のデータは、前記第一の車両に搭載されたカメラが取得した画像データである、
請求項1から9のいずれか1項に記載の情報処理装置。
【請求項11】
前記制御部は、前記画像データを解析した結果に基づいて、前記第一の車両の周辺状況を判定する、
請求項10に記載の情報処理装置。
【請求項12】
第一の車両と、情報処理装置と、を含む運転評価システムであって、
前記第一の車両は、
当該第一の車両においてなされた運転操作に関する第一のデータと、当該第一の車両の周辺状況に関する第二のデータを取得する第一の制御部を有し、
前記情報処理装置は、
前記第一および第二のデータに基づいて、前記第一の車両についての運転評価を行う第二の制御部を有する、
運転評価システム。
【請求項13】
前記第二のデータは、前記第一の車両の周辺交通の挙動に関するデータである、
請求項12に記載の運転評価システム。
【請求項14】
前記第一の制御部は、前記第一および第二のデータを、前記情報処理装置に周期的に送信し、
前記第二の制御部は、第一の期間において発生した前記第一のデータと、前記第一の期間よりも前の期間である第二の期間において発生した前記第二のデータと、に少なくとも基づいて、前記運転評価を行う、
請求項12または13に記載の運転評価システム。
【請求項15】
前記第二の制御部は、前記第一のデータが示す運転操作が、前記第二のデータが示す、前記第一の車両の周辺状況に起因して発生したか否かを判定する、
請求項14に記載の運転評価システム。
【請求項16】
前記情報処理装置は、前記第一の車両の運転操作に影響を与える前記周辺状況に関するデータを記憶する記憶部をさらに有する、
請求項15に記載の運転評価システム。
【請求項17】
前記第二の制御部は、記憶された前記データを用いて、前記判定を行う、
請求項16に記載の運転評価システム。
【請求項18】
前記第二の制御部は、前記周辺状況と、前記第一の車両においてなされた運転操作との間に因果関係が認められる場合に、当該運転操作に対する評価を補正する、
請求項15から17のいずれか1項に記載の運転評価システム。
【請求項19】
前記第一の車両は、前記第一のデータとしての動きデータを取得するセンサをさらに有する、
請求項12から18のいずれか1項に記載の運転評価システム。
【請求項20】
前記第一の車両は、前記第二のデータとしての画像データを取得するカメラをさらに有する、
請求項12から19のいずれか1項に記載の運転評価システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ドライバーの運転評価を行うための技術に関する。
【背景技術】
【0002】
ドライバーの運転評価を行うためのシステムが知られている。例えば、特許文献1には、運転操作に係るデータを所定の間隔で収集し、収集したデータに基づいて危険運転の度合いを診断するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、運転評価の妥当性を向上させることを目的とする。
【課題を解決するための手段】
【0005】
本開示の第一の態様に係る情報処理装置は、第一の車両においてなされた運転操作に関する第一のデータを取得することと、前記第一の車両の周辺状況に関する第二のデータを取得することと、前記第一および第二のデータに基づいて、前記第一の車両についての運転評価を行うことと、を実行する制御部を有する。
【0006】
また、本開示の第二の態様に係る運転評価システムは、第一の車両と、情報処理装置と、を含む運転評価システムであって、前記第一の車両は、当該第一の車両においてなされた運転操作に関する第一のデータと、当該第一の車両の周辺状況に関する第二のデータを取得する第一の制御部を有し、前記情報処理装置は、前記第一および第二のデータに基づいて、前記第一の車両についての運転評価を行う第二の制御部を有する。
【0007】
また、本開示の他の態様は、上記の情報処理装置が実行する方法をコンピュータに実行させるためのプログラム、または、該プログラムを非一時的に記憶したコンピュータ可読記憶媒体である。
【発明の効果】
【0008】
本開示によれば、運転評価の妥当性を向上させることができる。
【図面の簡単な説明】
【0009】
【
図2】センタサーバおよび車載端末の構成を説明する図。
【
図6】第一の実施形態においてモジュール間で送受信されるデータを説明する図。
【
図7】処理対象となるデータの発生タイミングを説明する図。
【
図9】第一の実施形態において制御部が行う処理のフローチャート。
【
図10】第一の実施形態において制御部が行う処理のフローチャート。
【
図11】第二の実施形態においてモジュール間で送受信されるデータを説明する図。
【
図12】第二の実施形態において制御部が行う処理のフローチャート。
【発明を実施するための形態】
【0010】
ドライバーが行った運転操作に基づいて、当該ドライバーの運転を評価するシステムがある。斯様なシステムでは、例えば、運転操作のスムーズさに応じて評価が行われる。
一方、ドライバーの責によらない、危険回避のための操作が発生するケースがある。例えば、歩行者や自転車の飛び出し、隣接車線からの急な割り込みに起因する急ブレーキなどである。しかし、従来の運転評価システムでは、このようなケースであっても、運転者が適切でない運転操作をしたと評価されてしまうことがある。
【0011】
この問題に対応するため、本開示の一態様に係る情報処理装置は、第一の車両においてなされた運転操作に関する第一のデータを取得することと、前記第一の車両の周辺状況に関する第二のデータを取得することと、前記第一および第二のデータに基づいて、前記第一の車両についての運転評価を行うことと、を制御部が実行する。
【0012】
第一のデータは、ドライバーが行った運転操作に関するデータである。第一のデータは、運転操作を直接表したデータであってもよいし、運転操作を間接的に表したデータであってもよい。例えば、第一の車両の挙動をセンシングすることで、運転操作を間接的に得ることができる。第一のデータとして、例えば、ステアリングの操作量、アクセルやブレーキの操作量、車両の加減速度、ヨーレートなどが例示できる。第一のデータは、第一の車両、または、第一の車両に搭載されたコンピュータ等から取得することができる。
【0013】
第二のデータは、第一の車両の周辺状況に関するデータである。第二のデータとして、例えば、第一の車両の周辺をセンシングして得られたセンサデータ、第一の車両の周辺を撮像して得られた画像データなどが例示できる。周辺状況は、第一の車両の周辺における交通状況などであってもよい。交通状況とは、例えば、他の車両、自転車、歩行者等の位置や動きなどである。また、周辺状況は、第一の車両の周辺にある障害物の状況や、運転環境などであってもよい。
【0014】
第一のデータに加え、第二のデータを考慮して運転評価を行うことで、例えば、運転者によって行われた操作が妥当なものであったか(例えば、不可避なものであったか)を判定することができ、運転評価の精度を向上させることができる。
【0015】
また、前記第二のデータは、前記第一の車両の周辺交通の挙動に関するデータであることを特徴としてもよい。
かかる構成によると、例えば、第一の車両の進路が妨害され、これを回避するために運転操作が行われたことを判定することが可能になる。
【0016】
また、前記制御部は、第一の期間において発生した前記第一のデータと、前記第一の期間よりも前の期間である第二の期間において発生した前記第二のデータと、に少なくとも基づいて、前記運転評価を行うことを特徴としてもよい。
例えば、第一のデータによって示された運転操作が行われる直前の期間に発生した第二のデータを遡って参照することで、当該運転操作が妥当なものであったかを判定することができる。
【0017】
また、前記制御部は、前記第一のデータが示す運転操作が、前記第二のデータが示す、前記第一の車両の周辺状況に起因して発生したか否かを判定することを特徴としてもよい。
例えば、第二のデータが示している特定の事象が、第一の車両の進路を妨害するもので
あった場合、直後の運転操作が、当該事象に起因して行われたと判定することができる。
【0018】
また、前記第一の車両の運転操作に影響を与える前記周辺状況に関するデータを記憶する記憶部をさらに有することを特徴としてもよい。
また、前記制御部は、記憶された前記データを用いて、前記判定を行うことを特徴としてもよい。
例えば、歩行者の飛び出し、車両の割り込みといったような、第一の車両の運転操作に影響を与える周辺状況を予め定義し、発生した周辺状況がどの程度合致しているかを判定することで、因果関係の有無を判定することができる。
【0019】
また、前記制御部は、前記周辺状況と、前記第一の車両においてなされた運転操作との間に因果関係が認められる場合に、当該運転操作に対する評価を補正することを特徴としてもよい。
周辺状況と運転操作との間に因果関係がある場合、不可抗力によって運転操作が発生したと判定できるため、当該運転操作に対する評価を、例えばプラス方向に補正してもよい。これにより、急操作等に起因した減点を補填することができる。
【0020】
また、前記制御部は、前記第一および第二のデータを入力データとし、前記運転評価を出力データとする評価モデルを用いて前記運転評価を行い、前記周辺状況と、前記第一の車両においてなされた運転操作との間に因果関係が認められる場合に、前記入力データに対して出力される運転評価が向上するよう前記評価モデルを更新することを特徴としてもよい。
運転評価は、評価モデル(例えば、機械学習モデル)を用いて行うことができる。この場合において、運転操作との間に因果関係がある周辺状況が発生した場合、このような状況下で運転評価が低下しないよう、評価モデルの更新(再学習)を行うことが好ましい。
【0021】
また、前記第一のデータは、前記第一の車両に搭載されたセンサが取得した動きデータを含むことを特徴としてもよい。
動きデータとは、例えば、第一の車両の動きに関連するデータである。車両の動きとして、例えば、加速度、旋回レート、加速度、減速度などが例示できる。
【0022】
また、前記第二のデータは、前記第一の車両に搭載されたカメラが取得した画像データであることを特徴としてもよい。
また、前記制御部は、前記画像データを解析した結果に基づいて、前記第一の車両の周辺状況を判定することを特徴としてもよい。
車載カメラが取得した画像を用いることで、第一の車両の周辺状況を判定することができる。
【0023】
以下、本開示の具体的な実施形態について図面に基づいて説明する。各実施形態に記載されているハードウェア構成、モジュール構成、機能構成等は、特に記載がない限りは開示の技術的範囲をそれらのみに限定する趣旨のものではない。
【0024】
(第一の実施形態)
第一の実施形態に係る運転評価システムの概要について、
図1を参照しながら説明する。本実施形態に係る運転評価システムは、ドライバーの運転評価を行うセンタサーバ100と、車両10に搭載された車載端末200と、を含んで構成される。
なお、
図1には、一台の車両10が示されているが、センタサーバ100が管理する車両10は複数台であってもよい。
【0025】
車載端末200は、管理下にある複数の車両10にそれぞれ搭載されたコンピュータで
ある。車載端末200は、車両データを取得し、センタサーバ100に周期的に送信する。車両データとは、「運転者が行った運転操作に関するデータ(第一のデータ)」、および、「車両10の周辺状況に関するデータ(第二のデータ)」の二つを含む。
【0026】
センタサーバ100は、システムの管理下にある複数の車両10(車載端末200)から車両データを取得し、当該車両データに基づいて、運転者が行った運転操作を評価する(例えば、どの程度スムーズな運転操作を行っているかを評価する)装置である。
センタサーバ100は、車両10の周辺状況を示す第二のデータに基づいて、車両10がどのような状況下にあるかを判定したうえで、第一のデータに対する評価を行う。これにより、不可抗力によって急操作が行われた場合であっても、これを正当に評価することができる。
【0027】
本実施形態では、第一のデータは、車両10において行われた運転操作を表すセンサデータである。第一のデータは、車両10が有するセンサによって取得することができる。
また、本実施形態では、第二のデータは、車両10の周辺交通の挙動を解析するための画像データである。周辺交通とは、例えば、他の車両、自転車、歩行者など、車両10の近傍に位置する移動体である。画像データは、例えば、車両10の前方に搭載されたカメラによって取得することができる。
【0028】
図2は、本実施形態に係る運転評価システムの構成要素をより詳細に示した図である。
【0029】
車載端末200は、車両に搭載されたコンピュータである。車載端末200は、制御部201、記憶部202、通信部203、入出力部204、モーションセンサ205、および、カメラ206を含んで構成される。
【0030】
制御部201は、車載端末200が行う制御を司る演算装置である。制御部201は、CPU(Central Processing Unit)などの演算処理装置によって実現することができる
。
制御部201は、車両データ取得部2011と、車両データ送信部2012の2つの機能モジュールを有して構成される。これらの機能モジュールは、後述する記憶部202に記憶されたプログラムをCPUによって実行することで実現してもよい。
【0031】
車両データ取得部2011は、車両データを取得する。本実施形態では、車両データは、以下の2種類のデータを含む。
(1)運転者が行った運転操作に関するデータ(センサデータ)
(2)車載カメラが取得した画像データ
センサデータが第一のデータに対応し、画像データが第二のデータに対応する。
【0032】
運転操作に関するデータとは、車両の挙動を表すデータ(動きデータ)であって、典型的には、後述するモーションセンサ205が取得した加速度を示すデータである。なお、本例では、センサデータとして、センサによって計測した加速度を例示するが、センサデータは、運転操作に関するものであれば、これ以外の情報を含んでいてもよい。例えば、速度やヨーレートなどを含んでもよい。また、センサデータは、車両の動きそのものをセンシングしたものに限られない。例えば、ステアリングセンサ、スロットルセンサ等から取得した、運転操作そのものを表すデータであってもよい。
【0033】
車両データ取得部2011は、所定のサンプリングレート(例えば10Hz)でセンサデータを取得する。なお、センサデータは、目標のサンプリングレートよりも高いサンプリングレートで取得したのち、フィルタによって平滑化されてもよい。例えば、100Hzでサンプリングを行ったのち、ガウシアンフィルタ等によって10Hzにダウンサンプ
ルしてもよい。
【0034】
画像データは、後述するカメラ206によって取得される。なお、本明細書に記載する「画像データ」は、1フレーム分のデータであってもよいし、複数フレーム分のデータであってもよい。
また、車両データ取得部2011は、センサデータおよび画像データ以外のデータを取得し、車両データに含ませてもよい。このようなデータとして、例えば、車両10の位置情報、速度、進行方向などがある。
【0035】
車両データ送信部2012は、車両データ取得部2011によって取得された車両データを、センタサーバ100に周期的に(例えば、1秒間隔で)送信する。
車両データの送信間隔が1秒である場合、当該車両データは、例えば、1秒分のセンサデータと、1秒分の画像データを含むことができる。なお、画像データは、複数の画像の集合であってもよい。例えば、車両データの送信間隔が1秒であって、車両データ取得部2011が、秒間30フレームで画像を取得可能な場合、一回に送信される車両データは、30枚の画像からなる画像データを含んでもよい。また、車両データ取得部2011が、10Hzでセンサデータを取得可能な場合、一つの車両データは、10タイムステップ分のセンサデータを含んでもよい。
【0036】
記憶部202は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部201によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部201において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。補助記憶装置には、制御部201で実行されるプログラムをアプリケーションとしてパッケージ化したものを記憶してもよい。また、これらのアプリケーションを実行するためのオペレーティングシステムを記憶してもよい。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、制御部201によって実行されることで、以降に説明する処理が行われる。
【0037】
主記憶装置は、RAM(Random Access Memory)やROM(Read Only Memory)を含んでもよい。また、補助記憶装置は、EPROM(Erasable Programmable ROM)やハード
ディスクドライブ(HDD、Hard Disk Drive)を含んでもよい。さらに、補助記憶装置
は、リムーバブルメディア、すなわち可搬記録媒体を含んでもよい。
【0038】
通信部203は、車載端末200をネットワークに接続するための無線通信インタフェースである。通信部203は、例えば、無線LANや3G、LTE、5G等の移動体通信サービスを介して、センタサーバ100と通信可能に構成される。
入出力部204は、利用者が行った入力操作を受け付け、利用者に対して情報を提示するユニットである。本実施形態では一つのタッチパネルディスプレイからなる。すなわち、液晶ディスプレイとその制御手段、タッチパネルとその制御手段から構成される。
【0039】
モーションセンサ205は、車両10にかかる加速度を計測するセンサである。モーションセンサ205は、例えば、車両の前後、左右、上下方向にかかる加速度をそれぞれ計測可能な3軸加速度センサとすることができる。この場合、センサデータは、3次元のベクトルとすることができる。
カメラ206は、車両10の周辺を撮像するカメラである。カメラ206は、少なくとも、車両10の前方を捉えることができる位置にマウントされることが好ましい。
【0040】
次に、センタサーバ100について説明する。
センタサーバ100は、車載端末200から車両データを受信する処理と、受信した車両データに基づいて、車両10の運転者が行った運転操作を評価する処理と、を実行する
。
【0041】
センタサーバ100は、汎用のコンピュータにより構成することができる。すなわち、センタサーバ100は、CPUやGPU等のプロセッサ、RAMやROM等の主記憶装置、EPROM、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。補助記憶装置には、オペレーティングシステム(OS)、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、後述するような、所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はASICやFPGAのようなハードウェア回路によって実現されてもよい。
【0042】
制御部101は、センタサーバ100が行う制御を司る演算装置である。制御部101は、CPUなどの演算処理装置によって実現することができる。
制御部101は、データ取得部1011、評価部1012、および判定部1013の3つの機能モジュールを有して構成される。各機能モジュールは、記憶されたプログラムをCPUによって実行することで実現してもよい。
【0043】
データ取得部1011は、システムの管理下にある車両に搭載された車載端末200から車両データを取得し、取得した車両データを、後述する記憶部102に記憶させる処理を実行する。
【0044】
評価部1012は、記憶された車両データに基づいて、車両10の運転者が行った運転操作を評価し、評価結果を表すデータ(評価データ)を生成する。
評価部1012は、例えば、センサデータを、所定の評価モデルによって評価し、運転操作のスムーズさを評価した数値を取得する。また、評価部1012は、センサデータが示している運転操作が、周辺交通の挙動に起因したものであるか否かの判定を、後述する判定部1013に依頼する。また、評価部1012は、判定部1013が行った判定の結果を加味して、最終的な評価データを生成する。
例えば、急ブレーキを行う直前に歩行者の飛び出しが認められた場合など、特定の運転操作が、周辺交通の挙動に起因して発生していると判定された場合、当該急ブレーキ操作については減点を行わないといった対応を行う。具体的な方法については後述する。
【0045】
判定部1013は、評価部1012からの依頼に基づいて、運転操作と、周辺交通の挙動との間に因果関係があるかを判定する。具体的には、評価対象の運転操作が発生する直前に取得された画像データを参照し、当該画像データを解析して得られた周辺交通の挙動が、所定の挙動パターンに合致するか否かを判定する。
所定の挙動パターンとは、特定の運転操作(例えば、急ブレーキ)に結びつく可能性が高い、周辺交通の挙動のパターン(例えば、先行車の急停車や、歩行者の飛び出し等)である。周辺交通の挙動が、所定の挙動パターンに合致していた場合、運転操作と、周辺交通の挙動との間に因果関係があると判定することができる。
【0046】
記憶部102は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部101によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部101において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。
【0047】
さらに、記憶部102は、車両データベース102A、挙動データベース102B、および評価モデル102Cを記憶する。
【0048】
車両データベース102Aは、車載端末200から取得した車両データを記憶するデータベースである。車両データベース102Aには、複数の車載端末200から取得した、複数の車両データが記憶される。
【0049】
図3は、車両データベース102Aに格納されるデータの一例を示す図である。
車両IDフィールドには、車両を一意に識別する識別子が格納される。また、日時情報フィールドには、車両データが生成された日時が格納される。また、位置情報フィールドには、車両の位置情報が格納される。位置情報は、例えば、緯度や経度によって表されてもよい。また、方位情報フィールドには、車両の進行方向を表す情報が格納される。
【0050】
センサデータフィールドには、車両10が有するモーションセンサ205が取得したセンサデータが格納される。また、画像データフィールドには、車両10が有するカメラ206が取得した画像データが格納される。画像データは、複数フレームからなる動画像データであってもよい。
車両データベース102Aは、車載端末200から送信された車両データに基づいて周期的に更新される。
【0051】
挙動データベース102Bは、特定の運転操作(例えば、急ブレーキ)に結びつく可能性が高い、周辺交通の挙動パターン(例えば、歩行者の飛び出し)を記憶させたデータベースである。挙動データベース102Bに記憶される挙動パターンは、運転者が予期できないと想定される外的状況に対応するパターンである。
【0052】
図4は、挙動データベース102Bに格納されるデータの一例を示す図である。
パターンIDフィールドには、挙動パターンを一意に識別するデータが格納される。
特徴量データフィールドには、周辺交通の挙動を特徴量に変換して得られるデータが格納される。車載カメラによって撮像された画像データを変換して得られた特徴量が、これらのデータと高い類似度を示す場合、周辺交通の挙動に起因して特定の運転操作が行われた可能性が高いことを意味する。すなわち、運転者が行った運転操作と、周辺交通の挙動との間に因果関係があることが推定される。
【0053】
車両データベース102Aおよび挙動データベース102Bは、プロセッサによって実行されるデータベース管理システム(DBMS)のプログラムが、記憶装置に記憶されるデータを管理することで構築される。車両データベース102Aおよび挙動データベース102Bは、例えばリレーショナルデータベースである。
【0054】
評価モデル102Cは、運転者が行った運転操作を評価するための機械学習モデルである。
図5(A)は、評価モデル102Cへの入力データと出力データを説明する図である。図示したように、評価モデル102Cは、入力データとしてセンサデータを取得し、出力データとして運転評価を生成する。運転評価は、例えば、得点(スコア)によって表される。評価モデル102Cは、例えば、運転操作がスムーズであるほど高いスコアを出力するように学習されたモデルである。
【0055】
なお、本例では、評価モデル102Cへの入力としてセンサデータのみを例示しているが、他の情報を入力データとして与えてもよい。例えば、車両10が走行している道路に関する情報(車線数、制限速度、曲率、横断歩道や信号機の有無など)を与えることで、運転者が行った運転操作が適切であるか否かをより精度良く判定することができる。
このため、センタサーバ100は、車両10が走行可能な道路の詳細情報を含む地図データなどを記憶するようにしてもよい。
【0056】
通信部103は、センタサーバ100をネットワークに接続するための通信インタフェ
ースである。通信部103は、例えば、ネットワークインタフェースボードや、無線通信のための無線通信モジュールを含んで構成される。
【0057】
なお、
図2に示した構成は一例であり、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。また、図示した以外の、主記憶装置および補助記憶装置の組み合わせによってプログラムの記憶ないし実行を行ってもよい。
【0058】
図6は、制御部101が有する各モジュールの動作を説明する図である。
データ取得部1011は、管理下の車両10(車載端末200)から周期的に車両データを受信する。受信した車両データは、車両データベース102Aに随時格納される。
【0059】
評価部1012は、車両データベース102Aに格納されたデータのうち、評価対象の期間に対応するセンサデータを取得し、運転評価を実施する。記録されたセンサデータは瞬間値であるため、単一のセンサデータでは、どのような運転操作が行われたかを判定することができない。そこで、評価部1012は、所定の期間(例えば、1秒)におけるセンサデータの集合に基づいて、運転評価を行う。
【0060】
図7は、運転評価を実施するタイミングと、所定の期間との関係を示した図である。本例では、評価部1012は、評価タイミングから過去に所定のステップ(例えば、5ステップ)だけ遡って得られた時系列のセンサデータを評価モデル102Cに入力し、評価モデル102Cから出力された値を取得する。図示した例では、符号701で示した期間に対応する時系列のセンサデータが、評価モデル102Cに入力される。
【0061】
一方で、評価部1012は、評価モデル102Cによって得られた評価の結果が妥当であるか確認するため、判定部1013に対して判定依頼を行う。
例えば、t=3のタイミングで歩行者の飛び出しがあり、t=5のタイミングで急ブレーキをかけ、続いて運転評価が行われた場合、時刻を遡って画像データを確認することで、行われた運転操作が不可抗力によるものであることが判断できる。
このように、評価部1012は、運転評価を行うタイミングで、時刻を遡って画像データを確認することを判定部1013に対して依頼する。
図7に示した例では、判定部1013は、符号702で示した期間に対応する画像データを参照し、判定を行う。
【0062】
判定部1013は、判定依頼に応答して、過去に取得された画像データを参照し、解析によって得られた周辺交通の挙動が、挙動データベース102Bに記憶された所定の挙動パターンと合致するか否かを判定する。当該判定は、類似度に基づいて行ってもよい。周辺交通の挙動が、挙動データベース102Bに記憶された所定の挙動パターンと合致した場合、判定部1013は、「直前に行われた運転操作との因果関係が推定される周辺交通の挙動が検出された」旨の判定結果を評価部1012に返す。
【0063】
図8は、判定部1013が実行する判定処理を説明する図である。
判定部1013は、評価部1012からの依頼に対応する期間を特定し、当該期間における画像データを取得したうえで、当該画像データを特徴量に変換する。当該期間は、事前に定めることができるが、評価対象のセンサデータの起点(
図7の例では、t=4)よりも前の時刻(
図7の例では、t=1)を起点とすることが好ましい。
また、判定部1013は、挙動データベース102Bから、各挙動パターンに対応する特徴量を取得し、特徴量同士を比較する。この結果に基づいて、周辺交通の挙動が、事前に定義されたいずれかの挙動パターンに該当するか否かを判定することができる。
特徴量同士を比較した結果、双方が合致すると判定された場合、運転者が行った運転操作と、直前に観測された周辺交通の挙動との間に因果関係があると判定することができる。
【0064】
評価部1012は、評価モデル102Cによって生成された運転評価に、判定部1013が行った判定の内容を加味し、評価データを生成する。例えば、信号や横断歩道が無い道において急ブレーキが発生した場合、原則通りであれば、低評価を表す評価データが生成される。一方、判定部1013が、急ブレーキが周辺交通の挙動(例えば、歩行者の飛び出し)に起因するものであると判定していた場合、低い評価を下すべきではない。このような場合、評価部1012は、評価基準を修正、ないし、評価結果を補正し、運転操作に対する評価を向上させる。
【0065】
運転評価を補正する量は、挙動パターンの種類に基づいて決定してもよい。例えば、他車両の割り込みと、歩行者の飛び出しとではブレーキの操作量が異なる場合がある。そこで、例えば、挙動パターンが「歩行者の飛び出し」である場合に、挙動パターンが「他車両の割り込み」である場合と比較して、より補正量を大きくしてもよい。補正量は、挙動パターンと関連付けて挙動データベース102Bに記憶させてもよい。
【0066】
なお、運転者が行った運転操作と、周辺交通の挙動との間に因果関係がある場合であっても、条件によっては、運転評価を補正すべきでない場合がある。例えば、横断歩道において歩行者の横断があった場合や、車両10が赤信号に対面していた場合、または、優先道路を走行する他の車両と出合い頭になった場合などである。このように、車両10の運転者に過失がある場合、運転評価を補正すべきではない。
このため、評価部1012は、車両10の周辺状況に関する他のデータ(周辺交通の挙動以外に関するもの)をさらに取得し、当該データに基づいて、運転者の過失有無をさらに判定するようにしてもよい。車両10の周辺状況に関する他のデータとして、例えば、信号機の設置箇所、横断歩道の設置箇所、一時停止が指定された箇所、道路同士の優先関係などが記述された地図データ等がある。
斯様なデータを参照した結果、車両10に過失があると判定された場合、評価部1012は、周辺交通の挙動にかかわらず、運転評価の補正を行わないようにしてもよい。
【0067】
次に、制御部101が有する各モジュールが実行する処理のフローチャートについて説明する。
図9に示したフローチャートは、システムの稼働中において、複数の車両10のそれぞれを対象として、周期的に実行される。
【0068】
ステップS11では、データ取得部1011が、車載端末200から送信された車両データを受信する。受信した車両データは、車両データベース102Aに格納される。
【0069】
次に、ステップS12で、評価部1012が、取得したセンサデータに基づいて、評価データを生成する。例えば、
図7に示したように、評価タイミングから所定の期間だけ遡って得られた時系列のセンサデータを入力データとして評価モデル102Cに与え、出力された運転評価を取得する。
【0070】
ステップS13では、生成された運転評価が、所定の減点基準を満たしているかを判定する。例えば、ステップS12において、所定の閾値よりも低いスコアを持つ運転評価が生成された場合、本ステップで肯定判定となる。
ステップS13で肯定判定となった場合、処理はステップS14へ遷移し、判定部1013が、周辺交通の挙動についての判定を行う。すなわち、減点の原因となった運転操作が、周辺交通の挙動に起因するものであるか否かを判定する。
【0071】
図10は、ステップS14において判定部1013が行う処理のフローチャートである。
まず、ステップS141で、判定を行うための画像データの参照期間を決定する。画像
データの参照期間は、評価対象である時系列のセンサデータの起点よりも前の時刻を起点とすることが好ましい。
例えば、
図7に示したように、t=10のタイミングで運転評価が行われた場合、当該タイミングから所定の期間だけ遡った期間(符号702)を特定する。本例では、t=1~9に対応する期間が特定される。
【0072】
次に、ステップS142で、決定した期間に対応する画像データが、車両データベース102Aに記憶されているか否かを判定する。ここで、否定判定となった場合、処理は終了する。肯定判定となった場合、処理はステップS143へ遷移する。
ステップS143では、決定した期間に対応する画像データを取得し、当該画像データを特徴量に変換する。
ステップS144では、
図8に示したように、変換によって得られた特徴量を、挙動データベース102Bに記憶された複数の挙動パターンのそれぞれに対応する特徴量と比較し、それぞれに対する類似度を求める。
【0073】
ステップS145では、類似度が所定値を上回る挙動パターンが存在するか否かを判定する。ここで肯定判定となった場合、判定部1013は、「運転操作との因果関係が推定される周辺交通の挙動が検出された」旨の判定結果を生成する。なお、ステップS142およびS145で否定判定となった場合、判定部1013は、「運転操作との因果関係が推定される周辺交通の挙動は検出されなかった」旨の判定結果を生成する。
【0074】
図9に戻り、説明を続ける。
ステップS14で行った判定の結果、運転操作と、周辺交通の挙動との間に因果関係が認められた場合(ステップS15-Yes)、処理はステップS16へ遷移し、ステップS12において生成された運転評価を補正する。例えば、運転評価が低いスコアを示すものであった場合、減点の幅を縮小、ないし、減点を撤回する。運転操作と、周辺交通の挙動との間に因果関係が認められなかった場合(ステップS15-No)、処理は終了する。
運転評価の補正量は、前述したように、挙動パターンごとに異なってもよい。
また、評価部1012は、車両10の走行環境に関する他のデータを参照して、車両10の運転者の過失を判定し、過失があると判定された場合に、運転評価の補正を行わないようにしてもよい。
【0075】
ステップS17では、評価部1012が、ステップS12において取得、ないし、ステップS16において補正された運転評価に基づいて評価データを生成する。評価データは、記憶部102に記憶されてもよいし、外部の装置(例えば、車両10の運行管理者等が管理する装置)に送信されてもよい。
【0076】
以上説明したように、第一の実施形態に係る運転評価システムでは、運転操作に対して低評価がなされた場合に、当該運転操作がなされる直前に車載カメラによって取得された画像データを取得し、周辺交通の挙動と、運転操作との間の因果関係を推定する。また、因果関係が認められる場合に、運転評価の修正を行う。これにより、不可抗力による急操作が発生した場合であっても、妥当な運転評価を行うことが可能になる。
【0077】
(第二の実施形態)
第一の実施形態では、評価部1012が、センサデータのみに基づいて運転評価を生成した。これに対し、第二の実施形態は、評価部1012が、センサデータと画像データの双方に基づいて運転評価を生成する実施形態である。
【0078】
図11は、第二の実施形態における、制御部101が有する各モジュールの動作を説明
する図である。第一の実施形態と同様の部分については点線で記載し、説明は省略する。
第二の実施形態では、評価部1012が、センサデータと画像データの双方を取得し、これらのデータを評価モデル102Cに入力して運転評価を取得する。
図5(B)は、第二の実施形態における評価モデル102Cの入出力を説明する図である。
【0079】
第二の実施形態では、評価部1012は、第一の実施形態と同様に、評価タイミングから所定のステップ分だけ遡って得られた時系列のセンサデータを取得し、評価モデル102Cに入力する。さらに、評価部1012は、センサデータよりもより長い時間遡って得られた時系列の画像データを取得し、評価モデル102Cに入力する。これらの期間は、
図7を参照して説明した期間と同一であってもよい。
これにより、運転操作に対応するセンサデータと、当該運転操作に影響を与える周辺交通の挙動を捉えた画像データの双方に基づいて、運転評価を生成することができる。
【0080】
さらに、第二の実施形態では、評価部1012が運転評価の補正を行った場合に、当該補正の内容に基づいて評価モデル102Cの再学習を行う。すなわち、所定の挙動パターンが周辺交通から検出され、運転評価の補正が行われた場合、同様のシーンが今後発生した際に評価が低くならないよう、評価モデル102Cのアルゴリズムを再構築する。これにより、より妥当な運転評価を下すことができる評価モデルを得ることが可能になる。
【0081】
図12は、第二の実施形態において制御部101が有する各モジュールが実行する処理のフローチャートである。第一の実施形態と同様の処理については点線で記載し、説明は省略する。
第二の実施形態では、ステップS16において運転評価を補正した後で、評価部1012が、ステップS16Bの処理を実行する。ステップS16Bは、評価部1012が、評価モデル102Cを更新するステップである。具体的には、運転評価の前提となった入力データ(センサデータと画像データの組み合わせ)に対して、減点を行わないよう、アルゴリズムの再学習を行う。
【0082】
第二の実施形態によると、不可抗力によって運転操作が発生したシーンそのものを学習できるため、より精度の高い評価モデルを得ることが可能になる。
【0083】
(変形例)
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【0084】
また、実施形態の説明では、第二のデータとして、画像データを例示したが、第二のデータは画像データに限られない。例えば、距離センサが取得した距離マップであってもよいし、その他のセンサが取得したセンサデータであってもよい。
また、実施形態の説明では、第二のデータとして、周辺交通の挙動を示すデータを例示したが、第二のデータは、車両10の周辺状況を表すものであれば、周辺交通の挙動を示すものに限られない。例えば、運転環境が急激に悪化したことを判定可能なデータであってもよいし、落下物や落石などの障害物の接近を示すデータであってもよい。
【0085】
また、実施形態の説明では、第二のデータである画像データを車載カメラによって取得したが、画像データは、車両10以外によって撮像されたものであってもよい。例えば、車両10の近傍に位置する他の車両によって撮像されてもよいし、路側装置によって撮像されてもよい。
また、実施形態の説明では、挙動データベース102Bに特徴量を記憶させたが、デー
タベースに、複数の挙動パターンにそれぞれ対応する複数の画像データを記憶させ、画像データ同士の類似度を都度求めることで、挙動パターンを特定してもよい。
【0086】
また、1つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、1つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成(サーバ構成)によって実現するかは柔軟に変更可能である。
【0087】
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する1つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクドライブ(HDD)等)、光ディスク(CD-ROM、DVDディスク・ブルーレイディスク等)など任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
【符号の説明】
【0088】
100・・・センタサーバ
101,201・・・制御部
102,202・・・記憶部
103,203・・・通信部
200・・・車載端末
204・・・入出力部
205・・・モーションセンサ
206・・・カメラ