特開 2023-163683 車両制御システム及び車両データ収集方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023163683

(43)【公開日】2023-11-10

(54)【発明の名称】車両制御システム及び車両データ収集方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20231102BHJP

   A61B 5/0245 20060101ALI20231102BHJP

   G16Y 20/40 20200101ALI20231102BHJP

   G16Y 40/30 20200101ALI20231102BHJP

   G16Y 10/40 20200101ALI20231102BHJP

【ＦＩ】

G08G1/00 D

A61B5/0245 C

G16Y20/40

G16Y40/30

G16Y10/40

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022074745

(22)【出願日】2022-04-28

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】笠原 のぞみ

(72)【発明者】

【氏名】植松 裕

(72)【発明者】

【氏名】上薗 巧

(72)【発明者】

【氏名】鳥羽 忠信

(72)【発明者】

【氏名】新保 健一

【テーマコード（参考）】

4C017

5H181

【Ｆターム（参考）】

4C017AA02

4C017AA08

4C017AB04

4C017AB06

4C017BC23

4C017DD14

4C017DD17

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC04

5H181CC12

5H181CC14

5H181CC27

5H181FF04

5H181FF10

5H181FF13

5H181FF27

5H181FF32

5H181LL09

5H181MC19

5H181MC27

(57)【要約】

【課題】自動運転車の認知を担うＡＩのトレーニングに有効なデータの効率的な収集を可能にする。
【解決手段】車両制御システムを、車両に装着したセンサから取得したデータを用いて車両を制御する制御信号を作成する車両制御判定部と、車両に乗車している乗車者の生体変化又は車両の制御信号の少なくとも何れか一方から乗車者が感じるヒヤリハットを検出し、ヒヤリハット検出信号を出力するヒヤリハット検出部と、センサから取得したデータと車両制御判定部で作成した制御信号とヒヤリハット検出部で検出したヒヤリハット検出信号とからこのヒヤリハットを検出したタイミングにおける制御信号とヒヤリハット検出信号とのミスマッチを検出する判定ミスマッチ検出部と、この判定ミスマッチ検出部でミスマッチを検出したタイミングに対応する車両に装着したセンサから取得したデータと車両制御判定部で作成した制御信号とを記憶するデータ保存部とを備えて構成した。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に装着したセンサから取得したデータを用いて前記車両を制御する制御信号を作成する車両制御判定部と、
前記車両を運転しているときの前記車両に乗車している乗車者の生体変化、または前記車両の制御信号の少なくとも何れか一方から前記乗車者が感じるヒヤリハットを検出し、ヒヤリハット検出信号を出力するヒヤリハット検出部と、
前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号と前記ヒヤリハット検出部で検出した前記ヒヤリハット検出信号とから前記ヒヤリハットを検出したタイミングにおける前記制御信号と前記ヒヤリハットとのミスマッチを検出する判定ミスマッチ検出部と、
前記判定ミスマッチ検出部で前記ミスマッチを検出した前記タイミングに対応する前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを記憶するデータ保存部と
を備えることを特徴とする車両制御システム。

【請求項2】

請求項1記載の車両制御システムであって、
遅延時間設定部を更に備え、
前記判定ミスマッチ検出部は、前記ヒヤリハット検出部で前記ヒヤリハットを検出したときに、前記遅延時間設定部で設定された時間遡った時刻の前後を含む時間において前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを用いて前記制御信号と前記ヒヤリハットを検出した前記タイミングとの前記ミスマッチを検出することを特徴とする車両制御システム。

【請求項3】

請求項1又は２に記載の車両制御システムであって、
前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを記憶するバッファ部と、前記バッファ部に記憶した前記データと前記制御信号のうち前記判定ミスマッチ検出部で前記ミスマッチを検出した前記タイミングに対応する前記データと前記制御信号を前記バッファ部から取得する情報取得部とを更に備え、前記情報取得部で取得した、前記ミスマッチを検出した前記タイミングに対応する前記データと前記制御信号を前記データ保存部に記憶することを特徴とする車両制御システム。

【請求項4】

請求項1又は２に記載の車両制御システムであって、
前記データ保存部に保存した前記ミスマッチに関する情報を外部へ送信する送信部を更に備えることを特徴とする車両制御システム。

【請求項5】

請求項1又は２に記載の車両制御システムであって、
前記車両制御判定部は、外部で作成された学習データを受信して、前記受信した前記学習データを用いて前記制御信号を作成することを特徴とする車両制御システム。

【請求項6】

請求項1又は２に記載の車両制御システムであって、
前記ヒヤリハット検出部と前記判定ミスマッチ検出部と前記データ保存部とは、前記車両に対して後付けデバイスで構成されていることを特徴とする車両制御システム。

【請求項7】

車両制御判定部と、ヒヤリハット検出部と、ミスマッチ検出部と、データ保存部とを備えた車両制御システムにおいて車両データを収集する方法であって、
車両に装着したセンサから取得したデータを用いて前記車両制御判定部で前記車両を制御する制御信号を作成し、
前記車両を運転しているときの前記車両に乗車している乗車者の生体変化又は前記車両の制御信号の少なくとも何れか一方から前記ヒヤリハット検出部で前記乗車者が感じるヒヤリハットを検出し、
前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号と前記ヒヤリハット検出部で検出した前記ヒヤリハットとから前記ミスマッチ検出部で前記ヒヤリハットを検出したタイミングにおける前記制御信号と前記ヒヤリハットとのミスマッチを検出し、
前記ミスマッチ検出部で前記ミスマッチを検出した前記タイミングに対応する前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを前記データ保存部に記憶する
ことを特徴とする車両データ収集方法。

【請求項8】

請求項７記載の車両データ収集方法であって、
前記車両制御システムは遅延時間設定部を更に備え、
前記ミスマッチ検出部で前記ヒヤリハット検出部で前記ヒヤリハットを検出したときに、前記遅延時間設定部で設定された時間遡った時刻における前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを用いて前記制御信号と前記ヒヤリハットを検出した前記タイミングとの前記ミスマッチを検出することを特徴とする車両データ収集方法。

【請求項9】

請求項７又は８に記載の車両データ収集方法であって、
前記車両制御システムはバッファ部と情報取得部とを更に備え、
前記バッファ部で前記車両に装着した前記センサから取得した前記データと前記車両制御判定部で作成した前記制御信号とを記憶し、前記情報取得部で前記バッファ部に記憶した前記データと前記制御信号のうち前記ミスマッチ検出部で検出した前記ミスマッチに対応する前記データと前記制御信号を前記バッファ部から取得し、前記情報取得部で取得した前記ミスマッチを検出した前記タイミングに対応する前記データと前記制御信号とを前記データ保存部に記憶することを特徴とする車両データ収集方法。

【請求項10】

請求項７又は８に記載の車両データ収集方法であって、
前記車両制御システムは送信部を更に備え、
前記データ保存部に保存した前記ミスマッチに関する情報を前記送信部から外部へ送信することを特徴とする車両データ収集方法。

【請求項11】

請求項７又は８に記載の車両データ収集方法であって、
前記車両制御判定部は外部で作成された学習データを受信し、前記受信した前記学習データを用いて前記制御信号を作成することを特徴とする車両データ収集方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両制御システム及び車両データ収集方法に関する。

【背景技術】

【0002】

近年、自動運転車の事故を未然に防ぐため、車両から走行データを収集し、自動運転ＡＩ（Artificial Intelligence）のトレーニングデータとして活用する取り組みが行われている。トレーニングされたＡＩをＯＴＡ(Over The Air)で配信することで、車両制御システムを常に最新の状態にアップデートすることが可能となる。

【0003】

走行データの収集方式として、特許文献１には、「記録装置において取得部と、設定部と、選別部とを備える。取得部は、車両の運転者の生体情報を取得する。設定部は、前記取得部によって取得された前記生体情報に基づき、前記車両の走行情報の重要度を設定する。選別部は、前記設定部によって設定された前記重要度に基づいて記憶部に残す前記走行情報を選別する。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１９５１９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

自動運転ＡＩのトレーニングデータとして車両から取得すべき情報は、人間とＡＩで走行状況の認知・判断にずれがある場合の走行情報である。人間とＡＩでずれがない場合は、既にＡＩが人間と同様の認知、判断ができており、必ずしも新たにトレーニングする必要はない。

【0006】

しかしながら、特許文献1の手法では、運転者が危険を感じた場合に、走行情報を記録するため、人間とＡＩに認知・判断ずれがあったかどうかを判断できなかった。その結果、収集する情報にトレーニングデータとして不要な情報を含む可能性があった。また、人間とＡＩの認知・判断ずれは自動運転レベルが上がるにつれ、少なくなることが見込まれるため、特に高度自動運転環境において特許文献1の手法で走行情報を取得した場合、トレーニング不要な情報の比率は高くなる可能性があった。

【0007】

本発明は、上記した従来技術の課題を解決して、自動運転車の認知を担うＡＩのトレーニングに有効なデータを効率的に収集することを可能にする車両制御システム及び車両データ収集方法を提供するものである。

【課題を解決するための手段】

【0008】

上記した課題を解決するために、本発明では、車両制御システムを、車両に装着したセンサから取得したデータを用いて車両を制御する制御信号を作成する車両制御判定部と、車両を運転しているときの車両に乗車している乗車者の生体変化、または車両の制御信号から乗車者が感じるヒヤリハットを検出し、ヒヤリハット検出信号を出力するヒヤリハット検出部と、車両に装着したセンサから取得したデータと車両制御判定部で作成した制御信号とヒヤリハット検出部で検出したヒヤリハット検出信号とからこのヒヤリハットを検出したタイミングにおける車両制御判定部で作成した制御信号とヒヤリハット検出信号とのミスマッチを検出する判定ミスマッチ検出部と、この判定ミスマッチ検出部でミスマッチを検出したタイミングに対応する車両に装着したセンサから取得したデータと車両制御判定部で作成した制御信号とを記憶するデータ保存部とを備えて構成した。

【0009】

また、上記した課題を解決するために、本発明では、車両制御判定部と、ヒヤリハット検出部と、判定ミスマッチ検出部と、データ保存部とを備えた車両制御システムにおいて車両データを収集する車両データ収集方法を、車両に装着したセンサから取得したデータを用いて車両制御判定部で車両を制御する制御信号を作成し、車両を運転しているときの車両に乗車している乗車者の生体変化または車両の制御信号からヒヤリハット検出部で乗車者が感じるヒヤリハットを検出し、車両に装着したセンサから取得したデータと車両制御判定部で作成した前記制御信号とヒヤリハット検出部で検出したヒヤリハット検出信号とから判定ミスマッチ検出部でヒヤリハットを検出したタイミングにおける制御信号とヒヤリハット検出信号とのミスマッチを検出し、ミスマッチ検出部でミスマッチを検出したタイミングに対応する車両に装着したセンサから取得したデータと制御部で作成した制御信号とをデータ保存部に記憶するようにした。

【発明の効果】

【0010】

本発明により、自動運転車の認知を担うＡＩのトレーニングに有効なデータを効率的に収集可能とする。さらに、収集したデータを活用してＡＩの機能を向上させることで車両制御システムの安全性を向上させる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例1に係る車両制御システムの概略の構成を示すブロック図である。

【図2】本発明に実施例1に係る，生体変化検出部の構成を示すブロック図である。

【図3】本発明の実施例1に係る車両制御システムにおける処理の流れを示すフロー図である。

【図4】本発明の実施例1の変形例に係る車両制御システムの概略の構成を示すブロック図である。

【図5】本発明の実施例1の変形例に係る車両制御システムにおけるデータ出力部の表示画面の正面図である。

【図6】本発明の実施例２に係る車両制御システムからクラウドにデータを送信して処理する場合の概略の構成を示すブロック図である。

【図7】本発明の実施例２に係る車両制御システムから発信される走行データを管理して学習データを作成し更新データを送信する場合のデータの流れを示すブロック図である。

【図8】本発明の実施例２に係る車両制御システムからの情報を受けるクラウドの内部構成を示すブロック図である。

【図9】本発明の実施例２に係る車両制御システムからの情報を受けたクラウドにおける処理の流れを示すフロー図である。

【図10】本発明の実施例２に係る車両制御システムにおける処理の流れを示すフロー図である。

【図11】本発明の実施例２に係る学習データ生成部で作成される学習用データの一例を示す表である。

【図12】本発明の実施例２における車両制御システムを後付けデバイスで実現する場合の構成を示すブロック図である。

【図13】本発明の実施例３における車両制御システムの概略の構成を示すブロック図である。

【図14】本発明の実施例３において生体変化検出部をバスで実現する場合の構成を示すブロック図である。

【図15】本発明の実施例４における車両制御システムの概略の構成を示すブロック図である。

【図16】本発明の実施例５における車両制御システムの概略の構成を示すブロック図である。

【図17】本発明の実施例６における車両制御システムを隊列で走行するトラックに適用した例を示すブロック図である。

【発明を実施するための形態】

【0012】

本発明は生体情報の変化または車両制御の変化からヒヤリハット(車両に乗車している乗車者が危険を感じたこと)を検出し、ヒヤリハット要因発生のタイミングで車両制御システムがヒヤリハットに対応する車両制御信号を検出できていない場合を乗車者と車両制御システムの判定ミスマッチと判定し、判定ミスマッチが発生した場合に車両制御信号と走行データを記録するとともに、学習データを作成して車両制御システムの精度を向上させるようにしたものである。

【0013】

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

【実施例0014】

本実施例では、本発明の判定ミスマッチの検出タイミングで走行データを保存する車両制御システムについて説明する。図１は本実施形態の構成図であり、図２は本実施形態を乗用車で実現する場合の生体変化検出部の構成例、図３は本実施例におけるデータ保存の処理フロー図である。

【0015】

まず図１について説明する。本実施例に係る車両制御システム1は、センサ群２と、車両制御判定部３，バッファ部５，車両制御検出部６，生体変化検出部７，ヒヤリハット検出部８，判定ミスマッチ検出部９，遅延時間設定部１０，情報取得部１１，データ保存部１２を備えている。

【0016】

センサ群２は車両制御に必要な情報を収集するためのセンサであり、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System)やLiDAR(Light Detection And Ranging)、 レーダー、カメラなどを含む。各センサのセンシング結果（カメラのRAW(生)データを含む）は車両制御判定部３、およびバッファ部５の入力データとなる。

【0017】

車両制御判定部３は、センサ群２からの入力データを基に、車両の状況を判断して車両の制御量を演算により決定し、車両駆動部４およびバッファ部５に制御データ（車両制御値）を送信する。制御データとは、ブレーキやアクセルの踏み込む量などに加え、物体の認知結果、物体との距離など車両制御の判定に利用した情報、車両に緊急回避などの対応（運転者への注意喚起や警告、緊急ブレーキ等）が必要か否かという判断の結果などを含む。ここで、車両制御判定部３は、学習済みのＡＩ（人工知能）を備えて構成されている。

【0018】

車両駆動部４はブレーキ、アクセル、ステアリングなどで構成され、車両制御判定部３から出力された制御データに基づいて車両を駆動する。

【0019】

バッファ部５はセンサ群２および車両制御判定部３からの情報を一時的に保存する。記録の際、データは時間に紐づけられ、車両制御判定部３が参照したセンサ群２の情報（入力）と、その結果車両制御判定部３により導出された制御データ(出力）を合わせて走行データとして記録する。

【0020】

車両制御検出部６は、車両が通常とは大きく異なって制御されたことを検出し、この検出した信号を車両制御検出信号として出力する。例えば、ブレーキやアクセル、ステアリング等の操作を対象に、時系列分析を利用することで通常とは異なる動作であったこと（急ブレーキ、 急ハンドルなど）が検出可能である。

【0021】

生体変化検出部７は車両の乗車者の生体情報を取得し、この取得した生体情報が通常の生体情報とは大きく異なって変化した場合にこの変化を検出し、生体変化検出信号として出力する。乗車者には、車両の運転者、助手席や後部座席の人、もしくはバスなどの場合は乗客などが含まれる。例えば生体情報には、心拍や血圧、表情等が含まれ、時系列分析を利用することで通常とは異なる動作であったことが検出可能である。表情の場合、人間の表情をあらかじめ学習させ、カメラを設置して乗車者の表情を取得、分析することで検出が可能である。

【0022】

ヒヤリハット検出部８は、車両制御検出部６からの車両制御検出信号、または/かつ生体変化検出部７からの生体変化検出信号を検出した場合に、乗車者が危険を検出した、つまりヒヤリハットがあったと判断し、ヒヤリハット検出信号を出力する。なお、ヒヤリハット検出部８は、車両制御検出信号または生体変化検出信号の一方に基づいて、広い範囲のヒヤリハットを検出し、ヒヤリハット検出信号を出力してもよい。

【0023】

判定ミスマッチ検出部９は、ヒヤリハット検出部８からのヒヤリハット検出信号を検出した場合、バッファ部５に記憶された制御データから、ヒヤリハット検出信号を検出したタイミングに対して遅延時間設定部１０に設定された時間分遡った時刻とその前後の時間(例えば数秒間)における制御データ(ヒヤリハット要因発生時の判定結果)を参照する。

【0024】

判定ミスマッチ検出部９においてヒヤリハットを検出したタイミングからバッファ部５に記憶された所定の時間遡った時刻とその前後における制御データを参照した結果、車両制御判定部３が危険を検知できていなかった場合(車両制御判定部３から運転者への注意喚起や警告信号の出力や、車両駆動部４への緊急ブレーキ等の制御データの出力等の対応をしていなかった場合)、人間と車両制御システムの判定ミスマッチと判断し、情報取得部１１にデータ取得トリガ信号とバッファ部５内で参照したデータの紐づけ時刻（参照データ時刻）の情報を出力する。

【0025】

情報取得部１１は、判定ミスマッチ検出部９からのデータ取得トリガ信号を受けて、バッファ部５に記憶されたデータの中から参照データ時刻に対応する制御データと入力データをデータ保存部１２に保存する。このデータ保存部１２に保存するデータは、参照データ時刻のみに対応するデータでもよいし、参照データ時刻から所定の範囲の時間幅に対応するデータでもよい。

【0026】

本実施例の各構成要素の機能は、車両のセントラルゲートウェイに組みこんで実現してもよいし、ＥＣＵ（Electronic Control Unit）に組み込んで実現してもよい。また、本実施例の各構成要素の機能は後付けするデバイスによって実現してもよい。

【0027】

次に図２を用いて本実施例を乗用車で実現する場合について説明する。車両１３には乗車者１３０が乗車する。乗車者１３０の生体情報は、スマートフォン７－１１やスマートウォッチ７－１２、カメラ７－１３、心拍測定機能付きの座席７－１４などによって実現される生体変化検出部７から取得される。取得した情報は無線通信、もしくは有線通信などの手段によりヒヤリハット検出部８に送信される。ヒヤリハット検出部８でヒヤリハット検出信号が検出された場合の動作については図１で説明した通りである。

【0028】

本実施例に係る車両制御システム1におけるデータ処理の流れを、図３を用いて説明する。

【0029】

まず、車両１３を運転中にセンサ群２で検出した各センサからのデータを取得し（Ｓ３０１）、この取得したデータを車両制御判定部３に入力して車両の状況を判断して車両の制御データを作成する（Ｓ３０２）と共に、バッファ部５に記憶する。

【0030】

車両制御判定部３では、Ｓ３０２において、入力した各センサからのデータを学習済みのＡＩ（人工知能）を用いて処理することにより車両の状況を判断して、車両の制御データを作成する。車両制御判定部３において作成した制御データは、車両駆動部４に送られて車両を制御する（Ｓ３０３）と共に、バッファ部５に記憶される（Ｓ３０４）。

【0031】

一方、車両１３を運転中に車両が通常とは大きく異なって制御されたことを車両制御検出部６で検出した場合に、車両制御検出部６から出力された信号をヒヤリハット検出部８で車両制御検出信号として受信し（Ｓ３０５）、生体変化検出部７で検出される車両１３の乗車者１３０の生体情報が通常の生体情報とは大きく異なって変化した場合に、生体変化検出部７から出力された信号をヒヤリハット検出部８で生体変化検出信号として受信し（Ｓ３０６）、ヒヤリハット検出部８で受信した車両制御検出信号と生体変化検出信号とからヒヤリハットがあったと判断し、ヒヤリハット検出信号を出力する（Ｓ３０７）。また、Ｓ３０７において、Ｓ３０５、Ｓ３０６のいずれか一方を検出した場合にヒヤリハット検出としてもよい。

【0032】

次に、判定ミスマッチ検出部９において、ヒヤリハット検出部８から出力されたヒヤリハット検出信号を受けて、Ｓ３０４でバッファ部５に記憶された信号の中から、ヒヤリハット検出信号を受信した時刻よりも遅延時間設定部１０に記憶された所定遅延時間だけ遡った時刻とその前後におけるセンサ群２からのセンサデータと車両制御判定部３からの制御データとを抽出する。この抽出したセンサデータと制御データにおいて、車両制御判定部３が危険を検知できていなかった場合(車両制御判定部３から運転者への注意喚起や警告信号の出力や、車両駆動部４への緊急ブレーキ等の制御データの出力等の対応をしていなかった場合)、人間と車両制御システムの判定ミスマッチとして検出し(S３０８)、情報取得部１１でこの検出した判定ミスマッチ検出時の走行データを収集する（Ｓ３０９）。次に、この収集した判定ミスマッチ検出時の走行データをデータ保存部１２に保存する（Ｓ３１０）。

【0033】

本実施例によれば、人間と車両制御システムの判定ミスマッチがあった場合のみ走行データを取得することにより、自動運転車の認知を担うＡＩのトレーニングに有効なデータを効率的に収集可能とする。

【0034】

［変形例］
実施例1の変形例に係る車両制御システム1－１の構成を図４に示す。実施例1に係る車両制御システム1と同じ構成部分については、同じ部品番号を付してある。

【0035】

本変形例に係る車両制御システム1－1は、図４に示すように、情報取得部１１とデータ保存部１２との間にデータ出力部１４を設けて、情報取得部１１で取得した情報をデータ出力部１４に出力してデータ保存部１２に保存するデータを選択できるようにした点が実施例1と異なる。

【0036】

すなわち、本変形例においては、図５に示すような、情報取得部１１で取得した情報を画面上に表示する表示部１４１と、表示されたデータの保存を選択する保存ボタン１４２と消去を選択する消去ボタン１４３を備えたデータ出力部１４を追加した点が実施例1と異なる。

【0037】

本変形例によれば、実施例1で述べた効果に加えて、情報取得部１１で取得した情報をデータ出力部１４に表示させてデータ保存部１２に保存するデータを選択することにより、ヒヤリハット以外の要因でヒヤリハット信号が検出された場合のデータを削除することができる。すなわち、データ保存部１２に保存するデータの量を削減し、保存する情報の精度（保存されるデータがヒヤリハット発生時のデータである確率）も向上させることができる。

【実施例0038】

本発明に係る第２の実施例では、実施例１で説明した車両制御システム１を活用した車両データ収集および収集データの活用方法について説明する。図６は本実施例の構成を示すブロック図であり、図７は本実施例のデータの流れを示すブロック図、図８は本実施例におけるクラウドの内部構成を示すブロック図、図９は本実施例におけるクラウドにおける処理の流れを示すフロー図、図１０は車両制御システムにおける処理の流れを示すフロー図を示す。

【0039】

まず、図６を用いて本実施例に係る車両制御システム１を活用した車両データ収集システム全体の構成について説明する。

【0040】

車両１３には、実施例１で説明した構成と機能を有する車両制御システム１が搭載されており、乗車者１３０（図２参照）が乗車する。図６においては簡略化して示しているが、車両制御システム１の構成とその動作は実施例１で説明したとおりである。

【0041】

送信部１５は、車両制御システム１のデータ保存部１２に保存されている判定ミスマッチ検出時の走行データを情報収集部１６（クラウドサーバーなど）に送信する。

【0042】

情報収集部１６は、送信部１５から送信されるデータ保存部１２に保存された判定ミスマッチ検出時の走行データ、および判定ミスマッチ検出タイミングでの周辺情報１７を収集、整理する。周辺情報１７を収集する目的は、人間（ヒヤリハット検出信号）とＡＩ（制御データ）の判定ミスマッチの発生要因が、走行データ以外に存在する可能性があるためである。判定ミスマッチ検出部９で人間とＡＩの判定ミスマッチがあったと判定した場合でも、実際には判定ミスマッチではない可能性もあるため、情報収集部１６ではデータ保存部１２から受信したデータから、人間とＡＩの判定ミスマッチではなかったデータを取り除く処理を行う。この処理の詳細については図９を用いて後述する。

【0043】

前記処理により、人間とＡＩの判定ミスマッチが確認されたデータは、学習データ生成部１８に送信する。車両制御システム１のデータ保存部１２には、乗車者１３０と車両制御システム１の判定ミスマッチ時の時刻情報や車両位置情報が含まれるため、当該時刻、位置での周辺情報１７をインターネット等を利用して入手、保存することが可能である。周辺情報１７には、天気や気温、交通状況などが含まれる。

【0044】

学習データ生成部１８は、不具合データベース（不具合ＤＢ）１９を備え、情報収集部１６で収集、整理された情報のうち実際に不具合があったものを格納する。不具合データベース１９は、他の車両２１からも同様に情報を収集しており、不具合情報を統合することが可能である。不具合データベース１９の情報を利用し、学習データ生成部１８は車両制御判定部３に格納されているＡＩをトレーニングするための学習用データ２０を作成する。作成された学習用データ２０は、システム設計部門２２へ提供される。

【0045】

システム設計部門２２は、学習データ生成部１８から受領した学習用データ２０を活用し、車両制御システム１の車両制御判定部３に格納されているＡＩをトレーニングし、更新データを作成する。作成された更新データは、ＯＴＡ等を活用して各車両に配信されて車両制御判定部３に格納される。

【0046】

本実施例によれば、車両制御システム１で収集した人間とＡＩの判定ミスマッチに関するデータを活用してＡＩをトレーニングし、更新データを配信して車両制御判定部３に格納されているＡＩを更新することで、車両制御システム１の安全性と信頼性を向上させることができる。

【0047】

なお、図6に示した構成では、送信部１５は、車両制御システム１の外部に配置された構成となっているが、送信部１５を車両制御システム１の内部に組み込んで車両制御システム１を構成する１つのユニットとしてもよい。

【0048】

次に図７を用いて本発明を活用したサービスの概要について説明する。ここでは、サービスのプレイヤーとして個人車両購入者２３、車両提供サービス業者２４、車両提供サービス業者２４の車両提供サービスを受ける、車両利用者２５、車両運用事業者２６、データ管理部門２７、システム設計部門２８（図６のシステム設計部門２２に相当）が登場する。図７では、各プレイヤーの提供する情報を矢印で記載し、本サービスにより各プレイヤーが享受する価値を記載している。

【0049】

まず、情報の流れから説明する。個人車両購入者２３および車両運用事業者２６は、データ管理部門２７に対して走行データを提供する。車両提供サービス業者２４は、車両利用者２５が利用した車両から走行データを入手し、データ管理部門２７に提供する。データ管理部門２７は、各プレイヤーから提供された走行データを集約、分析、加工し、学習用データ２０を作成する。作成した学習用データ２０はシステム設計部門２８に提供される。システム設計部門２８は、提供された学習用データ２０を利用し、各車両に搭載される車両制御システム１の更新データを作成する。作成した更新データは、ＯＴＡなどの手段を用いて個人車両購入者２３、車両提供サービス業者２４、車両運用事業者２６に提供される。

【0050】

次に、サービスによって各プレイヤーが享受する価値について説明する。システム設計部門２８から更新データを受け取ることにより、個人車両購入者２３は、所有する車両の安全性向上の価値を享受することができる。また、車両提供サービス業者２４および車両運用事業者２６は、車両の安全性向上に加え、車両で発生する不具合事象の減少により所有する車両の稼働率向上という価値も享受することができる。車両利用者２５は車両の安全性向上に加え、車両で発生する不具合事象が減少し、品質の向上した車両提供サービスを受けることができる。システム設計部門２８は学習用データ２０を活用して製品を改良することによって、市場競争力を向上させることができる。また更新データの提供により、安全な車両の提供が可能となり、顧客からの信頼性も向上させることができる。

【0051】

次に、情報収集を行う情報収集部１６の構成について、図８を用いて説明する。情報収集部１６は、図６で説明した送信部１５から送信された情報を受信する受信部１６１，走行データ取得部１６２，ミスマッチチェック部１６３，ミスマッチ検出除外条件記憶部１６４，ミスマッチ特徴量抽出部１６５，周辺環境情報取得部１６６，保存頻度指定部１６７，送信部１６８を備え、それらの間がデータ線１６９で繋がれている。

【0052】

このような構成を有するクラウド側でのデータ整理フローについて、図９を用いて説明する。
まず、送信部１５から送信された、車両制御システム１のデータ保存部１２に保存されている、判定ミスマッチ検出部９がミスマッチを検出した際の走行データを受信部１６１で受信して走行データ取得部１６２に格納する（Ｓ９０１）。

【0053】

次に、走行データ取得部１６２に格納した走行データに対して、ミスマッチチェック部１６３において、人間とＡＩの判定ミスマッチが実際にあったか否かをチェックす（Ｓ９０２）。

【0054】

このミスマッチチェック部１６３では、ミスマッチ検出除外条件記憶部１６４に予め設定されているミスマッチ検出除外条件、もしくは学習データ生成部１８の不具合データベース１９に集約された情報からミスマッチ特徴量抽出部１６５で人間とＡＩのミスマッチ検出時に共通する特徴量を抽出する、などの手法を用いて自動的に行う。

【0055】

ミスマッチ検出除外条件記憶部１６４に予め設定されているミスマッチ検出除外条件の例としては、カメラのRAWデータや、認知結果にヒヤリハット要因となりやすい車両や人間、動物などのオブジェクトが何も映っていない場合に、ヒヤリハットはなかったものとする、などがある。

【0056】

ミスマッチ特徴量抽出部１６５で抽出する特徴量の例として、ミスマッチ時の時刻や、認識しているオブジェクト、天候などがある。

【0057】

Ｓ９０２でミスマッチ有と判定した場合（Ｓ９０２でYESの場合）は、人間とＡＩの判定ミスマッチ検出時刻に対応する天気や気温、交通状況などの周辺環境情報を収集する（Ｓ９０３）。

【0058】

次に、Ｓ９０２でミスマッチ有と判定した情報を不具合データベース１９格納する前に、人間によってミスマッチ有無の最終確認を行い（Ｓ９０４）、ミスマッチが有ると判定した場合（Ｓ９０４でYESの場合）には、そのデータを不具合データベース１９に格納して（Ｓ９０５）終了する。このＳ９０４ステップは、Ｓ９０２におけるミスマッチチェック部１６３の精度が高い場合などには省略して、Ｓ９０３から直接Ｓ９０５に進んでもよい。

【0059】

学習データ生成部１８においては、不具合データベース１９に格納されたミスマッチに関するデータに基づいて、学習用データ２０が作成される。

【0060】

学習用データ２０の一例として、図１１に示す表形式で表した学習用データ１１００の例を示す。学習用データ１１００には、車種１１０１にはヒヤリハットを検出した車両の種類に関する情報，ミスマッチ発生日時１１０２にはヒヤリハットデータのミスマッチが発生した日時の情報，車両制御情報１１０３にはヒヤリハット検出部８で検出したヒヤリハットの認知結果、車両制御判定部３から出力された車両制御値、図示していないＥＣＵなどから得られる車両状況判断結果など，周辺情報１１０４には天気や気温、交通状況などのインターネットを介して得られる周辺の情報，ミスマッチチェック部１６３で判定したミスマッチの有無に関する情報１１０５が互いに関連付けられて記憶されている。

【0061】

ここで、Ｓ９０１で車両から受信する走行データには、位置情報や時刻情報などのデータ量の小さいものと、カメラのRAWデータなどのデータ量の大きいものが混在しており、データの受信頻度次第では、車両１３と情報収集部１６との間での通信を圧迫する恐れがある。そのため、通常はデータ量の小さいものだけを受信し、Ｓ９０２やＳ９０４で本当のミスマッチである可能性が高まった場合には、より詳細な情報取得のため、残りのデータ量の大きいものを追加で車両側に要求するようにしてもよい。

【0062】

Ｓ９０２でミスマッチが無いと判定した場合（Ｓ９０２でNOの場合）は、追加データの要否を判断し（Ｓ９０６）、追加データが必要と判断した場合（Ｓ９０６でYESの場合）、データ保存部１２に保存されているデータの中から追加データを取得し（Ｓ９０７）、再度Ｓ９０２に進んでミスマッチ有無の判定を行う。

【0063】

一方、追加データは必要なしと判断した場合（Ｓ９０６でNOの場合）、Ｓ９０１で取得したデータを消去して（Ｓ９１０）終了する。

【0064】

また、Ｓ９０４においてミスマッチが無いと判定した場合（Ｓ９０４でNOの場合）には、追加データの要否を判断し（Ｓ９０８）、追加データが必要と判断した場合（Ｓ９０８でYESの場合）、データ保存部１２に保存されているデータの中から追加データを取得し（Ｓ９０９）、再度Ｓ９０４に進んでミスマッチ有無の判定を行う。

【0065】

一方、追加データは必要なしと判断した場合（Ｓ９０８でNOの場合）、Ｓ９０１で取得したデータを消去して（Ｓ９１０）終了する。

【0066】

次に、図１０を用いて本実施例における車両制御システム１の側でのデータ処理フローについて説明する。Ｓ１００１からＳ１００９までの処理は、実施例1で図３を用いて説明した処理フローのＳ３０１～Ｓ３０９までの処理と同じであるので、説明を省略する。

【0067】

図１０のＳ１００９において収集された情報について、データ保存部１２に保存する頻度が予め設定された頻度に達しているかを判定し（Ｓ１０１０）、まだ設定された頻度に達していない（Ｓ１０１０でNO）と判定された場合には、Ｓ１００９において収集された情報をデータ保存部１２に保存し（Ｓ１０１１）、この保存したデータを情報収集部１６に送信する（Ｓ１０１２）。

【0068】

また、図６に示したシステム設計部門２２に更新データが有る場合には、車両制御判定部３で更新データを受信し（Ｓ１０１４）、この更新データを用いてＳ１００２において車両制御判定を行う。このように更新データを取得して車両制御判定を行うことにより、ヒヤリハットの判定の精度を高く維持して、判定の信頼性を高く維持することができる。

【0069】

Ｓ１０１２でデータをクラウドで構成される情報収集部１６に送信する際、バッファ部５に保存していた走行データに加え、車両の種類、走行距離、利用年数などの基本的な車両情報を一緒に送信してもよい。

【0070】

また、Ｓ１０１０での判定に用いる保存する頻度は、情報収集部１６の保存頻度指定部１６７に記憶された保存頻度のデータを用いるが、ミスマッチ発生状況に合わせたデータの保存回数として設定するようにしてもよい。例えば、情報収集部１６でのデータ処理の結果、当該車種でのミスマッチ検出が少ないことが判明した場合、保存頻度を低く設定する（１０回に１回保存する等）。また、保存頻度指定部１６７に記憶される保存頻度のデータは、ＯＴＡなどにより更新可能としてもよい。

【0071】

一方、Ｓ１０１０において設定された頻度に達している（YES）と判定された場合には、Ｓ１００９において収集された情報を廃棄(消去)して（Ｓ１０１３）、処理を終了する。

【0072】

次に図１２を用いて、本発明を車両１２０に後付けデバイスで実現する場合のハードウェア構成について説明する。本実施例に関連してヒヤリハットのミスマッチを検出するために車両１２０に装着されるハードウェアは、運転支援システム１２１０、テレマティクスデータ収集デバイス１２０１、ヒヤリハット検出デバイス１２０２，テレマティクスコントロールシステム１２０３で構成される。

【0073】

本構成で取得されたデータは無線などを通じてクラウドサーバー１２２０に送信される。このうち、テレマティクスデータ収集デバイス１２０１、およびヒヤリハット検出デバイス１２０２，及びテレマティクスコントロールシステム１２０３が後付けのデバイス１２００である。テレマティクスデータ収集デバイス１２０１は、車両に関する情報を収集可能なデバイスであり、ＣＡＮから直接情報が収集可能なものや、ＯＢＤポートから情報収集可能なものなどがあるが、いずれの方式のものを用いてもよい。

【0074】

ヒヤリハット検出デバイス１２０２は、スマートウォッチやスマートフォン等から生体情報を収集し、テレマティクスデータ収集デバイス１２０１との間でミスマッチが検出された場合のデータをテレマティクスコントロールシステム１２０３から無線等を用いてクラウドサーバー１２２０に送信する。このような構成とすることで、既存の車両からヒヤリハット検出時の情報を収集することが可能となる。

【0075】

本実施例によれば、個々の車両で検出された人間と車両制御との判断ミスマッチに関するデータをクラウドで収集して学習し、その学習したデータを個々の車両に送付して車両制御判定部に反映させることにより、車両制御判定部の信頼性を向上させることができ、人間と車両制御との判断ミスマッチをより少なくすることが可能になる。