(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】運転支援装置、運転支援方法、プログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20241022BHJP
G07C 5/00 20060101ALI20241022BHJP
【FI】
G08G1/00 D
G07C5/00 Z
(21)【出願番号】P 2020559311
(86)(22)【出願日】2019-12-12
(86)【国際出願番号】 JP2019048688
(87)【国際公開番号】W WO2020122175
(87)【国際公開日】2020-06-18
【審査請求日】2021-03-10
【審判番号】
【審判請求日】2023-08-22
(31)【優先権主張番号】P 2018232877
(32)【優先日】2018-12-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】尾形 一気
【合議体】
【審判長】山本 信平
【審判官】河端 賢
【審判官】青木 良憲
(56)【参考文献】
【文献】特開2010-61550(JP,A)
【文献】特開2009-128486(JP,A)
【文献】特開2001-167397(JP,A)
【文献】特開2008-62852(JP,A)
【文献】特開2018-49477(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G01C 21/00-21/36
G01C 23/00-25/00
(57)【特許請求の範囲】
【請求項1】
車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得する第一取得手段と、
前記車両の運転者の
生体情報を取得する第二取得手段と、
前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値に基づいて危険イベントの発生を判定する判定手段と、
前記車両側での前記危険イベントの検知結果を取得する第三取得手段と、を備え、
前記判定手段は、前記第一発生指標値が所定の閾値以上である場合に前記危険イベントが発生していると判定し、前記判定手段は、前記第一発生指標値が前記所定の閾値未満だったときに、前記運転者の前記
生体情報から算出される値である第二発生指標値が所定の閾値以上である場合に、前記危険イベントが発生したと判定
し、
前記判定手段は、前記検知結果、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報から算出される値である第二発生指標値に基づいて危険イベントの発生を判定する
運転支援装置。
【請求項2】
前記危険イベントの検知に用いられる前記第一発生指標値と、前記危険イベントの発生の判定に用いられる前記第二発生指標値は異なる、
請求項1に記載の運転支援装置。
【請求項3】
危険イベントが発生したと判定された場合に、前記第一発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたか、前記第二発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたのかの何れかを示す発生要因情報を記録する記録手段と、
を備える請求項1
または請求項2に記載の運転支援装置。
【請求項4】
前記運転者の識別情報と、前記発生要因情報とを少なくとも含むフィードバック情報を生成するフィードバック情報生成手段と、
を備える請求項
3に記載の運転支援装置。
【請求項5】
車両に備わる運転状況センシング装置より前記車両の運転状況のセンシングデータを取得し、
前記車両の運転者の
生体情報を取得し、
前記車両側での危険イベントの検知結果を取得し、
前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値に基づいて危険イベントの発生を判定し、前記第一発生指標値が所定の閾値以上である場合に前記危険イベントが発生していると判定し、前記第一発生指標値が前記所定の閾値未満だったときに、前記運転者の前記
生体情報から算出される値である第二発生指標値が所定の閾値以上である場合に、前記危険イベントが発生したと判定
し、
前記検知結果、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報から算出される値である第二発生指標値に基づいて危険イベントの発生を判定する
ことを特徴とする運転支援方法。
【請求項6】
運転支援装置のコンピュータに、
車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得し、
前記車両の運転者の
生体情報を取得し、
前記車両側での危険イベントの検知結果を取得し、
前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値
に基づいて危険イベントの発生を判定し、前記第一発生指標値が所定の閾値以上である場合に前記危険イベントが発生していると判定し、前記第一発生指標値が前記所定の閾値未満だったときに、前記運転者の前記
生体情報から算出される値である第二発生指標値が所定の閾値以上である場合に、前記危険イベントが発生したと判定
し、
前記検知結果、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報から算出される値である第二発生指標値に基づいて危険イベントの発生を判定する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援装置、運転支援方法、プログラムに関する。
【背景技術】
【0002】
車両などの移動体の加速度情報を取得し、急ハンドルや急ブレーキを検知した場合に危険イベント(事故に発展する可能性のある事象)が発生したと判定し、運転者にフィードバックすることで安全運転を支援する手法がある。
また、車両などの移動体を運転する運転者の危険状態を予測する技術が特許文献1に開示されている。
特許文献1には、運転者を示す被監視者の動作を監視し、危険状態に移行する兆候を示す兆候動作と一致する動作であって被監視者が行った動作を検出することについて記載されている。また、特許文献1には、その兆候動作が被監視者の認識力低下状態、眠気発生状態、酩酊状態、頭の動き、顔の表情の変化、視線の動きの変化などであることについて記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで移動体の運転時の危険イベントにはさまざまな種別があり、安全運転支援においては、該さまざまな種別の危険イベントの発生を検知することが望まれる。
【0005】
そこでこの発明は、上述の課題を解決する運転支援装置、運転支援方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
発明の第1の態様によれば、車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得する第一取得手段と、前記車両の運転者の生体変化に関する生体情報を取得する第二取得手段と、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二発生指標値に基づいて危険イベントの発生を判定する判定手段と、を備える。
【0007】
発明の第2の態様によれば、運転支援方法は、車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得し、前記車両の運転者の生体変化に関する生体情報を取得し、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二の発生指標値に基づいて危険イベントの発生を判定する。
【0008】
発明の第3の態様によれば、記憶媒体に記憶されたプログラムは、運転支援装置のコンピュータに、車両に備わる運転状況センシング装置から前記車両の運転状況のセンシングデータを取得し、前記車両の運転者の生体変化に関する生体情報を取得し、前記運転状況のセンシングデータに対応する値である危険イベントの第一発生指標値及び前記運転者の前記生体情報に対応する値である第二発生指標値に基づいて危険イベントの発生を判定する、処理を実行させる。
【発明の効果】
【0009】
本発明によれば、さまざまな種別の危険イベントの発生を検知することができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態による運転支援システムの概要を示す図である。
【
図2】本実施形態による運転支援装置のハードウェア構成図である。
【
図3】本実施形態による運転支援装置の機能ブロック図である。
【
図4】本実施形態によるドライブレコーダのハードウェア構成を示す図である。
【
図5】本実施形態によるドライブレコーダの制御装置の機能ブロック図である。
【
図6】本実施形態によるドライブレコーダの処理フローを示す第一の図である。
【
図7】本実施形態によるドライブレコーダの処理フローを示す第二の図である。
【
図8】本実施形態による運転支援装置の処理フローを示す図である。
【
図9】本実施形態による運転支援装置の最小構成を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態による運転支援装置を図面を参照して説明する。
図1は本実施形態による運転支援装置を含む運転支援システムの概要を示す図である。
図1で示すように運転支援システム100は、運転支援装置1とドライブレコーダ2とが、無線通信ネットワークや有線通信ネットワークを介して接続されることにより構成される。運転支援装置1は例えば運転支援を行う事業者のコンピュータサーバであり通信ネットワークに接続したコンピュータサーバ(クラウドサーバ)である。ドライブレコーダ2は複数の移動体にそれぞれ設けられている。
図1では、移動体の一例として車両20を用いて説明している。ドライブレコーダ2はカメラを有しており、車両20の外部と内部とを撮影した撮影画像を運転支援装置1へ送信する。ドライブレコーダ2は運転状況センシング装置の一態様である。またドライブレコーダ2は運転者センシング装置の一態様である。
【0012】
図2は運転支援装置のハードウェア構成図である。
この図が示すように運転支援装置1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、通信モジュール105、データベース106等の各ハードウェアを備えたコンピュータである。
【0013】
図3は運転支援装置の機能ブロック図である。
運転支援装置1は電源が投入されると起動し、予め記憶する運転支援プログラムを実行する。これにより運転支援装置1には、制御部11、第一取得部12、第二取得部13、判定部14、第一算出部15、第二算出部16、記録部17、フィードバック情報生成部18、出力部19を少なくとも備える。
【0014】
制御部11は、運転支援装置1の他の機能部を制御する。
第一取得部12は、車両20に備わるドライブレコーダ2等の運転状況センシング装置から、車両20の運転状況に関するセンシングデータを取得する。
第二取得部13は、車両20の運転者の生体情報をドライブレコーダ2等の運転状況センシング装置より取得する。
【0015】
判定部14は、危険イベントデータが含む危険イベントの発生指標値(第一発生指標値)が所定の閾値以上である場合に、危険イベントが発生したと判定する。ここで、危険イベントとは、例えば事故に発展する可能性のある事象である。危険イベントデータは事故に発展する可能性のある事象が発生した際にドライブレコーダ2で生成されるデータである。危険イベントデータには、イベント発生を検知した際の車両の加速度、速度、ハンドル回転角度、ブレーキ踏込量、イベント発生時刻、車両の位置情報(緯度情報、経度情報)、ドライブレコーダ2のID、及び運転者ID等が含まれる。
判定部14は、危険イベントデータが含む危険イベントの発生指標値が所定の閾値未満の場合であっても、運転者の生体変化に関する生体情報に基づいて算出した危険イベントの発生指標値(第二発生指標値)が所定の閾値以上である場合に、危険イベントが発生したと判定する。
【0016】
判定部14は、運転状況のセンシングデータ(運転状況データ)に基づいて算出した危険イベントの発生指標値(第一発生指標値)が所定の閾値以上である場合、危険イベントが発生したと判定する。運転状況データは、車両情報、位置情報(緯度情報、経度情報)、加速度、速度、ハンドル回転角度、ブレーキ踏込量、該運転状況データの生成時刻、ドライブレコーダ2のID、及び運転者ID、などを含む。
判定部14は、運転状況のセンシングデータに基づいて算出した危険イベントの発生指標値が所定の閾値未満の場合であっても、運転者の生体変化に関する生体情報に基づいて算出した危険イベントの発生指標値(第二発生指標値)が所定の閾値以上である場合に、危険イベントが発生したと判定する。
【0017】
第一算出部15は、生体情報が運転者の顔を撮影した顔画像である場合に、その顔画像に基づいて危険イベントの発生指標値を算出する。
第二算出部16は、生体情報が運転者の発声音である場合に、その発声音に基づいて危険イベントの発生指標値を算出する。
危険イベントの発生指標値は、単数であっても複数であってもよい。複数の発生指標値を用いる場合は、例えば複数の発生指標値の平均値を用いたり、優先度の高い発生指標値に重みづけをして当該重みづけされた複数の発生指標値を用いたりすることができる。
【0018】
記録部17は、危険イベントが発生したと判定された場合に、危険イベントの発生要因情報を記録する。すなわち、運転状況のセンシングデータに基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたのか、生体情報に基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定さ入れたのか、の何れかを示す発生要因情報を記録する。
フィードバック情報生成部18は、運転者の識別情報と、発生要因情報とを少なくとも含むフィードバック情報を生成する。
出力部19は、フィードバック情報を所定の出力先装置へ出力する。
【0019】
上述のような各機能部を備えることにより運転支援装置1は、危険イベントの発生指標値が所定の閾値未満の場合であっても、運転者の生体変化に関する生体情報より算出した危険イベントの発生指標値が所定の閾値以上である場合に、危険イベントが発生したと判定して記録する。
これにより、さまざまな種別の危険イベントの発生を検知することができる。そして、危険イベントの発生に関する情報を記録することができる。より具体的には、慢性的な荒い運転(運転者が無自覚な、危険運転予備軍となる運転)を検知し、その情報を記録することができる。
【0020】
図4はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ2は、センサ21、通信装置22、カメラ23、制御装置24、記憶装置25などを含んで構成される。本実施の形態において、例えば、センサ21は、複数のセンサを含む。センサ21は加速度センサ211、音検知センサ212、GPSセンサ213などを含んでよい。なおこれらのセンサ21は、ドライブレコーダ2の外部の車両の何れかの位置に設置されて、ドライブレコーダ2がそれらセンサ21のセンシングした情報を取得してもよい。なお、本実施の形態では、センサ21が加速度センサ211、音検知センサ212、GPSセンサ213を含む場合を例示するがこの例に限定されるものではない。
【0021】
通信装置22は運転支援装置1と通信接続する。
カメラ23は、上述した外部撮影レンズ(図示せず)と内部撮影レンズ(図示せず)とを備える。外部撮影レンズは車両20の前進方向を中心とする所定の画角を有する。内部撮影レンズは運転者が運転席に着座した際に、当該運転者の顔を撮影できる方向を中心とする所定の画角を有する。これによりドライブレコーダ2のカメラ23は車両の前方の撮影画像と、車内の運転者の顔が写る撮影画像とを生成することができる。
【0022】
制御装置24はドライブレコーダ2の各機能を制御する。
記憶装置25は動画像、静止画像の少なくともいずれか、及びセンサ21でセンシングされた各種情報、を含むセンシング情報を記憶する。
ドライブレコーダ2は基地局等を介して運転支援装置1と通信接続する。なおドライブレコーダ2の制御装置24は、CPU、ROM、RAM等を備えたコンピュータである。
【0023】
図5はドライブレコーダに備わる制御装置の機能ブロック図である。
制御装置24はドライブレコーダ2が起動すると、メモリ等に記憶された制御プログラムをCPUが実行する。これにより制御装置24には、車両情報取得部241、位置情報取得部242、加速度情報取得部243、イベント検知部244、アップロード画像生成部245、運転状況データ送信部246、イベントデータ送信部247、画像送信部248の各機能部が備わる。
【0024】
車両情報取得部241は、ドライブレコーダ2に挿入されたメモリ、または予めドライブレコーダ2に内蔵されているメモリ等の記憶部に記録されている車両20に関する情報(運転者ID、車両種別、車両ID)含む車両情報を取得する。車両情報取得部241の取得できる車両情報としては、例えばさらに、運転始動時刻、運転停止時刻、時刻に応じた車両速度、車内温度、ハンドル角度、ブレーキ踏込量などの情報が含まれてよい。
【0025】
位置情報取得部242は時刻に応じた車両の位置情報(緯度情報、経度情報)の情報をGPSセンサ213(
図4)などから取得する。
加速度情報取得部243は、時刻に応じた車両の加速度情報を加速度センサ211(
図4)から取得する。
イベント検知部244は加速度に基づいて車両に所定の危険イベントが発生したか否かを判定する。所定の危険イベントとは例えば事故に発展する可能性のある事象である。
【0026】
アップロード画像生成部245はカメラ23の撮影により当該カメラ23から動画像、静止画像の何れかを少なくとも含む画像データを取得し、その画像データに基づいてアップロード用の撮影画像を所定の間隔で生成して出力する。アップロード画像生成部245は一例としては、1fps(frames per second)の生成速度で撮影画像の生成を行う。つまり、アップロード画像生成部245は、1秒あたり1枚の撮影画像を生成する。アップロード画像生成部245は、イベント検知部244による危険イベントが発生したと検知された際には、少なくとも危険イベントの発生前の一定時間を含む期間において、30fpsなどの生成速度で撮影画像を生成してよい。
【0027】
運転状況データ送信部246は、上述した車両情報、位置情報(緯度情報、経度情報)、加速度、速度、ハンドル回転角度、ブレーキ踏込量、該運転状況データの生成時刻、ドライブレコーダ2のID、及び運転者ID、などを含む運転状況データを運転支援装置1へ送信する。
【0028】
イベントデータ送信部247はイベント検知部244により危険イベントの発生が検知された場合に危険イベントデータを送信してよい。危険イベントデータには、イベント発生を検知した際の車両の加速度、速度、ハンドル回転角度、ブレーキ踏込量、イベント発生時刻、車両の位置情報(緯度情報、経度情報)、ドライブレコーダ2のID、及び運転者ID等が含まれてよい。危険イベントデータには、さらに他のセンシング情報が含まれていてもよい。危険イベントデータにはイベントの種別を示す識別子が含まれてよい。
画像送信部248は、アップロード画像生成部245の生成した撮影画像を運転支援装置1へ送信する。
【0029】
なお制御装置24は、イベント検知部244やイベントデータ送信部247を備えなくともよい。この場合、イベント検知部244に相当する機能が運転支援装置1に備わる。また制御装置24と運転支援装置1とにイベント検知部244に対応する機能が備わってもよい。この場合、制御装置24に備わるイベント検知部244がセンシングデータに基づいて危険イベントの発生を検知し、運転支援装置1がその危険イベントの発生をより詳細に解析して、危険イベントの発生があったという判定が正しいか否かを判定してよい。イベント検知部244の機能が運転支援装置1にのみ備わる場合には、制御装置24の運転状況データ送信部246は常時、運転状況データを、通信装置22を介して運転支援装置1に送信してよい。
【0030】
図6はドライブレコーダの処理フローを示す第一の図である。
次に、
図6にしたがって、ドライブレコーダ2の処理フローについて順を追って説明する。
まずドライブレコーダ2における運転状況データの送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ2が動作を始動する(ステップS101)。ドライブレコーダ2のセンサ21それぞれは、ドライブレコーダ2の始動後に各種センシングを開始する(ステップS102)。またカメラ23は撮影を開始する(ステップS103)。そしてドライブレコーダ2の動作中、制御装置24の車両情報取得部241は車両情報を取得する(ステップS104)。
また位置情報取得部242はGPSセンサ213から位置情報(緯度情報、経度情報)を所定の時間間隔で取得する(ステップS105)。また加速度情報取得部243は、加速度センサ211から加速度情報を所定の時間間隔で取得する(ステップS106)。所定の時間間隔は例えば0.1秒毎などであってよい。
運転状況データ送信部246は、ステップS104、S105、S106で取得された車両情報、位置情報(緯度情報、経度情報)、加速度情報を取得し、それらの情報と運転状況データの生成時刻とドライブレコーダ2のIDと運転者IDとを含む運転状況データを生成する(ステップS107)。運転状況データ送信部246は、音検知センサ212から車内の音や車外の音の情報を取得して、その音の情報を含む運転状況データを生成してもよい。
運転状況データ送信部246は当該運転状況データの運転支援装置1への送信を通信装置22へ要求する。通信装置22は運転状況データを運転支援装置1へ送信する(ステップS108)。
【0031】
他方、カメラ23は、外部撮影レンズに入力した入射光に基づいて生成した車両20の前方方向を撮影した第一撮影画像と、内部撮影レンズに入力した入射光に基づいて生成した運転者の顔を含む第二撮影画像と、を制御装置24へ出力する。制御装置24のアップロード画像生成部245は、第一撮影画像と第二撮影画像とを取得する。アップロード画像生成部245は、第一撮影画像と第二撮影画像とを含むアップロード画像を生成する(ステップS109)。
具体的にはアップロード画像生成部245は、所定の時間間隔ごとにカメラ23から取得した第一撮影画像や第二撮影画像を含むアップロード画像を生成する。第一撮影画像や第二撮影画像は静止画像であっても動画像であってもよい。アップロード画像生成部245の生成するアップロード画像には、その生成時刻、ドライブレコーダ2のID、運転者IDなどが含まれる。
画像送信部248は、アップロード画像の運転支援装置1への送信を通信装置22へ要求する。通信装置22はアップロード画像を運転支援装置1へ送信する(ステップS110)。制御装置24は処理終了か否かを判定し(ステップS111)、処理終了までステップS102からの処理を繰り返す。
【0032】
図7はドライブレコーダの処理フローを示す第二の図である。
ドライブレコーダ2は、運転状況データやアップロード画像の送信処理と並行してイベント検知処理を行う。まずドライブレコーダ2が始動すると、制御装置24のイベント検知部244は、加速度情報取得部243から加速度情報を所定の時間間隔で取得する(ステップS201)。またイベント検知部244は車両情報取得部241から速度情報を所定の時間間隔で取得する(ステップS202)。
イベント検知部244は車両の加速度と速度の時間変化に基づいて車両にイベントが発生したか否かを検知する(ステップS203)。イベントとは本実施形態においては危険な事象である。このイベントが発生したか否かの検知は、運転者属性に応じて定められてよい。
【0033】
具体的にはイベント検知部244は記憶装置24等に記録される動作条件データを取得する。動作条件データは、危険イベントが発生したと判定するための条件を示すデータである。この動作条件データは、危険度レベル情報及び危険運転種別情報を含む。危険度レベル情報は危険度「1」、危険度「2」、危険度「3」・・・などの危険の度合を示す数値と、該当する危険度を判定するための基準となる加速度と、を紐づけたデータである。なお危険度の数値が高いほど危険度が高いとする。危険運転種別情報は、急発進、急加速、急停車、急減速などの危険運転の種別を判定するための条件であり、危険運転の種別に応じた加速度の方向や速度の値を示すデータである。
イベント検知部244は、一例としては、車両の加速度が危険度レベル情報の危険度「3」に対応する加速度となり、かつ車両の加速度方向や速度が、危険運転種別情報の何れかの危険運転の種別が示す加速度方向や速度の条件を満たす場合、危険イベントの発生を検知する。イベント検知部244は、車両の加速度が所定の危険度に対応する加速度となった場合、または車両の加速度方向や速度が危険運転種別情報の示す何れかの危険運転の種別に対応する加速度方向や速度の条件を満たす場合の少なくとも一方において、危険イベントの発生を検知するようにしてもよい。
危険度レベル情報や危険運転種別情報は運転者属性に応じて設定される。このため、運転者属性に基づく危険イベント発生の検知を行うことができる。
【0034】
イベント検知部244は危険イベント発生を検知した場合、危険イベントデータを生成する(ステップS204)。危険イベントデータには危険イベント発生を検知した際の車両の加速度と、速度と、ハンドル回転角度と、ブレーキ踏込量と、危険イベント発生時刻と、車両の位置情報(緯度情報、経度情報)と、ドライブレコーダ2のIDと、運転者IDとが含まれてよい。危険イベントデータには、その他のセンシング情報が含まれていてもよい。
イベントデータ送信部247は危険イベントデータをイベント検知部244から取得する。イベントデータ送信部247は、危険イベントデータの運転支援装置1への送信を通信装置22へ指示する。通信装置22は危険イベントデータを運転支援装置1へ送信する(ステップS205)。制御装置24は処理終了か否かを判定し(ステップS206)、処理終了までステップS201からの処理を繰り返す。
【0035】
なお本実施形態においてはイベント検知部244の機能が制御装置24に備わる態様について説明するが、イベント検知部244の機能が制御装置24に備わらない場合があってよい。この場合、イベント検知部244の機能は運転支援装置1が備え、当該運転支援装置1が運転状況データに基づいて危険イベントの発生を検知する。
【0036】
図8は運転支援装置の処理フローを示す図である。
運転支援装置1において、第一取得部12は車両の通信装置22から送信された運転状況データを、通信モジュール105を介して取得する(ステップS301)。また第一取得部12は車両の通信装置22から送信された危険イベントデータを、通信モジュール105を介して取得する(ステップS302)。また第二取得部13は車両の通信装置22から送信されたアップロード画像を、通信モジュール105を介して取得する(ステップS303)。
【0037】
判定部14は、ステップS301、S302で取得した運転状況データと危険イベントデータとを取得する。判定部14は危険イベントデータや運転状況データに基づいて車両20における危険イベントの発生の有無を判定する(ステップS304)。判定部14は危険イベントデータに含まれる危険イベントの発生指標値に基づいて車両20において危険イベントが発生したか否かを確認する。
具体的には、発生指標値が所定の閾値以上であるかどうかに基づいて車両20において危険イベントが発生したか否かを確認する。発生指標値が加速度である場合には、判定部14は危険イベントデータに含まれる加速度が所定の閾値以上であるか否かを判定し、加速度が閾値以上である場合には危険イベントの発生有りと判定する。運転状況データに基づいて危険イベントの発生有無を判定する処理については、上述の通りである。
【0038】
なお運転支援装置1で行う、危険イベントデータや運転状況データに基づく危険イベントの発生有無の判定は、ドライブレコーダ2で行われる危険イベントの検知と比較して精度の高いものであってよい。上述したように、イベント検知部244の機能がドライブレコーダ2の制御装置24に備わっていない場合には、判定部14が運転状況データに基づいて危険イベントの検知を、上述のイベント検知部244と同様の処理により行ってもよい。判定部14は危険イベントデータや運転状況データに基づいて危険イベントの発生を検知した場合には、危険イベントが発生したことを示す情報を記録部17へ出力する。
【0039】
判定部14は危険イベントデータや運転状況データに基づいて危険イベントの発生有りと判定しなかった場合にも、運転者の生体変化に関する生体情報に基づいて危険イベントの発生有無を判定する(ステップS305)。
具体的には、判定部14は第一算出部15に対して、撮影画像に基づいて危険イベントの発生指標値を算出するよう指示する。第一算出部15は、アップロード画像に含まれる第二撮影画像内の運転者の顔の状態(表情)を解析して、運転者の顔の状態に基づく危険イベントの発生指標値を算出する。
運転者の顔の状態に基づく危険イベントの発生指標値は、例えば顔の状態が驚き、恐怖、怒りを示す状態である場合には、高い値を示す。第一算出部15は、第二撮影画像内に写る運転者の顔の状態を判定し、驚きの度合、恐怖の度合、怒りの度合を示す値を算出し、その値を危険イベントの発生指標値とする。
【0040】
第二撮影画像に写る運転者の顔の状態に基づいて、驚きの度合、恐怖の度合、怒りの度合を示す値を算出する手法はどのような手法であってもよい。一例としては、第一算出部15は、顔画像の目、口、眉毛など位置情報を、危険イベントの発生指標値の算出モデルに入力し、その出力値となる驚きの度合、恐怖の度合、怒りの度合を示す危険イベントの発生指標値を算出し、判定部14に出力する。危険イベントの発生指標値の算出モデルは、驚きを示す顔画像、恐怖を示す顔画像、怒りを示す顔画像を正解データとして機械学習することにより得られた算出モデルであってよい。
判定部14はこれらの危険イベントの発生指標値が所定の値以上である場合には、危険イベントの発生有りと判定する。判定部14は危険イベントの発生指標値を所定の時間間隔で算出し、発生指標値の変化の度合が所定値以上である場合に、危険イベントの発生有りと判定してもよい。
【0041】
なお上述の処理においては第二撮影画像内の運転者の顔の状態に基づいて危険イベントの発生指標値を算出する態様について説明しているが、運転者の他の生体情報に基づいて危険イベントの発生指標値を算出するようにしてもよい。例えば、判定部14の指示に基づき、第二算出部16が運転状況データに含まれる運転者の声に基づいて危険イベントの発生指標値を算出してもよい。運転者の声に基づく危険イベントの発生指標値も、その声により驚き、恐怖、怒りを示す状態であると判定された場合には、高い値を示す。
【0042】
運転状況データに含まれる運転者の声の状態に基づいて、驚きの度合、恐怖の度合、怒りの度合を示す値を算出する手法はどのような手法であってもよい。一例としては、第二算出部16は、声の信号を危険イベントの発生指標値の算出モデルに入力し、その出力値となる驚きの度合、恐怖の度合、怒りの度合を示す危険イベントの発生指標値を算出し、判定部14に出力する。この危険イベントの発生指標値の算出モデルも、驚きを示す声の信号、恐怖を示す声の信号、怒りを示す声の信号を正解データとして機械学習することにより得られた算出モデルであってよい。
【0043】
運転支援装置1は、危険イベントの発生指標値を、運転者の視線、単位時間当たりの脈拍、開瞼度などに基づいて算出してもよい。視線や開瞼度は第二撮影画像に写る運転者の顔の画像に基づいて算出すればよい。また生体情報が単位時間当たりの脈拍である場合には、例えば運転者が装着する脈拍センサから得た信号に基づいて、ドライブレコーダ2が単位時間当たりの脈拍の値を含む運転状況データを生成し、運転支援装置1へ送信すればよい。
例えば、運転支援装置1は、運転者の視線の単位時間当たりの変化の度合に基づいて、危険イベントの発生指標値を算出する。運転支援装置1は、運転者の単位時間当たりの脈拍の変動に基づいて、危険イベントの発生指標値を算出する。運転支援装置1は、例えば、予め登録された開瞼度と運転中の開瞼度との差異に基づいて、危険イベントの発生指標値を算出する。
【0044】
ステップS304とステップS305の少なくとも一方において危険イベントの発生有りと判定した場合、判定部14は記録部17に対して危険イベントが発生したことを示す情報を記録部17に出力する。
記録部17は、危険イベントが発生したと判定された場合に、次の判定を行う。すなわち、記録部17は、運転状況のセンシングデータに基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたか、又は生体情報に基づく発生指標値が所定の閾値以上であることによりその危険イベントが発生したと判定されたのか、の何れかを示す発生要因情報を記録する(ステップS306)。
記録部17は、発生要因情報と危険イベントの発生有りと判定した時刻と、ドライブレコーダ2のID、運転者IDなどの情報を含む危険イベント発生情報をデータベース106に記録する(ステップS307)。
【0045】
上述の処理によれば、さまざまな種別の危険イベントの発生を検知することができる。そして、危険イベントの発生に関する情報を記録することができる。より具体的には、慢性的な荒い運転(運転者が無自覚な、危険運転予備軍となる運転)を検知し、その情報を記録することができる。
【0046】
フィードバック情報生成部18は、記録された危険イベント発生情報を用いて、フィードバック情報を生成する(ステップS308)。フィードバック情報は、運転者IDごとに、危険イベントの発生した位置情報、危険イベント種別、センシング情報が示す各センサの値などの一覧であってよい。フィードバック情報には危険イベントの発生した時刻に撮影されたアップロード画像が含まれてもよい。
生体情報に基づく発生指標値が所定の閾値以上であることにより危険イベントが発生したと判定された場合には、フィードバック情報には、第二撮影画像内に写る運転者の顔の状態により判定した、驚きの度合、恐怖の度合、怒りの度合を示す値(発生指標値)などが含まれてもよい。またフィードバック情報は、全ての危険イベント発生情報に含まれる位置情報に危険を示すアイコンが表示された地図データであってもよい。
フィードバック情報生成部18は出力部19にフィードバック情報を出力する。出力部19は、フィードバック情報を所定の出力先装置へ送信する(ステップS309)。
【0047】
図9は運転支援装置の最小構成を示す図である。
この図が示すように運転支援装置1は少なくとも、第一取得部(第一取得手段)12、第二取得部(第二取得手段)13、判定部(判定手段)14を備える。
第一取得部12は、車両20に備わるドライブレコーダ2等の運転状況センシング装置から車両20の運転状況のセンシングデータを取得する。
第二取得部13は、車両20の運転者の生体変化に関する生体情報を取得する。
判定部14は、運転状況のセンシングデータに対応する値である危険イベントの発生指標値(第一発生指標値)及び運転者の生体変化に関する生体情報に対応する値である危険イベントの発生指標値(第二発生指標値)に基づいて危険イベントの発生を判定する。
【0048】
上述の運転支援装置1やドライブレコーダ2の制御装置24は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
【0049】
上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0050】
この出願は、2018年12月12日に日本出願された特願2018-232877号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0051】
本発明によれば、さまざまな種別の危険イベントの発生を検知することができる。
【符号の説明】
【0052】
1・・・運転支援装置
2・・・ドライブレコーダ
11・・・制御部
12・・・第一取得部
13・・・第二取得部
14・・・判定部
15・・・第一算出部
16・・・第二算出部
17・・・記録部
18・・・フィードバック情報生成部
19・・・出力部
21・・・センサ
22・・・通信装置
23・・・カメラ
24・・・制御装置
25・・・記憶装置
211・・・加速度センサ
212・・・音検知センサ
213・・・GPSセンサ
241・・・車両情報取得部
242・・・位置情報取得部
243・・・加速度情報取得部
244・・・イベント検知部
245・・・アップロード画像生成部
246・・・運転状況データ送信部
247・・・イベントデータ送信部
248・・・画像送信部